{
"cells": [
{
"cell_type": "markdown",
"metadata": {},
"source": [
"# Мини-проект: жаркие и морозные дни\n",
"\n",
"Ответить на вопросы о погоде за год масками — какие дни были жаркими, каким был июль, когда лило сильнее всего, насколько зима холоднее лета — и поправить выбросы датчика.\n",
"\n",
"Курс NumPy · урок `np-project-hot-days` · [урок на сайте](https://ds-edu-trainer.vercel.app/courses/numpy/project-hot-days).\n",
"\n",
"Выполняйте ячейки по порядку (Shift+Enter), начиная с первой — она готовит урок. После каждого упражнения идёт\n",
"ячейка проверки: она печатает ✓ / ✗ и итог."
],
"id": "intro"
},
{
"cell_type": "code",
"metadata": {
"cellView": "form",
"jupyter": {
"source_hidden": true
}
},
"source": [
"# @title Подготовка урока — выполните эту ячейку первой\n",
"# Проверяет версии пакетов, записывает файлы данных в папку data/ и определяет _check — проверку упражнений.\n",
"import base64, os, zlib\n",
"\n",
"for _name, _min in {\"numpy\":\"2.0\"}.items():\n",
" try:\n",
" _have = __import__(_name).__version__\n",
" except ImportError:\n",
" print(f\"Нет пакета {_name}: выполните %pip install {_name} и перезапустите ядро\")\n",
" continue\n",
" if tuple(int(x) for x in _have.split(\".\")[:2]) < tuple(int(x) for x in _min.split(\".\")):\n",
" print(f\"Урок написан для {_name} {_min} и новее, у вас {_have}: выполните %pip install -U {_name} и перезапустите ядро\")\n",
"\n",
"_DATA = {\n",
" \"moscow_2025.csv\": \"\"\"\n",
"eNplWEmuXDcM3Oss6gdx0HQaw0i88MKBEWSR3D6oIqXuOKv/H5uiyOIo/v71n/rXtx8/v/z4/kf+8/Xv+vPPb799//nlx48i9bWf\n",
"XV/2aG1PK4rv+f42fDd8T357fYk/Wl/z0SqPl15fos8IAjgGCQ7CImGSsOprPY0E/tvry/PEBm+rL+UBK9Lqa0ApSQY5WnYSpAjV\n",
"NBwJtcSSwx+pAgIUbVDUHwuWDhbBGQ8ClXYQwDGLTCiGg8+q69lFFo700Ezl0SI7WS5eLVmMQlZRCctf+rRq4NA8os+OIwYCMe5B\n",
"cNg74l4S+lF7VnmsKDXliVBdJ60jJY+sX4VusvSAhK6kqgsoQuwqJsd367AoD42PQ3ZRC6SNynrYR0L/lTDC1S9liEixeYMsZay4\n",
"8iprUFbAMojaKt6OJj15XA5lpEedUeBgwc29uNEgDRPJEmHAwFjE0jsjeCeAZAL09uwAmZRJCuMw8PVFDQWipSo03AmnP70KRPdG\n",
"HgIU0dHl7adZFRQ92dBToW68yyIGJlLKD2Wlv3un5B5mjKeXTpB33O7PLH3eTPXaIXfBnl5fjXG3S9+hfEtAB0Dz6s+o6+llQNdn\n",
"15OVQ8OlCER9vAyDbNju1cDvF9Tgz1BT3i9l0FMT9/c6n1XGzDxvz6oOCdRQ3nk+9s23TaNmC/+/WobjlBQKV3QQ6GwDR6gxDUKZ\n",
"TADGymQp2mEcOfrN0ABijrjRDgPSA66YtT+rTNiIgpAX7LixEZde1qlWjc7SsuQUqskKuZSQ44yAn2ULOPWKkrI86ouliavfgK72\n",
"zLLGKQYjfp9p8UFtrShHyFB/Rln7mCN1PlZ2C/wGAWllM/FaPfVoK302M9Y2zNK6MhW2MyI2tZtlwxB8ZukeVSl6EesNDVo9YbtX\n",
"7c+uN9H2rshv1hxBfW2NsIondNKE4qVlLZGmdaCkH7SlWUX2MheDAwp21Ov87u9LgjDqCJkOM4q0CVwqU1VIAPqrbgKIOyILVua+\n",
"SKsIuvedIkgZ6H0IgMSrGH0+i4hVFIe0DBxAmGr1JPQARkDupIzK0txu22MAVlY9pJTIoiNYrKip7LoA5mkDoi00g3MHFFEhNGKn\n",
"Dari11ZlBPLgMXrwrZsixbWecigKfLWyJAZhMARonpIww0cQiNgpolR8VemMOy+iGQrCVKC/rTHQxI9gQ8wqoD6NHX74dKdZRe9g\n",
"nQ+CB2QSlWsXsZ6euAbYwAELsINCPVqVTYoUsYVTXhXJYpSTuEmE+yriDZQOiiAOi7hEZMnpFOIa9shJIXELybKY51rEvbLfybg8\n",
"/cTHjMs9KpAotelFHGG7P7zkK6+ex7fOnxcocNAs0lsg9VavS/ysdw7qxFuhHgJdi3QLNBMc8Djgcpw6lJ4ZtC5lhLNlM5lGkU7X\n",
"blAMfi3SMyC0sY3sIn1HXMl+Blu/jISBlE6KsMPiaEbBiBr0QbAMa+SD4qrh8bOe1iCjX58nhGMEeqos9lJkTIiQqtB7k2cBvY0B\n",
"MDqKjA2zaIRWg6GzReRTZUqeEgVgsESAhflDTJEhXmQysrzqOAhOv5drjLGzQwSNYAhDUMJMfRiVM2OZlnbYPhnL48PSuTMDABvT\n",
"cbVIB41ONIosCSfTgTy1NDPpltdlGWKnH8ryvOuUfVksQP4R3WvcooM5SIqsecMn83itiFK9ZXbtzJsbhrvhFOU0TgiyJeojUQoe\n",
"vbmeVmwLP6iyT3mR7SFCb53ZmdTaj12bqC+451AmDqyqky2wF9kLPDt4WMT3BqVDzsgXQkvJx83amIJSFcXFHinaNJPydBRtlqF8\n",
"Oog2jxhTAsBTPe06Ea4tXa793jXDMZSDFNS2oj3IZGyMom0n8srcwSOmRbFSY0+UoiKg9AhNe7yoaGJ4CpKKZeJG5ZtFhTrbOzZU\n",
"MgdpRVAGeFaAFJQJv8s7m1T48/7AULJ40oOoqaotGrKeYVFVojNG8sAK1Uy5i6pa1CLtSS6qfpnioaR6svA0HdWRDrtvNp1ZboSh\n",
"ictWJs81THf0pKy9vahlI2Yy67OLmtzQTBVN/+MML2oshetDH/ML6+C4rtEEPbwWPOOmbuqMJnjtUlLWLQpsdVbUWO1GOGBAtFPp\n",
"HrjGC5ZKa2RYUDSj/ka0MyX9k4e9a0f1DUqP4eatoo+Yu27nVp+3dzpnQvV1K1DnBKC+I+70jJ7aW5Qa9aNzP1lIYXBY1492FTyW\n",
"zWlxVpxFu+dMcNqe9p7zB71GnnGrVNre55kP06d9ceC+E6T2XZGPct/v0QX3R+oMuUWUnR+LgZyVwx2wYRjHb9rRSPAYoO7Vg8+x\n",
"yFSCNUbMXJq7Ex2z5oiWUA0M8jQztR05ybMaIvlm4+R/R32dmOQ9KjGeMTo1pu4z6um0mEzPA1+nx2vAYjiH1B6wcX6HqnPkqHKq\n",
"vc55x4dzM4aPnTUFIM0dF92bV0Nn/yTgOTbuwK9oe4/V84zXxQfmHc9BcXJMPtK8KFregwEtAVojrL1Ln4UIGFEQgrA+3z4g4Mk2\n",
"Y6RjEd6NWg0Wr150Y+QMMQue3WzkkR4KQzeg7u/Xk26Krmf2091jyXS7wx7cAfTLMPn4u2bwBSefEqGk1VOYrTU+hDm68lu4MDij\n",
"rzXUFTgkFz18vjV6tT1erOGv1FPWraWGzjI2irXci92FZJvxfvYshtZWvIXvMgnt7Gn1tH8TtssaybiLoZVRR0aNFpN4oQ/OQVZM\n",
"LJYDmmXAxGNbGS9GnOhnDZU4YJnIVsP9jBeT3Hx0vk1HMYE24TE83QwN7NELvWmL9QzXI0GR2D/dl75hl5ibwrxXLTY+zBnorh66\n",
"25XCfULAHIRxFyJpns7cL0rWT9N1lwzxOLX3PvEEj2GhmAtUhJAXs/d6JvUzjRWVUo4Vw0LRo9uwSBUzrlPBnxrbe0EzuRYwy11S\n",
"40oDZyakBIJxhivFcVZYoOyw+xXNH5vLdjexhyLXcM/tpt6dFKqGFnOLfd7dQZl7njrJbVgqonhwr8Kg9P+B7DM3tLFUW8V83WW7\n",
"cww032d3mOr0lmbdUMRKMcUkXFwpSqxK4zliPRah7Sz8wOV3QXzOdXp0BZKo0dbH3bchaq1Yn7msjwUmeD43zUzRvnOde1EcLbfG\n",
"Z+tgQ96XHVIsmyWWvhhEDTvGWNeOK8oPl7MsSLHR00fnLfovWM2L8A==\n",
"\"\"\",\n",
"}\n",
"os.makedirs(\"data\", exist_ok=True)\n",
"for _name, _packed in _DATA.items():\n",
" with open(os.path.join(\"data\", _name), \"wb\") as _f:\n",
" _f.write(zlib.decompress(base64.b64decode(_packed)))\n",
"print(\"Файлы данных:\", \", \".join(sorted(_DATA)))\n",
"\n",
"# ─── Проверка упражнений: тот же раннер, что у задач на сайте ───\n",
"# ─── Запуск тестов ───────────────────────────────────────────────────────────\n",
"\n",
"_TIMEOUT = 2.0 # секунд на тест; отдельный тест может задать свой: test_x.timeout = 10\n",
"\n",
"\n",
"def _call_with_timeout(target, seconds: float) -> bool:\n",
" \"\"\"Запускает target() в отдельном потоке. Возвращает False, если за seconds он не завершился.\"\"\"\n",
" import sys\n",
" import threading\n",
"\n",
" if sys.platform == \"emscripten\": # Python в браузере: потоков нет, таймаут обеспечивает страница\n",
" target()\n",
" return True\n",
" # Большой стек нужен, чтобы глубокая рекурсия давала RecursionError, а не аварийное завершение Python.\n",
" for megabytes in (256, 64, 0):\n",
" try:\n",
" threading.stack_size(megabytes * 1024 * 1024)\n",
" worker = threading.Thread(target=target, daemon=True)\n",
" worker.start()\n",
" except (ValueError, RuntimeError, MemoryError):\n",
" continue\n",
" worker.join(seconds)\n",
" return not worker.is_alive()\n",
" target() # потоки недоступны — запускаем без таймаута\n",
" return True\n",
"\n",
"\n",
"def _test_info(fn) -> dict:\n",
" \"\"\"Описание теста, его лимит времени и сообщение на случай зависания.\"\"\"\n",
" limit = getattr(fn, \"timeout\", _TIMEOUT)\n",
" hint = getattr(fn, \"timeout_hint\", \"\")\n",
" message = (\n",
" f\"тест не завершился за {limit:g} с — возможно, бесконечный цикл или рекурсия: \"\n",
" \"проверьте, что границы/аргументы изменяются на каждом шаге\" + (f\". {hint}\" if hint else \"\")\n",
" )\n",
" return {\"title\": (fn.__doc__ or fn.__name__).strip(), \"timeout\": limit, \"timeout_message\": message}\n",
"\n",
"\n",
"def _error_result(title: str, error: BaseException, user_file: str | None) -> dict:\n",
" \"\"\"Результат упавшего теста: статус, сообщение, тип исключения и строка в коде решения.\"\"\"\n",
" line = None\n",
" if user_file: # самый глубокий кадр в коде решения; ошибка внутри самих тестов — без номера строки\n",
" tb = error.__traceback__\n",
" while tb is not None:\n",
" if tb.tb_frame.f_code.co_filename == user_file:\n",
" line = tb.tb_lineno\n",
" tb = tb.tb_next\n",
" status, message = \"error\", f\"{type(error).__name__}: {error}\"\n",
" if isinstance(error, NotImplementedError):\n",
" status, message, line = \"not_written\", \"функция ещё не написана\", None\n",
" elif isinstance(error, AssertionError):\n",
" status, message = \"failed\", str(error) or \"проверка не прошла\"\n",
" elif isinstance(error, RecursionError):\n",
" message = \"RecursionError: слишком глубокая рекурсия — проверьте базовый случай и то, что задача уменьшается\"\n",
" elif isinstance(error, MemoryError) or (isinstance(error, OverflowError) and \"index-sized\" in str(error)):\n",
" message = f\"{type(error).__name__}: не хватило памяти — возможно, создаётся слишком большая структура данных\"\n",
" return {\"title\": title, \"status\": status, \"message\": message, \"error_type\": type(error).__name__, \"line\": line}\n",
"\n",
"\n",
"def _run_tests(verbose: bool = True, on_start=None, on_result=None, user_file: str | None = None) -> list[dict]:\n",
" \"\"\"Запускает тесты задачи (_TESTS — функции из tests.py) по порядку, каждый — с таймаутом.\n",
"\n",
" Возвращает список результатов: {\"title\", \"status\", \"message\", \"error_type\", \"line\"}, где status —\n",
" passed · failed · error · not_written · timeout · not_run. Если тест завис, при verbose=True печатает\n",
" итог и завершает процесс: зависший поток остановить нельзя. on_start(i) и on_result(i, результат)\n",
" вызываются по мере выполнения; user_file — имя файла с кодом решения для номеров строк в ошибках.\n",
" \"\"\"\n",
" import os\n",
" import sys\n",
"\n",
" if verbose:\n",
" try: # ✓ и кириллица в консоли Windows со старой кодировкой\n",
" sys.stdout.reconfigure(encoding=\"utf-8\")\n",
" except Exception: # noqa: BLE001 — reconfigure может не быть (перенаправленный вывод, браузер)\n",
" pass\n",
"\n",
" tests = list(_TESTS)\n",
" results: list[dict] = []\n",
" not_written = hung = False\n",
" for index, fn in enumerate(tests):\n",
" info = _test_info(fn)\n",
" outcome: dict = {}\n",
"\n",
" def target(fn=fn, outcome=outcome):\n",
" try:\n",
" fn()\n",
" except BaseException as e:\n",
" outcome[\"error\"] = e\n",
"\n",
" if on_start:\n",
" on_start(index)\n",
" if not _call_with_timeout(target, info[\"timeout\"]):\n",
" results.append({\"title\": info[\"title\"], \"status\": \"timeout\", \"message\": info[\"timeout_message\"], \"error_type\": None, \"line\": None})\n",
" for other in tests[index + 1:]:\n",
" results.append({\"title\": _test_info(other)[\"title\"], \"status\": \"not_run\", \"message\": \"не запускался: предыдущий тест завис\", \"error_type\": None, \"line\": None})\n",
" hung = True\n",
" break\n",
" error = outcome.get(\"error\")\n",
" if error is None:\n",
" result = {\"title\": info[\"title\"], \"status\": \"passed\", \"message\": \"\", \"error_type\": None, \"line\": None}\n",
" else:\n",
" result = _error_result(info[\"title\"], error, user_file)\n",
" not_written = not_written or result[\"status\"] == \"not_written\"\n",
" results.append(result)\n",
" if on_result:\n",
" on_result(index, result)\n",
"\n",
" if not_written: # пока функция не написана, «даром» пройденные тесты не засчитываются\n",
" for r in results:\n",
" if r[\"status\"] == \"passed\":\n",
" r.update(status=\"not_written\", message=\"не засчитан, пока функция не написана\")\n",
" for r in results:\n",
" if len(r[\"message\"]) > 300:\n",
" r[\"message\"] = r[\"message\"][:300] + \"…\"\n",
"\n",
" if verbose:\n",
" if not_written:\n",
" print(\"Функция ещё не написана — замените raise NotImplementedError своим кодом.\\n\")\n",
" for r in results:\n",
" mark = {\"passed\": \"✓\", \"not_run\": \"–\"}.get(r[\"status\"], \"✗\")\n",
" print(f\"{mark} {r['title']}\")\n",
" if r[\"message\"]:\n",
" print(f\" {r['message']}\")\n",
" passed = sum(r[\"status\"] == \"passed\" for r in results)\n",
" print(\"─\" * 40)\n",
" print(f\"Прошло {passed} из {len(results)}\" + (\" — всё верно!\" if passed == len(results) else \"\"))\n",
" if hung:\n",
" print(\"Выполнение остановлено: один из тестов завис.\")\n",
" sys.stdout.flush()\n",
" os._exit(1)\n",
" return results\n",
"\n",
"\n",
"def _check(*tests, names=()):\n",
" \"\"\"Запускает проверки упражнения и печатает ✓ / ✗ и итог — как на сайте.\"\"\"\n",
" for name in names:\n",
" if \".\" in name: # «Класс.метод» из заготовки: класс должен быть объявлен\n",
" if not isinstance(globals().get(name.split(\".\")[0]), type):\n",
" print(f\"✗ класс {name.split('.')[0]} не объявлен — выполните ячейку упражнения\")\n",
" return\n",
" continue\n",
" if name not in globals():\n",
" print(f\"✗ переменная {name} не создана — выполните ячейку упражнения\")\n",
" return\n",
" if globals()[name] is Ellipsis:\n",
" print(f\"✗ {name} пока равна ... — замените многоточие своим кодом\")\n",
" return\n",
" globals()[\"_TESTS\"] = list(tests)\n",
" _run_tests()"
],
"execution_count": null,
"outputs": [],
"id": "setup"
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Снова погода в Москве за 2025 год — теперь с масками. Новых понятий нет: сравнения, фильтры, `&`, `|`,\n",
"замена по условию, а ещё срезы и итоги из прошлых модулей."
],
"id": "text-11"
},
{
"cell_type": "code",
"metadata": {},
"source": [
"# Данные\n",
"import numpy as np\n",
"\n",
"weather = np.loadtxt(\"data/moscow_2025.csv\", delimiter=\",\", skiprows=1)\n",
"tmin = weather[:, 1]\n",
"tmax = weather[:, 2]\n",
"precip = weather[:, 3]\n",
"print(weather.shape)"
],
"execution_count": null,
"outputs": [],
"id": "load"
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"## Шаг 1. Номера дней\n",
"\n",
"Маска выбирает позиции в любом массиве той же длины. Если сделать массив номеров дней `1, 2, …, 365`, маска\n",
"по температуре покажет, **какие это дни**."
],
"id": "text-16"
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### Упражнение 1. Когда было жарко\n",
"\n",
"Создайте массив `days` — номера дней от 1 до 365, — и сохраните в `hot_days` номера дней, когда максимальная\n",
"температура была выше 25 °C.\n",
"\n",
"Подсказка 1
\n",
"\n",
"`np.arange(1, 366)` — конец не входит.\n",
"\n",
"Подсказка 2
\n",
"\n",
"Отбор номеров по маске температур: `days[tmax > 25]`.\n",
"\n",
"Решение
\n",
"\n",
"```python\n",
"days = np.arange(1, 366)\n",
"hot_days = days[tmax > 25]\n",
"```\n",
"\n",
"Подсказка 1
\n",
"\n",
"Срез `tmax[181:212]` — конец не входит.\n",
"\n",
"Подсказка 2
\n",
"\n",
"Число дней — сумма маски `july > 20`.\n",
"\n",
"Решение
\n",
"\n",
"```python\n",
"july = tmax[181:212]\n",
"july_avg = july.mean()\n",
"july_warm = (july > 20).sum()\n",
"```\n",
"\n",
"Подсказка 1
\n",
"\n",
"Доля — среднее маски.\n",
"\n",
"Подсказка 2
\n",
"\n",
"Номера — массив `days` по маске `precip > 10`.\n",
"\n",
"Решение
\n",
"\n",
"```python\n",
"rain_share = (precip > 0).mean()\n",
"heavy_days = days[precip > 10]\n",
"```\n",
"\n",
"Подсказка 1
\n",
"\n",
"Зима: `(days <= 59) | (days >= 335)` — «или», потому что это два куска года.\n",
"\n",
"Подсказка 2
\n",
"\n",
"Лето: `(days >= 152) & (days <= 243)` — «и».\n",
"\n",
"Подсказка 3
\n",
"\n",
"`gap = tmax[summer].mean() - tmax[winter].mean()`.\n",
"\n",
"Решение
\n",
"\n",
"```python\n",
"winter = (days <= 59) | (days >= 335)\n",
"summer = (days >= 152) & (days <= 243)\n",
"gap = tmax[summer].mean() - tmax[winter].mean()\n",
"```\n",
"\n",
"Подсказка 1
\n",
"\n",
"`np.clip(precip, 0, 20)`.\n",
"\n",
"Решение
\n",
"\n",
"```python\n",
"precip_fixed = np.clip(precip, 0, 20)\n",
"rain_total_fixed = precip_fixed.sum()\n",
"```\n",
"\n",
"