{
"cells": [
{
"cell_type": "markdown",
"metadata": {},
"source": [
"# Пропуски\n",
"\n",
"Что такое NaN, как найти и посчитать пропуски, как они ведут себя в суммах, средних и сравнениях, когда строки с пропусками удалять, а когда заполнять — и чем опасно заполнение нулём.\n",
"\n",
"Курс pandas · урок `pd-missing` · [урок на сайте](https://ds-edu-trainer.vercel.app/courses/pandas/missing).\n",
"\n",
"Выполняйте ячейки по порядку (Shift+Enter), начиная с первой — она готовит урок. После каждого упражнения идёт\n",
"ячейка проверки: она печатает ✓ / ✗ и итог."
],
"id": "intro"
},
{
"cell_type": "code",
"metadata": {
"cellView": "form",
"jupyter": {
"source_hidden": true
}
},
"source": [
"# @title Подготовка урока — выполните эту ячейку первой\n",
"# Проверяет версии пакетов, записывает файлы данных в папку data/ и определяет _check — проверку упражнений.\n",
"import base64, os, zlib\n",
"\n",
"for _name, _min in {\"numpy\":\"2.0\",\"pandas\":\"3.0\"}.items():\n",
" try:\n",
" _have = __import__(_name).__version__\n",
" except ImportError:\n",
" print(f\"Нет пакета {_name}: выполните %pip install {_name} и перезапустите ядро\")\n",
" continue\n",
" if tuple(int(x) for x in _have.split(\".\")[:2]) < tuple(int(x) for x in _min.split(\".\")):\n",
" print(f\"Урок написан для {_name} {_min} и новее, у вас {_have}: выполните %pip install -U {_name} и перезапустите ядро\")\n",
"\n",
"_DATA = {\n",
" \"delivery_h1.csv\": \"\"\"\n",
"eNpFWTkOZTcOzH0WBeJOncYw0Magkxmgx4lvbzyJVY4+IelRFMni9v/368efv37/+WP9+OPv/69ff/z187//+U323rJ8XUKXL7+U\n",
"LV1xKV82VCxfdqlc9j4ofNlYOcseC9k4LgK2oitnzVbeD8TnS4lVSy+VK+ZU4VTPRXLW/dU9CyorHnPVFW/JsOdLHyMNiKAf83uN\n",
"Qnhtbg532yOUySwoRDLDA83xGPtEv0RyCcytV875s/QuObg7ZXeFstygb3euBe70JFU8B907LoiNvZA1hI4mg5YNB68IyBg5OowC\n",
"8XG/UsTBl7lXvbUUrul6ak0bcdKh1qTnZHKN8mdDjjy4q/Z6SyWrhtLRaNk6j6ABigqqHB1UcfOzwBWtDvTdG87Wgt1W3N6G97Xz\n",
"C76hcw1RuLV7tNUHfM/GS48s2Xf30MrHIN3x+fTESH4ScpwiN/j/+YzwsZW933nZMmLIHhXJtnFy2XAi2fEuEqBXLnrfhz3uLRe/\n",
"n1lEBmFC+IqME4nY3C3Qj0hgCS4qQK9Ic+mAl26sKeVXyK8GeS6ELxFrDiUO1bxDe5xQlOxtg4MNBMR0zpvx1ChfDMoxSm/UDiEs\n",
"Ru07zCsuw9bB3w1KcfD34FKufqbx4tpYVxzRUwLaD2r/QvhRAzEJqj8CbCMhY0BB0eRxBk6Se0RLGSsltJ8IQZLQfn7Wvewz8R31\n",
"kxOAJCcASUH6kjldXwC9PIvaL2ingptUfxVYUPgL32vTnggqLXDvVm5CO+3DouGbTfbErjSk7zPinA0NHkQfOTosDuK/HGRGOTEs\n",
"DnV/yP/0Enm757mwblygW7A0zqMXunEpJxUTEXTnvFeRenX3k0w31KOyvyvlkjJCquhIpDIKUhkFqSA9quQLriqFm6QhrcA9VSf4\n",
"qI6BVaF/VRhY1ed1GmChyJB60++VjPlXFSlGbTxITeYmQ3GixK8aVWSBY/lF2/t2q4mCaghAarzB9xoC8Uedb3CoyJHE1GMkYg5W\n",
"LzwLCFZHBNJAktQL4XtVoP7RsFtYaMCJNAKSRZLHIFgDRo4zK4kcr/lqFE2FNBfA95r02UP80URxpQkPyubmebFAC/YtKqfIvsj+\n",
"IvhRlP5C+FFUDzGshQiqjQiqLaQGZQoMa/vENW3e0BOClCDWRgLTPlDx2ZPZ9cvAg4dDEx+DJAeFkB4C7eCOgzCnp+FsB0a2jTrC\n",
"tpDSEdT2vMK2cylGO7ZzxDPmYdvwU9vQkwn8yASliolyDVcIHMkElYpJcq3WcIOiTJDpTafYMpWpl+2i+a1NMW060do0RsN2a+l3\n",
"CpWKaX/4eyRMYcY32PQahmxsRLMZahVDOjaDt5ohW5oh3ZsNGIzZ2Ahm80ln5ga2Th1dMD/qC3hvlzd4kzpTu1lMyrHgDYGIZIGM\n",
"acSzxWfpq4fI9b6knQMh1QIlryUqFmNRbanglkg7lvSljCVzRSYUnDVVguXEDEtauibmWQmXUJNaTVFn5ZCuJuYZymorQM6Kvlpn\n",
"TiEt2y2q715PU2aNvsPacSomPlvTkZo66oZgTbgdXHBohIMLDqKSnala7JbUbynJoiDHafjsxfN3zpmZ/cvMb2kc1bdxD0nB96Qd\n",
"38mlmprBd4PFhFWXkd8JZRfo3wVAcHlR2yVwHDBwgfh+W+JHndG2K/irrHMDniuikQPJrojaroGlHAl1+j5XaMf1TNzzm5Tvmk3R\n",
"6IZI5MSxm3MNBnAbB3JDXeEGELid1W/ttsb3BgcI3AEz9xkauE/h4g4NeUIHXliCgzqTsl8U35uCFgiAzNkbO2HsAQvH9B0etfoR\n",
"iKUeU/h6oqvxRCx1gtjTIGSSf8IEmfy0oOYEBjwPdFq8oqY08lIu2ZtEeDkeWhNLvfCAqhcFvPgAdsbe0xd4o2rxVlKGTaRMb5SO\n",
"3vChLrC9tfX7EsWp37R8CfgQIOwHHnp8naeBA+kPIpyfwqme/OIEcOzhHltmMzjViv2KrtjjPgH4xs6nt0BZHZhoxSZvQZYJtsRB\n",
"+AYycQjgFRxphbwUEFI4NAVjsCMO3ZBYEZ1DYdlQ45rzi/GdUIivUH2wqA4d5wyD54Rh8BTGC8wGEGHwnTBcYAhvwbY4rL/0I5ec\n",
"1imcVzj17/D/cFuz6SCQh8Mx9YgL4Ef1uEE4yvZAYxw3D99joViCCcJ5PN5YKiKxh8FQBAJExMFFSRtfAD9KYcacFBmJ0VMAv5GJ\n",
"PbhQolCJRCUUNfCKmkIoCuiKMuwBXcHOOGo8qGoK4ihqh41xNLTTM5WIpoOipg70xdEod6MToja1301q8lcc1ChxkOHjoKeJYxPG\n",
"4+CGExPK4iC8xcHkL86MzYJTrdwAQW5gLJGBc4/6cwNiuYOn8ITcKORyN7mNh6bs1+AmO+MU8Bdk+BRYICXe21PQeqfUQ1sKMJYC\n",
"/0wdAyc641SwZ2OcCoQlB9OpUFBqcbfnJg620lChJErptOma0iY/JhGchhorjfLb5Pj8F8FpY+J0lOrpVJBPgE7H2DLZF6fzBU4L\n",
"OIrQdFqAs60MeFHGpIAMPCFQrGdMmZgxCMtAO5NR+K7xHaJ05iYFBGfiATkZJtNHszkpIBM1aHI0nYnRcTL/5p1t3V3k3ywdx887\n",
"3LofsIjOooIKZVxWcQ0pMlFGJ4fT2TMeylbsoQ/Inn4sO3g8cWrSTDZCUDYVdDakPYjReZAjk5Pp5HwrDzDA0XSyjM6DOjTPPKD2\n",
"BoEiqDCarm0gxgK1p4arjdlQ7cLSRIgCfotJuGT8vwQJpmQSTInzFMYGxW64pPBlv4eVTCdZCniVjm8WptJF/JY6jkN2TX5XPNWk\n",
"JgWXTXQow+Cy+NdSGVRjGOuWYXBWNvmrbKJPWeP4YLecwjuSY6ENLgd3dsHlwVP5atryGRSUozYsh26QeosDrQoMhSqonPABf8X4\n",
"TXGiVUBuRfMUlJNAViVifwG5hdRbidhfidhWCeXc7vctAVeVSC7F0rlq0mOx/a1CgVUF69bEhiJwq4qn4DsF10TyrZ7AUE31NHJj\n",
"NV2zA+cTHKCd7gk31e8vyTp7id5YXQetUR0lhbhQh/xv7XyZMPnWAbJYPBdg24Bt75G/t75OoYHaRuncGxPF3mDee5ynOcfqPcZt\n",
"/J3UMnmxBTOmFnAnbFvg+D3/J/0DpZ50FA==\n",
"\"\"\",\n",
"}\n",
"os.makedirs(\"data\", exist_ok=True)\n",
"for _name, _packed in _DATA.items():\n",
" with open(os.path.join(\"data\", _name), \"wb\") as _f:\n",
" _f.write(zlib.decompress(base64.b64decode(_packed)))\n",
"print(\"Файлы данных:\", \", \".join(sorted(_DATA)))\n",
"\n",
"# ─── Проверка упражнений: тот же раннер, что у задач на сайте ───\n",
"# ─── Запуск тестов ───────────────────────────────────────────────────────────\n",
"\n",
"_TIMEOUT = 2.0 # секунд на тест; отдельный тест может задать свой: test_x.timeout = 10\n",
"\n",
"\n",
"def _call_with_timeout(target, seconds: float) -> bool:\n",
" \"\"\"Запускает target() в отдельном потоке. Возвращает False, если за seconds он не завершился.\"\"\"\n",
" import sys\n",
" import threading\n",
"\n",
" if sys.platform == \"emscripten\": # Python в браузере: потоков нет, таймаут обеспечивает страница\n",
" target()\n",
" return True\n",
" # Большой стек нужен, чтобы глубокая рекурсия давала RecursionError, а не аварийное завершение Python.\n",
" for megabytes in (256, 64, 0):\n",
" try:\n",
" threading.stack_size(megabytes * 1024 * 1024)\n",
" worker = threading.Thread(target=target, daemon=True)\n",
" worker.start()\n",
" except (ValueError, RuntimeError, MemoryError):\n",
" continue\n",
" worker.join(seconds)\n",
" return not worker.is_alive()\n",
" target() # потоки недоступны — запускаем без таймаута\n",
" return True\n",
"\n",
"\n",
"def _test_info(fn) -> dict:\n",
" \"\"\"Описание теста, его лимит времени и сообщение на случай зависания.\"\"\"\n",
" limit = getattr(fn, \"timeout\", _TIMEOUT)\n",
" hint = getattr(fn, \"timeout_hint\", \"\")\n",
" message = (\n",
" f\"тест не завершился за {limit:g} с — возможно, бесконечный цикл или рекурсия: \"\n",
" \"проверьте, что границы/аргументы изменяются на каждом шаге\" + (f\". {hint}\" if hint else \"\")\n",
" )\n",
" return {\"title\": (fn.__doc__ or fn.__name__).strip(), \"timeout\": limit, \"timeout_message\": message}\n",
"\n",
"\n",
"def _error_result(title: str, error: BaseException, user_file: str | None) -> dict:\n",
" \"\"\"Результат упавшего теста: статус, сообщение, тип исключения и строка в коде решения.\"\"\"\n",
" line = None\n",
" if user_file: # самый глубокий кадр в коде решения; ошибка внутри самих тестов — без номера строки\n",
" tb = error.__traceback__\n",
" while tb is not None:\n",
" if tb.tb_frame.f_code.co_filename == user_file:\n",
" line = tb.tb_lineno\n",
" tb = tb.tb_next\n",
" status, message = \"error\", f\"{type(error).__name__}: {error}\"\n",
" if isinstance(error, NotImplementedError):\n",
" status, message, line = \"not_written\", \"функция ещё не написана\", None\n",
" elif isinstance(error, AssertionError):\n",
" status, message = \"failed\", str(error) or \"проверка не прошла\"\n",
" elif isinstance(error, RecursionError):\n",
" message = \"RecursionError: слишком глубокая рекурсия — проверьте базовый случай и то, что задача уменьшается\"\n",
" elif isinstance(error, MemoryError) or (isinstance(error, OverflowError) and \"index-sized\" in str(error)):\n",
" message = f\"{type(error).__name__}: не хватило памяти — возможно, создаётся слишком большая структура данных\"\n",
" return {\"title\": title, \"status\": status, \"message\": message, \"error_type\": type(error).__name__, \"line\": line}\n",
"\n",
"\n",
"def _run_tests(verbose: bool = True, on_start=None, on_result=None, user_file: str | None = None) -> list[dict]:\n",
" \"\"\"Запускает тесты задачи (_TESTS — функции из tests.py) по порядку, каждый — с таймаутом.\n",
"\n",
" Возвращает список результатов: {\"title\", \"status\", \"message\", \"error_type\", \"line\"}, где status —\n",
" passed · failed · error · not_written · timeout · not_run. Если тест завис, при verbose=True печатает\n",
" итог и завершает процесс: зависший поток остановить нельзя. on_start(i) и on_result(i, результат)\n",
" вызываются по мере выполнения; user_file — имя файла с кодом решения для номеров строк в ошибках.\n",
" \"\"\"\n",
" import os\n",
" import sys\n",
"\n",
" if verbose:\n",
" try: # ✓ и кириллица в консоли Windows со старой кодировкой\n",
" sys.stdout.reconfigure(encoding=\"utf-8\")\n",
" except Exception: # noqa: BLE001 — reconfigure может не быть (перенаправленный вывод, браузер)\n",
" pass\n",
"\n",
" tests = list(_TESTS)\n",
" results: list[dict] = []\n",
" not_written = hung = False\n",
" for index, fn in enumerate(tests):\n",
" info = _test_info(fn)\n",
" outcome: dict = {}\n",
"\n",
" def target(fn=fn, outcome=outcome):\n",
" try:\n",
" fn()\n",
" except BaseException as e:\n",
" outcome[\"error\"] = e\n",
"\n",
" if on_start:\n",
" on_start(index)\n",
" if not _call_with_timeout(target, info[\"timeout\"]):\n",
" results.append({\"title\": info[\"title\"], \"status\": \"timeout\", \"message\": info[\"timeout_message\"], \"error_type\": None, \"line\": None})\n",
" for other in tests[index + 1:]:\n",
" results.append({\"title\": _test_info(other)[\"title\"], \"status\": \"not_run\", \"message\": \"не запускался: предыдущий тест завис\", \"error_type\": None, \"line\": None})\n",
" hung = True\n",
" break\n",
" error = outcome.get(\"error\")\n",
" if error is None:\n",
" result = {\"title\": info[\"title\"], \"status\": \"passed\", \"message\": \"\", \"error_type\": None, \"line\": None}\n",
" else:\n",
" result = _error_result(info[\"title\"], error, user_file)\n",
" not_written = not_written or result[\"status\"] == \"not_written\"\n",
" results.append(result)\n",
" if on_result:\n",
" on_result(index, result)\n",
"\n",
" if not_written: # пока функция не написана, «даром» пройденные тесты не засчитываются\n",
" for r in results:\n",
" if r[\"status\"] == \"passed\":\n",
" r.update(status=\"not_written\", message=\"не засчитан, пока функция не написана\")\n",
" for r in results:\n",
" if len(r[\"message\"]) > 300:\n",
" r[\"message\"] = r[\"message\"][:300] + \"…\"\n",
"\n",
" if verbose:\n",
" if not_written:\n",
" print(\"Функция ещё не написана — замените raise NotImplementedError своим кодом.\\n\")\n",
" for r in results:\n",
" mark = {\"passed\": \"✓\", \"not_run\": \"–\"}.get(r[\"status\"], \"✗\")\n",
" print(f\"{mark} {r['title']}\")\n",
" if r[\"message\"]:\n",
" print(f\" {r['message']}\")\n",
" passed = sum(r[\"status\"] == \"passed\" for r in results)\n",
" print(\"─\" * 40)\n",
" print(f\"Прошло {passed} из {len(results)}\" + (\" — всё верно!\" if passed == len(results) else \"\"))\n",
" if hung:\n",
" print(\"Выполнение остановлено: один из тестов завис.\")\n",
" sys.stdout.flush()\n",
" os._exit(1)\n",
" return results\n",
"\n",
"\n",
"def _check(*tests, names=()):\n",
" \"\"\"Запускает проверки упражнения и печатает ✓ / ✗ и итог — как на сайте.\"\"\"\n",
" for name in names:\n",
" if \".\" in name: # «Класс.метод» из заготовки: класс должен быть объявлен\n",
" if not isinstance(globals().get(name.split(\".\")[0]), type):\n",
" print(f\"✗ класс {name.split('.')[0]} не объявлен — выполните ячейку упражнения\")\n",
" return\n",
" continue\n",
" if name not in globals():\n",
" print(f\"✗ переменная {name} не создана — выполните ячейку упражнения\")\n",
" return\n",
" if globals()[name] is Ellipsis:\n",
" print(f\"✗ {name} пока равна ... — замените многоточие своим кодом\")\n",
" return\n",
" globals()[\"_TESTS\"] = list(tests)\n",
" _run_tests()"
],
"execution_count": null,
"outputs": [],
"id": "setup"
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"До сих пор данные были чистыми. В жизни так не бывает: часть значений обычно неизвестна. Служба доставки\n",
"«Кофейной лавки» прислала выгрузку за первое полугодие — по строке на заказ: номер, срок доставки в днях\n",
"(`days`) и оценка покупателя от 1 до 5 (`rating`)."
],
"id": "text-10"
},
{
"cell_type": "code",
"metadata": {},
"source": [
"# Доставка: первое полугодие\n",
"import pandas as pd\n",
"\n",
"delivery = pd.read_csv(\"data/delivery_h1.csv\")\n",
"delivery.head()"
],
"execution_count": null,
"outputs": [],
"id": "load"
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"В первой же строке вместо оценки стоит `NaN` (not a number, «не число»). Так pandas обозначает **пропуск** —\n",
"значение, которого нет: в файле на этом месте было пусто. Покупатель не поставил оценку.\n",
"\n",
"Заметьте: сроки и оценки показаны как `4.0`, хотя в файле целые числа. `NaN` — особое **дробное** значение,\n",
"и столбец с ним становится дробным (`float64`). Как вернуть целые, разберём в следующем уроке.\n",
"\n",
"## Найти и посчитать\n",
"\n",
"Метод `isna` («is NA» — «отсутствует ли») возвращает маску: `True` там, где пропуск."
],
"id": "text-16"
},
{
"cell_type": "code",
"metadata": {},
"source": [
"# Маска пропусков\n",
"delivery[\"rating\"].isna().head()"
],
"execution_count": null,
"outputs": [],
"id": "isna"
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"У таблицы `isna` возвращает таблицу масок, а `sum` по ней считает пропуски в каждом столбце — это первое,\n",
"что стоит сделать с любой новой выгрузкой:"
],
"id": "text-28"
},
{
"cell_type": "code",
"metadata": {},
"source": [
"# Сколько пропусков в каждом столбце\n",
"delivery.isna().sum()"
],
"execution_count": null,
"outputs": [],
"id": "isna-sum"
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"Оценки нет у 287 заказов, срок не записан у 36. Обратный метод вы уже знаете: `notna` — «значение есть».\n",
"А метод `count` считает именно непустые значения — в отличие от `len`, который считает строки:"
],
"id": "text-33"
},
{
"cell_type": "code",
"metadata": {},
"source": [
"# Строк 816, оценок 529\n",
"print(len(delivery))\n",
"print(delivery[\"rating\"].count())\n",
"delivery.count()"
],
"execution_count": null,
"outputs": [],
"id": "count"
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"### Упражнение 1. Доля пропусков\n",
"\n",
"Сохраните в `gap_share` долю пропусков в каждом столбце таблицы `delivery`, а в `no_rating` — строки, где\n",
"оценка пропущена.\n",
"\n",
"Подсказка 1
\n",
"\n",
"Доля — среднее маски: `delivery.isna().mean()`.\n",
"\n",
"Подсказка 2
\n",
"\n",
"Строки по маске: `delivery[delivery[\"rating\"].isna()]`.\n",
"\n",
"Решение
\n",
"\n",
"```python\n",
"gap_share = delivery.isna().mean()\n",
"no_rating = delivery[delivery[\"rating\"].isna()]\n",
"```\n",
"\n",
"Ответ
\n",
"\n",
"`2.0`\n",
"\n",
"`mean` пропускает `NaN`: остаются 1 и 3, их среднее — 2.0. Результат 1.33 получился бы, если бы пропуск считался нулём: (1 + 0 + 3) / 3.\n",
"\n",
"Подсказка 1
\n",
"\n",
"Известные сроки — `delivery.loc[delivery[\"days\"].notna(), \"days\"]`.\n",
"\n",
"Подсказка 2
\n",
"\n",
"Доля — среднее маски `known_days > 5`.\n",
"\n",
"Решение
\n",
"\n",
"```python\n",
"known_days = delivery.loc[delivery[\"days\"].notna(), \"days\"]\n",
"late_share = (known_days > 5).mean()\n",
"```\n",
"\n",
"Подсказка 1
\n",
"\n",
"`delivery.dropna(subset=[\"rating\"])`.\n",
"\n",
"Решение
\n",
"\n",
"```python\n",
"rated = delivery.dropna(subset=[\"rating\"])\n",
"avg_rating = rated[\"rating\"].mean()\n",
"```\n",
"\n",
"Подсказка 1
\n",
"\n",
"`fillna` возвращает новый Series — запишите его обратно: `filled[\"days\"] = filled[\"days\"].fillna(...)`.\n",
"\n",
"Подсказка 2
\n",
"\n",
"Медиана — `filled[\"days\"].median()`; оставшиеся пропуски — `filled[\"days\"].isna().sum()`.\n",
"\n",
"Решение
\n",
"\n",
"```python\n",
"filled = delivery.copy()\n",
"filled[\"days\"] = filled[\"days\"].fillna(filled[\"days\"].median())\n",
"n_gaps_left = filled[\"days\"].isna().sum()\n",
"```\n",
"\n",
"