{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Типы\n",
    "\n",
    "Почему числа читаются как текст и как это заметить; astype и pd.to_numeric с errors=\"coerce\"; целые числа с пропусками — тип Int64; что теряется при переводе дробных в целые.\n",
    "\n",
    "Курс pandas · урок `pd-types` · [урок на сайте](https://ds-edu-trainer.vercel.app/courses/pandas/types).\n",
    "\n",
    "Выполняйте ячейки по порядку (Shift+Enter), начиная с первой — она готовит урок. После каждого упражнения идёт\n",
    "ячейка проверки: она печатает ✓ / ✗ и итог."
   ],
   "id": "intro"
  },
  {
   "cell_type": "code",
   "metadata": {
    "cellView": "form",
    "jupyter": {
     "source_hidden": true
    }
   },
   "source": [
    "# @title Подготовка урока — выполните эту ячейку первой\n",
    "# Проверяет версии пакетов, записывает файлы данных в папку data/ и определяет _check — проверку упражнений.\n",
    "import base64, os, zlib\n",
    "\n",
    "for _name, _min in {\"numpy\":\"2.0\",\"pandas\":\"3.0\"}.items():\n",
    "    try:\n",
    "        _have = __import__(_name).__version__\n",
    "    except ImportError:\n",
    "        print(f\"Нет пакета {_name}: выполните %pip install {_name} и перезапустите ядро\")\n",
    "        continue\n",
    "    if tuple(int(x) for x in _have.split(\".\")[:2]) < tuple(int(x) for x in _min.split(\".\")):\n",
    "        print(f\"Урок написан для {_name} {_min} и новее, у вас {_have}: выполните %pip install -U {_name} и перезапустите ядро\")\n",
    "\n",
    "_DATA = {\n",
    "    \"supplier_prices.csv\": \"\"\"\n",
    "eNp9lF1O20AUhd9ZxSzggmbGP0l2wQ4qlEQVqtogCA99swlVKpEKov6AKFUpVKISlRp+XEISmy2cuwVWUl3baew05cEPY8397pl7\n",
    "zszGZquxXW8/W2/Qq7WXTaqvtZvPW5uvaWNzvd6kemurTVvtVv0FbW801trNxtKqNsTvOMQDB4g45BDJMoeYpIueMgoj3CjCMRLe\n",
    "RURGeb5Wjzsx1awmI5+3os2K1dZfWtU23YkxdzDBFYa8r6ynFW5mhEpe72pNvkvGKZQ7ImYXQyR4KBQX+ledvNrXRMYWal1CH6c4\n",
    "wCGO8BlH+CXqj/G+KN6pZOVVL2vuFwDe340KV4hwJ2dP1xgixuC/J0GMiHcUbjFAjJj3+A15tfLJfFIKF9znQDbgXnEXA9wrozPm\n",
    "haxoKs/4mox2ybgFRIVwiAhj7j+FcG2OqArClBFVwnlqTjxX5dWyKlvRVJ3rWyOccYABrnkfMRLpHOIKCQfKK0JsDjFGk3EqpQEY\n",
    "LQP4gURmijEGuFW4EQb3MMIQ94Rv2X8kHPIOhmSmPC1eF6wyhvAVEXcRIeaeGJbgmsNcX7QAlVslQ3GqZWVWlJ2kHouDY+4pXCt+\n",
    "W9S6iOl4s0lXbVmgk3olUebg30prnw5OIdbGJYw44A5+Y4SBkqaYYKxkAsLrSDX5duafTL9I8Ih35XYj5u7y7KLPEazS/nTcrqZy\n",
    "fI0vGehwkGqQ1wG3ciV4fx4yDZJxrZhWZFTSKyBJQYwhRgp3EioMOEDC3SzUZZ5Rrsl4j8EH8ku5NFXh5XcRk9QpUSfDElqm7gAj\n",
    "DrMDc0da8R45ys2ts9pokjwUuTXC9/QJ+YkznOJSoY9znOAAn/AFl/i4mGr9WVo9XTq61YQzRBykMgt2LiYZZfNXztfiZSmvfwDH\n",
    "5s7A\n",
    "\"\"\",\n",
    "    \"delivery_h1.csv\": \"\"\"\n",
    "eNpFWTkOZTcOzH0WBeJOncYw0Magkxmgx4lvbzyJVY4+IelRFMni9v/368efv37/+WP9+OPv/69ff/z187//+U323rJ8XUKXL7+U\n",
    "LV1xKV82VCxfdqlc9j4ofNlYOcseC9k4LgK2oitnzVbeD8TnS4lVSy+VK+ZU4VTPRXLW/dU9CyorHnPVFW/JsOdLHyMNiKAf83uN\n",
    "Qnhtbg532yOUySwoRDLDA83xGPtEv0RyCcytV875s/QuObg7ZXeFstygb3euBe70JFU8B907LoiNvZA1hI4mg5YNB68IyBg5OowC\n",
    "8XG/UsTBl7lXvbUUrul6ak0bcdKh1qTnZHKN8mdDjjy4q/Z6SyWrhtLRaNk6j6ABigqqHB1UcfOzwBWtDvTdG87Wgt1W3N6G97Xz\n",
    "C76hcw1RuLV7tNUHfM/GS48s2Xf30MrHIN3x+fTESH4ScpwiN/j/+YzwsZW933nZMmLIHhXJtnFy2XAi2fEuEqBXLnrfhz3uLRe/\n",
    "n1lEBmFC+IqME4nY3C3Qj0hgCS4qQK9Ic+mAl26sKeVXyK8GeS6ELxFrDiUO1bxDe5xQlOxtg4MNBMR0zpvx1ChfDMoxSm/UDiEs\n",
    "Ru07zCsuw9bB3w1KcfD34FKufqbx4tpYVxzRUwLaD2r/QvhRAzEJqj8CbCMhY0BB0eRxBk6Se0RLGSsltJ8IQZLQfn7Wvewz8R31\n",
    "kxOAJCcASUH6kjldXwC9PIvaL2ingptUfxVYUPgL32vTnggqLXDvVm5CO+3DouGbTfbErjSk7zPinA0NHkQfOTosDuK/HGRGOTEs\n",
    "DnV/yP/0Enm757mwblygW7A0zqMXunEpJxUTEXTnvFeRenX3k0w31KOyvyvlkjJCquhIpDIKUhkFqSA9quQLriqFm6QhrcA9VSf4\n",
    "qI6BVaF/VRhY1ed1GmChyJB60++VjPlXFSlGbTxITeYmQ3GixK8aVWSBY/lF2/t2q4mCaghAarzB9xoC8Uedb3CoyJHE1GMkYg5W\n",
    "LzwLCFZHBNJAktQL4XtVoP7RsFtYaMCJNAKSRZLHIFgDRo4zK4kcr/lqFE2FNBfA95r02UP80URxpQkPyubmebFAC/YtKqfIvsj+\n",
    "IvhRlP5C+FFUDzGshQiqjQiqLaQGZQoMa/vENW3e0BOClCDWRgLTPlDx2ZPZ9cvAg4dDEx+DJAeFkB4C7eCOgzCnp+FsB0a2jTrC\n",
    "tpDSEdT2vMK2cylGO7ZzxDPmYdvwU9vQkwn8yASliolyDVcIHMkElYpJcq3WcIOiTJDpTafYMpWpl+2i+a1NMW060do0RsN2a+l3\n",
    "CpWKaX/4eyRMYcY32PQahmxsRLMZahVDOjaDt5ohW5oh3ZsNGIzZ2Ahm80ln5ga2Th1dMD/qC3hvlzd4kzpTu1lMyrHgDYGIZIGM\n",
    "acSzxWfpq4fI9b6knQMh1QIlryUqFmNRbanglkg7lvSljCVzRSYUnDVVguXEDEtauibmWQmXUJNaTVFn5ZCuJuYZymorQM6Kvlpn\n",
    "TiEt2y2q715PU2aNvsPacSomPlvTkZo66oZgTbgdXHBohIMLDqKSnala7JbUbynJoiDHafjsxfN3zpmZ/cvMb2kc1bdxD0nB96Qd\n",
    "38mlmprBd4PFhFWXkd8JZRfo3wVAcHlR2yVwHDBwgfh+W+JHndG2K/irrHMDniuikQPJrojaroGlHAl1+j5XaMf1TNzzm5Tvmk3R\n",
    "6IZI5MSxm3MNBnAbB3JDXeEGELid1W/ttsb3BgcI3AEz9xkauE/h4g4NeUIHXliCgzqTsl8U35uCFgiAzNkbO2HsAQvH9B0etfoR\n",
    "iKUeU/h6oqvxRCx1gtjTIGSSf8IEmfy0oOYEBjwPdFq8oqY08lIu2ZtEeDkeWhNLvfCAqhcFvPgAdsbe0xd4o2rxVlKGTaRMb5SO\n",
    "3vChLrC9tfX7EsWp37R8CfgQIOwHHnp8naeBA+kPIpyfwqme/OIEcOzhHltmMzjViv2KrtjjPgH4xs6nt0BZHZhoxSZvQZYJtsRB\n",
    "+AYycQjgFRxphbwUEFI4NAVjsCMO3ZBYEZ1DYdlQ45rzi/GdUIivUH2wqA4d5wyD54Rh8BTGC8wGEGHwnTBcYAhvwbY4rL/0I5ec\n",
    "1imcVzj17/D/cFuz6SCQh8Mx9YgL4Ef1uEE4yvZAYxw3D99joViCCcJ5PN5YKiKxh8FQBAJExMFFSRtfAD9KYcacFBmJ0VMAv5GJ\n",
    "PbhQolCJRCUUNfCKmkIoCuiKMuwBXcHOOGo8qGoK4ihqh41xNLTTM5WIpoOipg70xdEod6MToja1301q8lcc1ChxkOHjoKeJYxPG\n",
    "4+CGExPK4iC8xcHkL86MzYJTrdwAQW5gLJGBc4/6cwNiuYOn8ITcKORyN7mNh6bs1+AmO+MU8Bdk+BRYICXe21PQeqfUQ1sKMJYC\n",
    "/0wdAyc641SwZ2OcCoQlB9OpUFBqcbfnJg620lChJErptOma0iY/JhGchhorjfLb5Pj8F8FpY+J0lOrpVJBPgE7H2DLZF6fzBU4L\n",
    "OIrQdFqAs60MeFHGpIAMPCFQrGdMmZgxCMtAO5NR+K7xHaJ05iYFBGfiATkZJtNHszkpIBM1aHI0nYnRcTL/5p1t3V3k3ywdx887\n",
    "3LofsIjOooIKZVxWcQ0pMlFGJ4fT2TMeylbsoQ/Inn4sO3g8cWrSTDZCUDYVdDakPYjReZAjk5Pp5HwrDzDA0XSyjM6DOjTPPKD2\n",
    "BoEiqDCarm0gxgK1p4arjdlQ7cLSRIgCfotJuGT8vwQJpmQSTInzFMYGxW64pPBlv4eVTCdZCniVjm8WptJF/JY6jkN2TX5XPNWk\n",
    "JgWXTXQow+Cy+NdSGVRjGOuWYXBWNvmrbKJPWeP4YLecwjuSY6ENLgd3dsHlwVP5atryGRSUozYsh26QeosDrQoMhSqonPABf8X4\n",
    "TXGiVUBuRfMUlJNAViVifwG5hdRbidhfidhWCeXc7vctAVeVSC7F0rlq0mOx/a1CgVUF69bEhiJwq4qn4DsF10TyrZ7AUE31NHJj\n",
    "NV2zA+cTHKCd7gk31e8vyTp7id5YXQetUR0lhbhQh/xv7XyZMPnWAbJYPBdg24Bt75G/t75OoYHaRuncGxPF3mDee5ynOcfqPcZt\n",
    "/J3UMnmxBTOmFnAnbFvg+D3/J/0DpZ50FA==\n",
    "\"\"\",\n",
    "}\n",
    "os.makedirs(\"data\", exist_ok=True)\n",
    "for _name, _packed in _DATA.items():\n",
    "    with open(os.path.join(\"data\", _name), \"wb\") as _f:\n",
    "        _f.write(zlib.decompress(base64.b64decode(_packed)))\n",
    "print(\"Файлы данных:\", \", \".join(sorted(_DATA)))\n",
    "\n",
    "# ─── Проверка упражнений: тот же раннер, что у задач на сайте ───\n",
    "# ─── Запуск тестов ───────────────────────────────────────────────────────────\n",
    "\n",
    "_TIMEOUT = 2.0  # секунд на тест; отдельный тест может задать свой: test_x.timeout = 10\n",
    "\n",
    "\n",
    "def _call_with_timeout(target, seconds: float) -> bool:\n",
    "    \"\"\"Запускает target() в отдельном потоке. Возвращает False, если за seconds он не завершился.\"\"\"\n",
    "    import sys\n",
    "    import threading\n",
    "\n",
    "    if sys.platform == \"emscripten\":  # Python в браузере: потоков нет, таймаут обеспечивает страница\n",
    "        target()\n",
    "        return True\n",
    "    # Большой стек нужен, чтобы глубокая рекурсия давала RecursionError, а не аварийное завершение Python.\n",
    "    for megabytes in (256, 64, 0):\n",
    "        try:\n",
    "            threading.stack_size(megabytes * 1024 * 1024)\n",
    "            worker = threading.Thread(target=target, daemon=True)\n",
    "            worker.start()\n",
    "        except (ValueError, RuntimeError, MemoryError):\n",
    "            continue\n",
    "        worker.join(seconds)\n",
    "        return not worker.is_alive()\n",
    "    target()  # потоки недоступны — запускаем без таймаута\n",
    "    return True\n",
    "\n",
    "\n",
    "def _test_info(fn) -> dict:\n",
    "    \"\"\"Описание теста, его лимит времени и сообщение на случай зависания.\"\"\"\n",
    "    limit = getattr(fn, \"timeout\", _TIMEOUT)\n",
    "    hint = getattr(fn, \"timeout_hint\", \"\")\n",
    "    message = (\n",
    "        f\"тест не завершился за {limit:g} с — возможно, бесконечный цикл или рекурсия: \"\n",
    "        \"проверьте, что границы/аргументы изменяются на каждом шаге\" + (f\". {hint}\" if hint else \"\")\n",
    "    )\n",
    "    return {\"title\": (fn.__doc__ or fn.__name__).strip(), \"timeout\": limit, \"timeout_message\": message}\n",
    "\n",
    "\n",
    "def _error_result(title: str, error: BaseException, user_file: str | None) -> dict:\n",
    "    \"\"\"Результат упавшего теста: статус, сообщение, тип исключения и строка в коде решения.\"\"\"\n",
    "    line = None\n",
    "    if user_file:  # самый глубокий кадр в коде решения; ошибка внутри самих тестов — без номера строки\n",
    "        tb = error.__traceback__\n",
    "        while tb is not None:\n",
    "            if tb.tb_frame.f_code.co_filename == user_file:\n",
    "                line = tb.tb_lineno\n",
    "            tb = tb.tb_next\n",
    "    status, message = \"error\", f\"{type(error).__name__}: {error}\"\n",
    "    if isinstance(error, NotImplementedError):\n",
    "        status, message, line = \"not_written\", \"функция ещё не написана\", None\n",
    "    elif isinstance(error, AssertionError):\n",
    "        status, message = \"failed\", str(error) or \"проверка не прошла\"\n",
    "    elif isinstance(error, RecursionError):\n",
    "        message = \"RecursionError: слишком глубокая рекурсия — проверьте базовый случай и то, что задача уменьшается\"\n",
    "    elif isinstance(error, MemoryError) or (isinstance(error, OverflowError) and \"index-sized\" in str(error)):\n",
    "        message = f\"{type(error).__name__}: не хватило памяти — возможно, создаётся слишком большая структура данных\"\n",
    "    return {\"title\": title, \"status\": status, \"message\": message, \"error_type\": type(error).__name__, \"line\": line}\n",
    "\n",
    "\n",
    "def _run_tests(verbose: bool = True, on_start=None, on_result=None, user_file: str | None = None) -> list[dict]:\n",
    "    \"\"\"Запускает тесты задачи (_TESTS — функции из tests.py) по порядку, каждый — с таймаутом.\n",
    "\n",
    "    Возвращает список результатов: {\"title\", \"status\", \"message\", \"error_type\", \"line\"}, где status —\n",
    "    passed · failed · error · not_written · timeout · not_run. Если тест завис, при verbose=True печатает\n",
    "    итог и завершает процесс: зависший поток остановить нельзя. on_start(i) и on_result(i, результат)\n",
    "    вызываются по мере выполнения; user_file — имя файла с кодом решения для номеров строк в ошибках.\n",
    "    \"\"\"\n",
    "    import os\n",
    "    import sys\n",
    "\n",
    "    if verbose:\n",
    "        try:  # ✓ и кириллица в консоли Windows со старой кодировкой\n",
    "            sys.stdout.reconfigure(encoding=\"utf-8\")\n",
    "        except Exception:  # noqa: BLE001 — reconfigure может не быть (перенаправленный вывод, браузер)\n",
    "            pass\n",
    "\n",
    "    tests = list(_TESTS)\n",
    "    results: list[dict] = []\n",
    "    not_written = hung = False\n",
    "    for index, fn in enumerate(tests):\n",
    "        info = _test_info(fn)\n",
    "        outcome: dict = {}\n",
    "\n",
    "        def target(fn=fn, outcome=outcome):\n",
    "            try:\n",
    "                fn()\n",
    "            except BaseException as e:\n",
    "                outcome[\"error\"] = e\n",
    "\n",
    "        if on_start:\n",
    "            on_start(index)\n",
    "        if not _call_with_timeout(target, info[\"timeout\"]):\n",
    "            results.append({\"title\": info[\"title\"], \"status\": \"timeout\", \"message\": info[\"timeout_message\"], \"error_type\": None, \"line\": None})\n",
    "            for other in tests[index + 1:]:\n",
    "                results.append({\"title\": _test_info(other)[\"title\"], \"status\": \"not_run\", \"message\": \"не запускался: предыдущий тест завис\", \"error_type\": None, \"line\": None})\n",
    "            hung = True\n",
    "            break\n",
    "        error = outcome.get(\"error\")\n",
    "        if error is None:\n",
    "            result = {\"title\": info[\"title\"], \"status\": \"passed\", \"message\": \"\", \"error_type\": None, \"line\": None}\n",
    "        else:\n",
    "            result = _error_result(info[\"title\"], error, user_file)\n",
    "            not_written = not_written or result[\"status\"] == \"not_written\"\n",
    "        results.append(result)\n",
    "        if on_result:\n",
    "            on_result(index, result)\n",
    "\n",
    "    if not_written:  # пока функция не написана, «даром» пройденные тесты не засчитываются\n",
    "        for r in results:\n",
    "            if r[\"status\"] == \"passed\":\n",
    "                r.update(status=\"not_written\", message=\"не засчитан, пока функция не написана\")\n",
    "    for r in results:\n",
    "        if len(r[\"message\"]) > 300:\n",
    "            r[\"message\"] = r[\"message\"][:300] + \"…\"\n",
    "\n",
    "    if verbose:\n",
    "        if not_written:\n",
    "            print(\"Функция ещё не написана — замените raise NotImplementedError своим кодом.\\n\")\n",
    "        for r in results:\n",
    "            mark = {\"passed\": \"✓\", \"not_run\": \"–\"}.get(r[\"status\"], \"✗\")\n",
    "            print(f\"{mark} {r['title']}\")\n",
    "            if r[\"message\"]:\n",
    "                print(f\"    {r['message']}\")\n",
    "        passed = sum(r[\"status\"] == \"passed\" for r in results)\n",
    "        print(\"─\" * 40)\n",
    "        print(f\"Прошло {passed} из {len(results)}\" + (\" — всё верно!\" if passed == len(results) else \"\"))\n",
    "        if hung:\n",
    "            print(\"Выполнение остановлено: один из тестов завис.\")\n",
    "            sys.stdout.flush()\n",
    "            os._exit(1)\n",
    "    return results\n",
    "\n",
    "\n",
    "def _check(*tests, names=()):\n",
    "    \"\"\"Запускает проверки упражнения и печатает ✓ / ✗ и итог — как на сайте.\"\"\"\n",
    "    for name in names:\n",
    "        if \".\" in name:  # «Класс.метод» из заготовки: класс должен быть объявлен\n",
    "            if not isinstance(globals().get(name.split(\".\")[0]), type):\n",
    "                print(f\"✗ класс {name.split('.')[0]} не объявлен — выполните ячейку упражнения\")\n",
    "                return\n",
    "            continue\n",
    "        if name not in globals():\n",
    "            print(f\"✗ переменная {name} не создана — выполните ячейку упражнения\")\n",
    "            return\n",
    "        if globals()[name] is Ellipsis:\n",
    "            print(f\"✗ {name} пока равна ... — замените многоточие своим кодом\")\n",
    "            return\n",
    "    globals()[\"_TESTS\"] = list(tests)\n",
    "    _run_tests()"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "setup"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Поставщик прислал «Кофейной лавке» прайс-лист на 2026 год. Файл набирали вручную — и это видно."
   ],
   "id": "text-10"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Прайс поставщика\n",
    "import pandas as pd\n",
    "\n",
    "supplier = pd.read_csv(\"data/supplier_prices.csv\")\n",
    "supplier.head(6)"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "load"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Названия написаны как попало, в цене стоит знак рубля, в себестоимости вместо числа встречается «нет данных».\n",
    "В этом и следующих уроках мы приведём таблицу в порядок. Начнём с типов.\n",
    "\n",
    "## Числа, которые стали текстом"
   ],
   "id": "text-14"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Типы столбцов\n",
    "supplier.dtypes"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "dtypes"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "`price` и `cost` — это цены, но их тип — `str`, текст. Причина: тип у столбца один, и если хотя бы одно\n",
    "значение не число («нет данных», `1 560 ₽`), pandas читает текстом **весь** столбец. `stock` (остаток\n",
    "на складе) — числа, но дробные: в нём есть пропуски.\n",
    "\n",
    "Текстовый столбец с цифрами опасен тем, что не всегда даёт ошибку. Сложение для строк — это склейка,\n",
    "умножение на число — повтор:"
   ],
   "id": "text-21"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# «Сумма» и «удвоение» текста\n",
    "print(supplier[\"cost\"].head(3).sum())\n",
    "print((supplier[\"cost\"].head(3) * 2).tolist())"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "text-sum"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "А вот среднее по тексту посчитать нельзя:"
   ],
   "id": "text-30"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Среднее по текстовому столбцу\n",
    "# Эта ячейка показывает ошибку TypeError: она перехвачена, чтобы «Выполнить всё» не останавливалось.\n",
    "try:\n",
    "    supplier[\"cost\"].mean()\n",
    "except Exception as error:\n",
    "    print(f\"{type(error).__name__}: {error}\")"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "text-mean"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "> **Типичная ошибка: Cannot perform reduction 'mean' with string dtype.**\n",
    ">\n",
    "> Ошибка значит, что столбец текстовый. Проверьте `таблица.dtypes`: если там `str`, а вы ждали числа, в столбце\n",
    "> есть значения, которые не удалось прочитать как числа."
   ],
   "id": "component-35"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## astype и to_numeric\n",
    "\n",
    "Метод `astype` из прошлого модуля переводит столбец в указанный тип. Но он требует, чтобы подошли **все**\n",
    "значения:"
   ],
   "id": "text-39"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# astype спотыкается о «нет данных»\n",
    "# Эта ячейка показывает ошибку ValueError: она перехвачена, чтобы «Выполнить всё» не останавливалось.\n",
    "try:\n",
    "    supplier[\"cost\"].astype(int)\n",
    "except Exception as error:\n",
    "    print(f\"{type(error).__name__}: {error}\")"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "astype-fail"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Функция `pd.to_numeric` с параметром `errors=\"coerce\"` («принудить») поступает мягче: всё, что не получилось\n",
    "превратить в число, заменяет пропуском `NaN`:"
   ],
   "id": "text-46"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Что не число — то пропуск\n",
    "answers = pd.Series([\"12\", \"7\", \"нет\", \"3.5\", \"?\"])\n",
    "pd.to_numeric(answers, errors=\"coerce\")"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "coerce"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Упражнение 1. Себестоимость числами\n",
    "\n",
    "Сохраните в `cost_num` столбец `cost` таблицы `supplier`, переведённый в числа (нечисловые значения —\n",
    "пропуски). В `n_bad` — сколько значений не распозналось, в `cost_total` — сумму распознанных.\n",
    "\n",
    "<details><summary>Подсказка 1</summary>\n",
    "\n",
    "`pd.to_numeric(supplier[\"cost\"], errors=\"coerce\")`.\n",
    "\n",
    "</details>\n",
    "<details><summary>Подсказка 2</summary>\n",
    "\n",
    "Нераспознанные — пропуски: `cost_num.isna().sum()`. Сумма пропускает `NaN` сама.\n",
    "\n",
    "</details>"
   ],
   "id": "fix-task"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "cost_num = ...\n",
    "n_bad = ...\n",
    "cost_total = ..."
   ],
   "execution_count": null,
   "outputs": [],
   "id": "fix"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Проверка упражнения 1 — выполните после своего решения\n",
    "def test_cost():\n",
    "    \"cost_num — себестоимость числами\"\n",
    "    assert isinstance(cost_num, pd.Series), f\"cost_num — это {type(cost_num).__name__}, а нужен Series\"\n",
    "    assert cost_num.dtype == float, f\"тип cost_num — {cost_num.dtype}, а должен быть float64: текст в числа переводит pd.to_numeric\"\n",
    "    assert len(cost_num) == 20, f\"в cost_num {len(cost_num)} значений, а товаров 20: строки удалять не нужно\"\n",
    "    assert cost_num[0] == 920, \"значения не те: переводить нужно столбец cost\"\n",
    "\n",
    "\n",
    "def test_numbers():\n",
    "    \"n_bad и cost_total — сколько значений не распозналось и сумма остальных\"\n",
    "    assert n_bad != 17, \"17 — число распознанных значений, а нужны нераспознанные\"\n",
    "    assert n_bad == 3, f\"n_bad = {n_bad!r} — это не число нераспознанных значений\"\n",
    "    assert not isinstance(cost_total, str), \"cost_total — склеенная строка: сумму нужно считать по cost_num, а не по текстовому столбцу\"\n",
    "    assert abs(cost_total - 9150) < 1e-6, f\"cost_total = {cost_total!r} — это не сумма распознанных значений\"\n",
    "\n",
    "_check(test_cost, test_numbers, names=[\"cost_num\",\"n_bad\",\"cost_total\"])"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "fix-check"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<details><summary>Решение</summary>\n",
    "\n",
    "```python\n",
    "cost_num = pd.to_numeric(supplier[\"cost\"], errors=\"coerce\")\n",
    "n_bad = cost_num.isna().sum()\n",
    "cost_total = cost_num.sum()\n",
    "```\n",
    "\n",
    "</details>"
   ],
   "id": "fix-solution"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Нечисловые значения теперь легко найти — по маске пропусков:"
   ],
   "id": "text-59"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Какие значения не распознались\n",
    "supplier.loc[cost_num.isna(), [\"product_id\", \"name\", \"cost\"]]"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "coerce-rows"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Посмотреть на них обязательно: вдруг там не «нет данных», а опечатка, которую можно исправить. Убедившись,\n",
    "что это действительно отсутствующие значения, записываем числовой столбец в таблицу:"
   ],
   "id": "text-63"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Столбец стал числовым\n",
    "supplier[\"cost\"] = cost_num\n",
    "print(supplier[\"cost\"].dtype)\n",
    "print(supplier[\"cost\"].mean())"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "write-back"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "У мягкости есть обратная сторона. Попробуем так же перевести цены:"
   ],
   "id": "text-68"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Цены со знаком рубля\n",
    "price = pd.to_numeric(supplier[\"price\"], errors=\"coerce\")\n",
    "print(price.isna().sum(), \"из\", len(price))"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "coerce-trap"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Все двадцать значений стали пропусками: `1 560 ₽` — не число, и `to_numeric` молча превратил столбец\n",
    "в пустой. Здесь сначала нужно убрать из текста пробелы и знак рубля — этим займёмся в следующем уроке."
   ],
   "id": "text-72"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "> **Типичная ошибка: coerce прячет проблему.**\n",
    ">\n",
    "> `errors=\"coerce\"` никогда не падает — и поэтому может тихо уничтожить данные. После него всегда считайте\n",
    "> пропуски: `isna().sum()`. Если их больше, чем вы ожидали, смотрите на исходные значения."
   ],
   "id": "component-76"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Целые числа с пропусками: Int64\n",
    "\n",
    "Остаток на складе — целое число штук, но pandas показывает `120.0`:"
   ],
   "id": "text-80"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Остатки — дробные\n",
    "supplier[\"stock\"].head(4)"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "stock"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Виноват `NaN`: это дробное значение, и обычный целый тип `int64` хранить его не умеет. Перевести столбец\n",
    "в `int` не получится — pandas сам подсказывает, что делать:"
   ],
   "id": "text-86"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Пропуск не переводится в целое\n",
    "# Эта ячейка показывает ошибку IntCastingNaNError: она перехвачена, чтобы «Выполнить всё» не останавливалось.\n",
    "try:\n",
    "    supplier[\"stock\"].astype(int)\n",
    "except Exception as error:\n",
    "    print(f\"{type(error).__name__}: {error}\")"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "stock-int"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Для таких столбцов в pandas есть отдельный тип — `Int64`, с **заглавной** буквы: целые числа, которые умеют\n",
    "хранить пропуск. Название пишут строкой в кавычках:"
   ],
   "id": "text-91"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Целые с пропуском\n",
    "stock = supplier[\"stock\"].astype(\"Int64\")\n",
    "stock.head(4)"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "nullable"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Пропуск в таком столбце показан как `<NA>` («not available»). Это тот же пропуск: `isna()` его находит,\n",
    "а `sum` и `max` — пропускают."
   ],
   "id": "text-96"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Считаем как обычно\n",
    "print(stock.isna().sum())\n",
    "print(stock.sum())\n",
    "print(stock.max())\n",
    "print((stock > 100).head(4).tolist())"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "nullable-use"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Одно отличие от `NaN` видно в последней строке: сравнение с `<NA>` даёт не `False`, а снова `<NA>` —\n",
    "«неизвестно». Методы `sum` и `mean` такие значения маски пропускают, поэтому доля по маске получается уже среди\n",
    "известных значений, а не среди всех строк."
   ],
   "id": "text-101"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Упражнение 2. Оценки — целые\n",
    "\n",
    "В таблице `delivery` столбцы `rating` и `days` дробные из-за пропусков. Переведите оба в целый тип\n",
    "с пропусками. В `fives` сохраните число оценок «5».\n",
    "\n",
    "<details><summary>Подсказка 1</summary>\n",
    "\n",
    "`delivery[\"rating\"] = delivery[\"rating\"].astype(\"Int64\")` — и так же для `days`.\n",
    "\n",
    "</details>\n",
    "<details><summary>Подсказка 2</summary>\n",
    "\n",
    "Число пятёрок — сумма маски `delivery[\"rating\"] == 5`.\n",
    "\n",
    "</details>"
   ],
   "id": "ratings-task"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "delivery = pd.read_csv(\"data/delivery_h1.csv\")\n",
    "# переведите столбцы rating и days в целый тип с пропусками\n",
    "fives = ..."
   ],
   "execution_count": null,
   "outputs": [],
   "id": "ratings"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Проверка упражнения 2 — выполните после своего решения\n",
    "def test_types():\n",
    "    \"rating и days — целые с пропусками\"\n",
    "    assert str(delivery[\"rating\"].dtype) != \"float64\", \"тип rating по-прежнему float64: результат astype нужно записать обратно в столбец\"\n",
    "    assert str(delivery[\"rating\"].dtype) == \"Int64\", f\"тип rating — {delivery['rating'].dtype}, а нужен целый тип с пропусками\"\n",
    "    assert str(delivery[\"days\"].dtype) == \"Int64\", f\"тип days — {delivery['days'].dtype}, а нужен целый тип с пропусками\"\n",
    "    assert delivery[\"rating\"].isna().sum() == 287 and delivery[\"days\"].isna().sum() == 36, \"пропуски должны остаться пропусками: заполнять их не нужно\"\n",
    "    assert len(delivery) == 816, \"строки удалять не нужно\"\n",
    "\n",
    "\n",
    "def test_fives():\n",
    "    \"fives — сколько пятёрок\"\n",
    "    assert fives == 102, f\"fives = {fives!r} — это не число пятёрок\"\n",
    "\n",
    "_check(test_types, test_fives, names=[\"fives\"])"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "ratings-check"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<details><summary>Решение</summary>\n",
    "\n",
    "```python\n",
    "delivery = pd.read_csv(\"data/delivery_h1.csv\")\n",
    "delivery[\"rating\"] = delivery[\"rating\"].astype(\"Int64\")\n",
    "delivery[\"days\"] = delivery[\"days\"].astype(\"Int64\")\n",
    "fives = (delivery[\"rating\"] == 5).sum()\n",
    "```\n",
    "\n",
    "</details>"
   ],
   "id": "ratings-solution"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Дробные в целые и другие переводы\n",
    "\n",
    "`astype(int)` для дробных чисел **отбрасывает** дробную часть, а не округляет:"
   ],
   "id": "text-113"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Отбросить или округлить\n",
    "weights = pd.Series([0.25, 0.9, 1.5, 2.99])\n",
    "print(weights.astype(int).tolist())\n",
    "print(weights.round().astype(int).tolist())"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "truncate"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Вопрос.** Что выведет `print(pd.Series([1.7, 2.2]).astype(int).tolist())`?\n",
    "\n",
    "- `[2, 2]`\n",
    "- `[1, 2]`\n",
    "- ошибку\n",
    "\n",
    "<details><summary>Ответ</summary>\n",
    "\n",
    "`[1, 2]`\n",
    "\n",
    "`astype(int)` отбрасывает дробную часть: 1.7 → 1. Чтобы получить 2, сначала округлите: `.round().astype(int)`.\n",
    "\n",
    "</details>"
   ],
   "id": "quiz-120"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Так же числа переводят в текст, а логические значения — в 1 и 0:"
   ],
   "id": "text-129"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Числа в текст, True и False в числа\n",
    "codes = pd.Series([7, 42, 105])\n",
    "print(codes.astype(str).tolist())\n",
    "print(pd.Series([True, False, True]).astype(int).tolist())"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "to-str"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "> **int32 в браузере, int64 на компьютере.** `astype(int)` выбирает целый тип, «родной» для машины. На сайте Python работает в 32-битной среде браузера,\n",
    "> и получается `int32`; в Jupyter на компьютере — `int64`. Это целые числа разного размера: в `int32` помещаются\n",
    "> значения примерно до двух миллиардов, и для наших данных разницы нет. Если тип должен быть одинаковым везде,\n",
    "> назовите его явно: `astype(\"int64\")`."
   ],
   "id": "component-134"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Упражнение 3. Пустой остаток — это ноль\n",
    "\n",
    "Поставщик объяснил: пустое поле в `stock` значит, что товара на складе нет. Сохраните в `stock_int` столбец\n",
    "`stock` таблицы `supplier`, где пропуски заменены нулём, а тип — обычный целый (не дробный и не `Int64`).\n",
    "В `total_stock` сохраните общий остаток.\n",
    "\n",
    "<details><summary>Подсказка 1</summary>\n",
    "\n",
    "Сначала заполнить, потом сменить тип: `supplier[\"stock\"].fillna(0).astype(int)`.\n",
    "\n",
    "</details>"
   ],
   "id": "zero-stock-task"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "stock_int = ...\n",
    "total_stock = ..."
   ],
   "execution_count": null,
   "outputs": [],
   "id": "zero-stock"
  },
  {
   "cell_type": "code",
   "metadata": {},
   "source": [
    "# Проверка упражнения 3 — выполните после своего решения\n",
    "def test_stock():\n",
    "    \"stock_int — остатки обычными целыми, пропуски — нули\"\n",
    "    assert isinstance(stock_int, pd.Series), f\"stock_int — это {type(stock_int).__name__}, а нужен Series\"\n",
    "    assert stock_int.isna().sum() == 0, \"в stock_int остались пропуски: сначала заполните их нулями, потом меняйте тип\"\n",
    "    assert str(stock_int.dtype) != \"float64\", \"тип stock_int — float64, а нужен целый\"\n",
    "    assert str(stock_int.dtype) in (\"int64\", \"int32\"), f\"тип stock_int — {stock_int.dtype}, а нужен обычный целый\"\n",
    "    assert stock_int.tolist()[:4] == [120, 64, 0, 64], f\"первые значения — {stock_int.tolist()[:4]}: пропуски должны стать нулями, остальное — как в stock\"\n",
    "\n",
    "\n",
    "def test_total():\n",
    "    \"total_stock — всего единиц на складе\"\n",
    "    assert total_stock == 1253, f\"total_stock = {total_stock!r} — это не сумма остатков\"\n",
    "\n",
    "_check(test_stock, test_total, names=[\"stock_int\",\"total_stock\"])"
   ],
   "execution_count": null,
   "outputs": [],
   "id": "zero-stock-check"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<details><summary>Решение</summary>\n",
    "\n",
    "```python\n",
    "stock_int = supplier[\"stock\"].fillna(0).astype(int)\n",
    "total_stock = stock_int.sum()\n",
    "```\n",
    "\n",
    "</details>"
   ],
   "id": "zero-stock-solution"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Здесь заполнение нулём оправдано: пропуск и правда значит «ноль штук». Сравните с оценками из прошлого урока,\n",
    "где ноль исказил бы среднее.\n",
    "\n",
    "## Итоги\n",
    "\n",
    "- `dtypes` — первое, что стоит проверить: числа могли прочитаться как `str`.\n",
    "- `astype(тип)` переводит, если подходят все значения; `pd.to_numeric(столбец, errors=\"coerce\")` превращает\n",
    "  неподходящие в `NaN`.\n",
    "- После `coerce` всегда считайте пропуски и смотрите на нераспознанные значения.\n",
    "- `Int64` — целые числа с пропусками; пропуск в них выглядит как `<NA>`.\n",
    "- `astype(int)` отбрасывает дробную часть — округляйте заранее."
   ],
   "id": "text-148"
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Подробнее в справочнике:** [pandas/dtypes](https://ds-edu-trainer.vercel.app/reference/pandas/dtypes) · [pandas/missing](https://ds-edu-trainer.vercel.app/reference/pandas/missing) · [pandas/read-csv](https://ds-edu-trainer.vercel.app/reference/pandas/read-csv)"
   ],
   "id": "more"
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "name": "python"
  },
  "colab": {
   "provenance": []
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}
