Нашли ошибку?

pandas

Табличные данные: чтение, выбор и фильтрация, очистка, группировка, объединение, временные ряды.

Написано для pandas 3.0.6 · документация

базовый средний продвинутый

1. Основы

  1. Что такое pandasБиблиотека для табличных данных — прочитать файл, отобрать строки, посчитать итоги, объединить таблицы.базовый
  2. Настройки отображенияСколько строк и столбцов показывать, сколько знаков после запятой и как временно изменить вид таблицы.базовый
  3. SeriesОдномерный столбец данных с метками — из списка, словаря или одного значения.базовый
  4. DataFrameСоздать таблицу из словаря столбцов, списка записей или массива NumPy.базовый
  5. Чтение CSV: read_csvПрочитать CSV в таблицу с нужными разделителями, типами, датами и пропусками — и записать обратно.базовый
  6. Excel, JSON, ParquetПрочитать и записать таблицу в Excel, JSON и Parquet — и выбрать формат, который сохраняет типы.базовый
  7. Первичный осмотрЧто сделать первым делом с новой таблицей — посмотреть строки, типы, пропуски, статистику и частоты.базовый

2. Выбор данных

  1. Выбор столбцовВзять один столбец, несколько столбцов или все столбцы нужного типа.базовый
  2. loc, iloc, at, iatВыбрать и изменить строки и столбцы — по меткам или по позициям, одним вызовом.базовый
  3. Фильтрация строкОставить строки, подходящие под условие, — одно или несколько, со списком значений или диапазоном.базовый

3. Изменение данных

  1. Столбцы: добавить, изменить, удалитьСоздать новый столбец из вычисления, переименовать или удалить столбцы.базовый
  2. СортировкаУпорядочить строки по одному или нескольким столбцам, по индексу или взять n наибольших.базовый
  3. Замена значений: replaceЗаменить конкретные значения — опечатки, коды «нет данных», варианты написания — во всей таблице или в отдельных столбцах.средний
  4. where, mask, clipЗаменить значения по условию — выбросы, невозможные значения — и ограничить диапазоном.средний
  5. ДубликатыНайти, посчитать и удалить повторяющиеся строки — целиком или по выбранным столбцам.средний
  6. Функции: map, apply, pipeПрименить свою функцию к значениям, столбцам или строкам — и понять, почему сначала стоит искать векторную операцию.средний
  7. Почему iterrows медленныйЧем плох перебор строк через iterrows и что использовать вместо него.средний
  8. to_dict и to_numpyПревратить таблицу в словарь, список записей или массив NumPy — для JSON, обычного Python или библиотек машинного обучения.средний

4. Типы и очистка

  1. ПропускиНайти пропущенные значения, заполнить их, удалить строки с ними или восстановить интерполяцией.средний
  2. Типы данныхПривести столбцы к правильным типам — числа из строк, целые с пропусками, логические значения.средний
  3. Строки: .str и тип strОчистить и разобрать текстовые столбцы — регистр, пробелы, поиск, разбиение, извлечение по шаблону.средний
  4. Категориальный типТип для столбцов с небольшим набором повторяющихся значений — экономит память и задаёт порядок.средний
  5. Даты: to_datetime и .dtПревратить строки в даты, достать месяц, день недели и час, посчитать промежутки между датами.средний
  6. date_range и временной индексПоследовательность дат с нужным шагом и таблица с датами в индексе — выбор по месяцу, диапазону, дню недели.средний

5. Анализ

  1. Описательная статистикаСумма, среднее, медиана, минимум и максимум по столбцам и строкам — и где находится максимум.базовый
  2. КорреляцияНасколько согласованно меняются два столбца — матрица корреляций, пары столбцов, ранговая корреляция.средний
  3. РангиМесто каждого значения в упорядоченном списке — с выбором, что делать с одинаковыми значениями.средний
  4. Интервалы: cut и qcutРазложить числа по интервалам — возрастные группы, ценовые сегменты, квартили.средний
  5. Случайная выборка: sampleВзять случайные строки — заданное число или долю, с повторами или весами — и перемешать таблицу.средний

6. Группировка и сводные таблицы

  1. Группировка: groupbyПосчитать итоги по категориям — сумму продаж по городам, среднюю оценку по товарам.средний
  2. agg и именованная агрегацияНесколько итогов по группам за один вызов — с понятными именами столбцов результата.средний
  3. transform и filterПосчитать по группам, но оставить все строки — доля в группе, заполнение средним по группе, нарастающий итог внутри группы.средний
  4. Сводные таблицы: pivot_table, crosstabСводная таблица как в Excel — итоги по двум измерениям сразу, с итоговыми строкой и столбцом.средний

7. Форма и объединение

  1. melt и pivotПереложить таблицу из широкого формата (месяцы в столбцах) в длинный (месяц — значение в столбце) и обратно.средний
  2. stack и unstackПеренести уровень столбцов в индекс строк и обратно — основной приём для таблиц с MultiIndex.средний
  3. explodeРазложить списки в ячейках на отдельные строки — теги, позиции заказа, несколько значений через запятую.средний
  4. concatСклеить несколько таблиц — одну под другой или рядом.средний
  5. merge: виды соединенийОбъединить две таблицы по общему ключу, как JOIN в SQL, — и выбрать, какие строки оставить.средний
  6. merge: ключи и проверкиКлючи с разными именами, одинаковые столбцы в обеих таблицах, проверка уникальности ключей и объединение по индексу.средний

8. Индексы

  1. Выравнивание по индексуПочему арифметика двух Series сопоставляет значения по меткам и откуда в результате появляются NaN.средний
  2. set_index и reset_indexСделать столбец индексом для доступа по ключу — и вернуть индекс обратно в столбцы.средний
  3. MultiIndexИндекс из нескольких уровней — город и месяц, магазин и товар — и как по нему выбирать данные.продвинутый

9. Временные ряды

  1. shift, diff, pct_changeСравнить значение с предыдущим — прирост за день, изменение в процентах, значение за вчера.продвинутый
  2. Окна: rolling, expanding, ewmСкользящее среднее, максимум «на текущий момент» и экспоненциальное сглаживание временного ряда.продвинутый
  3. Ресемплинг: resample и asfreqПерейти к другой частоте временного ряда — из часов в дни, из дней в месяцы — или наоборот.продвинутый

10. Продвинутое

  1. Copy-on-WriteПочему изменение выборки больше не меняет исходную таблицу, куда делся SettingWithCopyWarning и как правильно изменять данные.продвинутый
  2. Цепочки методовЗаписать обработку таблицы одной цепочкой — без промежуточных переменных и без изменения исходных данных.продвинутый
  3. Производительность и памятьКак уменьшить память таблицы и ускорить обработку — типы, векторизация, чтение только нужного.продвинутый
  4. Обзор .plotБыстрый график прямо из таблицы — линии, столбцы, гистограмма, диаграмма рассеяния.продвинутый

11. Итоги

  1. Частые ошибкиДвенадцать ошибок, которые чаще всего встречаются в коде с pandas, — и как их исправить.базовый
  2. ШпаргалкаСамое нужное из pandas на одной странице — задача и код, со ссылками на подробные статьи.базовый