Сводные таблицы

Группировка по двум столбцам даёт длинный список: «Екатеринбург, маркетплейс — столько-то; Екатеринбург, приложение — столько-то…»

import pandas as pd

orders = pd.read_csv("data/shop_orders.csv")
orders["revenue"] = orders["price"] * orders["quantity"]
orders.groupby(["city", "channel"])["revenue"].sum().head(6)

city          channel
Екатеринбург  маркетплейс     83080
              приложение     150240
              сайт           190030
Казань        маркетплейс    113670
              приложение     106970
              сайт           219510
Name: revenue, dtype: int64

Сравнивать города между собой по такому списку неудобно. Человеку привычнее таблица, где города — в строках, каналы — в столбцах, а на пересечении — число. Это сводная таблица; если вы работали в Excel, вы её знаете.

pivot_table

table = orders.pivot_table(values="revenue", index="city", columns="channel", aggfunc="sum")
table

Четыре параметра отвечают на четыре вопроса:

• values — что считаем: столбец с числами;
• index — что будет в строках;
• columns — что будет в столбцах;
• aggfunc — как сворачиваем: "sum", "mean", "count", "nunique", "max"…

По сути это та же группировка по двум ключам — только результат разложен по двум осям. Получилась обычная таблица: города — в индексе, каналы — названия столбцов.

print(table.loc["Казань", "сайт"])
print(table["сайт"].idxmax())
print(table.shape)

219510
Москва
(5, 3)

by_city = ...
spb_tea = ...

by_city = orders.pivot_table(values="revenue", index="category", columns="city", aggfunc="sum")
spb_tea = by_city.loc["Чай", "Санкт-Петербург"]

По умолчанию — среднее

Если aggfunc не указать, pivot_table посчитает среднее:

orders.pivot_table(values="revenue", index="city", columns="channel").round(1)

Числа правдоподобные, ошибки нет — а это не выручка, а средняя выручка строки.

small = pd.DataFrame({"city": ["Омск", "Омск", "Тула"], "cups": [10, 30, 5]})
print(small.pivot_table(values="cups", index="city").loc["Омск", "cups"])

Итоги по строкам и столбцам

Параметр margins=True добавляет итоговую строку и итоговый столбец; margins_name задаёт их название (по умолчанию — All):

orders.pivot_table(values="revenue", index="city", columns="channel", aggfunc="sum", margins=True, margins_name="Всего")

В правом нижнем углу — общий итог: знакомые 3 301 420 ₽.

items = ...
site_share = ...

items = orders.pivot_table(values="quantity", index="category", columns="channel", aggfunc="sum", margins=True, margins_name="Всего")
site_share = items.loc["Всего", "сайт"] / items.loc["Всего", "Всего"]

Пустые ячейки

Если какого-то сочетания в данных нет, в ячейке будет пропуск. Посмотрим на аксессуары по месяцам и городам:

orders["month"] = pd.to_datetime(orders["date"]).dt.month
gadgets = orders[orders["category"] == "Аксессуары"]
gadgets.pivot_table(values="revenue", index="month", columns="city", aggfunc="sum").head(4)

В январе в Екатеринбурге аксессуаров не покупали — и на этом месте NaN. Из-за пропусков вся таблица стала дробной. Параметр fill_value подставляет значение в пустые ячейки:

gadgets.pivot_table(values="revenue", index="month", columns="city", aggfunc="sum", fill_value=0).head(4)

Здесь ноль оправдан: «продаж не было» и значит «выручка ноль». Со средними так делать нельзя: если в группе нет ни одной оценки, её средний балл не ноль, а неизвестен.

monthly = ...
tea_peak = ...
december_top = ...

monthly = orders.pivot_table(values="revenue", index="month", columns="category", aggfunc="sum", fill_value=0)
tea_peak = monthly["Чай"].idxmax()
december_top = monthly.loc[12].idxmax()

Строка и столбец сводной таблицы — обычные Series, и idxmax работает с обоими: для столбца возвращает метку строки, для строки — название столбца.

Средние баллы

Сводные таблицы удобны не только для сумм. В файле data/grades.csv — оценки 30 студентов трёх групп по пяти предметам за два семестра, по строке на каждую оценку:

grades = pd.read_csv("data/grades.csv")
grades.head(4)

group_subject = ...
best_subject = ...

group_subject = grades.pivot_table(values="score", index="group", columns="subject", aggfunc="mean").round(1)
best_subject = group_subject.loc["ИТ-22"].idxmax()

Итоги

• таблица.pivot_table(values=..., index=..., columns=..., aggfunc=...) — что считаем, что в строках, что в столбцах и как сворачиваем.
• Без aggfunc считается среднее — для сумм пишите aggfunc="sum".
• margins=True добавляет итоги, fill_value заполняет пустые ячейки.
• Результат — обычная таблица: loc, idxmax, сортировка работают как всегда.