transform

Группировка с sum или mean сворачивает таблицу: было 2448 строк — стало пять. Но иногда итог группы нужен рядом с каждой строкой: «какую долю выручки своего города дала эта покупка?», «насколько этот день теплее обычного для своего месяца?». Для таких вопросов нужно сравнить строку с её группой.

Свернуть или раздать

Маленький пример: пять игроков, две команды.

import pandas as pd

scores = pd.DataFrame({
    "team": ["A", "A", "B", "B", "B"],
    "score": [10, 30, 5, 5, 20],
})
scores.groupby("team")["score"].mean()

team
A    20.0
B    10.0
Name: score, dtype: float64

Два числа — по одному на группу. Метод transform считает те же средние, но раздаёт их обратно по строкам: у каждого игрока оказывается среднее его команды.

scores.groupby("team")["score"].transform("mean")

0    20.0
1    20.0
2    10.0
3    10.0
4    10.0
Name: score, dtype: float64

Результат — Series той же длины и с тем же индексом, что у исходной таблицы. Поэтому его можно сразу записать в столбец и сравнить с ним каждую строку:

scores["team_mean"] = scores.groupby("team")["score"].transform("mean")
scores["diff"] = scores["score"] - scores["team_mean"]
scores

Название функции передают строкой: "sum", "mean", "max", "min", "count", "size" и другие.

А что будет, если записать в столбец результат обычного mean() — без transform?

scores["wrong"] = scores.groupby("team")["score"].mean()
scores[["team", "score", "team_mean", "wrong"]]

Ошибки нет, но столбец wrong пуст. Дело в правиле, которое до сих пор работало незаметно: когда в столбец записывают Series, pandas расставляет значения по меткам индекса, а не по порядку. У таблицы метки строк — 0, 1, 2…, а у результата mean() метки — A и B. Ни одна не совпала — и во всех строках пропуск. transform возвращает Series с метками самой таблицы, поэтому его значения встают на свои места.

Доля внутри группы

orders = pd.read_csv("data/shop_orders.csv")
orders["revenue"] = orders["price"] * orders["quantity"]
# добавьте в orders столбцы city_total и city_share

orders = pd.read_csv("data/shop_orders.csv")
orders["revenue"] = orders["price"] * orders["quantity"]
orders["city_total"] = orders.groupby("city")["revenue"].transform("sum")
orders["city_share"] = orders["revenue"] / orders["city_total"]

Проверка: доли внутри каждой группы должны давать в сумме единицу.

orders.groupby("city")["city_share"].sum()

city
Екатеринбург       1.0
Казань             1.0
Москва             1.0
Новосибирск        1.0
Санкт-Петербург    1.0
Name: city_share, dtype: float64

Итог заказа рядом с позицией

Одна строка таблицы — позиция заказа. Сумму всего заказа даёт группировка по order_id, а transform ставит её рядом с каждой позицией:

orders["order_total"] = orders.groupby("order_id")["revenue"].transform("sum")
orders[["order_id", "product", "revenue", "order_total"]].head(4)

Теперь строки можно отбирать по свойству всей группы — например, оставить позиции только крупных заказов:

big = orders[orders["order_total"] >= 10000]
print(len(big), big["order_id"].nunique())

30 12

30 строк из 12 заказов. Обычным фильтром по revenue этого не сделать: условие относится к заказу целиком, а не к отдельной строке.

# добавьте в orders столбец lines
multi = ...
n_multi = ...

orders["lines"] = orders.groupby("order_id")["product"].transform("size")
multi = orders[orders["lines"] >= 3]
n_multi = multi["order_id"].nunique()

Отклонение от нормы

Группировать можно по нескольким столбцам. Посчитаем для погоды «норму» — средний дневной максимум своего города в своём месяце:

weather = pd.read_csv("data/weather.csv", parse_dates=["date"])
weather["month"] = weather["date"].dt.month
weather["norm"] = weather.groupby(["city", "month"])["temp_max"].transform("mean")
weather[["date", "city", "temp_max", "norm"]].head(3)

Средний максимум января в Москве — −3.8 градуса, и это число стоит в каждой январской строке Москвы.

Метод abs возвращает модуль числа — значение без знака. Он пригодится, чтобы искать отклонения в обе стороны.

# добавьте в weather столбец anomaly
warmest = ...
n_unusual = ...

weather["anomaly"] = weather["temp_max"] - weather["norm"]
warmest = weather.loc[weather["anomaly"].idxmax()]
n_unusual = (weather["anomaly"].abs() > 8).sum()

Лучшая строка каждой группы

Ещё один приём: сравнить значение строки с максимумом её группы. Совпало — значит, это и есть рекордная строка:

orders["cat_max"] = orders.groupby("category")["revenue"].transform("max")
orders.loc[orders["revenue"] == orders["cat_max"], ["category", "product", "quantity", "revenue"]]

В отличие от sort_values и head(1) из прошлого урока, этот способ возвращает все строки с рекордным значением, если их несколько. Здесь их много: две ручные кофемолки в одной позиции покупали не раз.

# добавьте в orders столбцы cat_price и above_avg
above_share = ...

orders["cat_price"] = orders.groupby("category")["price"].transform("mean")
orders["above_avg"] = orders["price"] > orders["cat_price"]
above_share = orders.groupby("category")["above_avg"].mean()

Итоги

• groupby(...)[...].transform("функция") считает итог группы и возвращает его для каждой строки.
• Результат той же длины, что таблица, — его записывают в столбец.
• Доля внутри группы — значение, делённое на transform("sum"); отклонение — значение минус transform("mean").
• Отбор строк по свойству группы: transform + обычная маска.
• sum() сворачивает, transform("sum") раздаёт: первое — для отчёта, второе — для расчётов по строкам.