Длинный и широкий формат

Таблицу с продажами по месяцам можно записать двумя способами. В широком формате каждый месяц — отдельный столбец. В длинном — месяц записан значением в столбце, и на каждую пару «город, месяц» приходится своя строка.

Данные одни и те же, форма разная. Широкая таблица компактна, её удобно читать. Длинная удобна для расчётов: по столбцу month можно группировать и фильтровать — а по названиям столбцов нельзя. Поэтому данные из отчётов и электронных таблиц, которые обычно приходят широкими, перед анализом часто «расплавляют».

melt: из широкой в длинную

import pandas as pd

wide = pd.DataFrame({
    "city": ["Омск", "Тула"],
    "jan": [120, 95],
    "feb": [130, 105],
})
wide

Метод melt («расплавить») превращает столбцы в строки:

long = wide.melt(id_vars="city", var_name="month", value_name="cups")
long

• id_vars — столбцы, которые остаются как есть: они определяют наблюдение (здесь город);
• все остальные столбцы «плавятся»: их названия уходят в один новый столбец, значения — в другой;
• var_name и value_name — названия этих двух новых столбцов.

Было 2 строки × 2 столбца с числами — стало 4 строки: по одной на каждую ячейку.

Если названия не задать, столбцы получат имена variable и value — лучше сразу дать им осмысленные:

wide.melt(id_vars="city")

С длинной таблицей работают все знакомые приёмы:

print(long.groupby("month")["cups"].sum())
print(long[long["cups"] > 100])

month
feb    235
jan    215
Name: cups, dtype: int64
   city month  cups
0  Омск   jan   120
2  Омск   feb   130
3  Тула   feb   105

Теперь настоящие данные — баллы 30 студентов за первый семестр, по столбцу на предмет:

scores = pd.read_csv("data/scores.csv")
scores.head(3)

marks = ...
n_marks = ...

marks = scores.melt(id_vars="student_id", var_name="subject", value_name="score")
n_marks = len(marks)

subject_mean = ...
weak = ...

subject_mean = marks.groupby("subject")["score"].mean().round(1)
weak = marks[marks["score"] < 50].sort_values("score")

В широкой таблице на вопрос «у кого и по какому предмету меньше 50» пришлось бы отвечать отдельно для каждого столбца. В длинной это один фильтр.

pivot: из длинной в широкую

Обратное превращение делает pivot. Ему нужно сказать, что будет в строках, что в столбцах и откуда брать значения:

long.pivot(index="city", columns="month", values="cups")

Города оказались в индексе, а над названиями столбцов появилась подпись month. Сами столбцы встали по алфавиту: feb раньше jan. Чтобы получить совсем обычную таблицу, индекс превращают в столбец, а подпись убирают:

back = long.pivot(index="city", columns="month", values="cups").reset_index()
back.columns.name = None
back

pivot и pivot_table

Названия похожи, и параметры те же — index, columns, values. Разница одна, но важная: pivot только переставляет значения и ничего не считает. Поэтому каждой паре «строка, столбец» должно соответствовать ровно одно значение. В полной ведомости у каждого студента по каждому предмету две оценки — за два семестра:

grades = pd.read_csv("data/grades.csv")
grades.head(4)

grades.pivot(index="student", columns="subject", values="score")

ValueError: Index contains duplicate entries, cannot reshape

Правило простое: переставить — pivot, посчитать — pivot_table.

t = pd.DataFrame({"who": ["a", "a", "b", "b"], "what": ["x", "y", "x", "y"], "n": [1, 2, 3, 4]})
print(t.pivot(index="who", columns="what", values="n").shape)

first_term = ...
sheet = ...

first_term = grades[grades["term"] == 1]
sheet = first_term.pivot(index="student", columns="subject", values="score")

terms = ...
# добавьте в terms столбец growth
best_growth = ...

terms = grades.pivot_table(values="score", index="student", columns="term", aggfunc="mean")
terms["growth"] = terms[2] - terms[1]
best_growth = terms["growth"].idxmax()

Итоги

• Широкий формат — значения признака в названиях столбцов; длинный — в отдельном столбце.
• melt(id_vars=..., var_name=..., value_name=...) — из широкого в длинный.
• pivot(index=..., columns=..., values=...) — из длинного в широкий; требует одно значение на ячейку.
• pivot_table делает то же, но сворачивает несколько значений функцией aggfunc.
• Для расчётов удобнее длинная таблица, для показа — широкая.