Соединить по ключу

До сих пор мы работали с таблицей shop_orders.csv, где в каждой строке уже записаны и город покупателя, и название товара, и цена. Настоящие базы данных устроены иначе: сведения хранятся в разных таблицах без повторов. Название и цена товара записаны один раз — в справочнике товаров, а в заказах стоит только его код.

import pandas as pd

orders = pd.read_csv("data/orders.csv")
products = pd.read_csv("data/products.csv")
print(orders.head(3))
print(products.head(3))

   order_id        date customer_id product_id  quantity      channel
0     10001  2025-01-01        C095        P18         2  маркетплейс
1     10001  2025-01-01        C095        P09         1  маркетплейс
2     10002  2025-01-01        C059        P10         1   приложение
  product_id                 name category  price  cost
0        P01  Эспрессо-смесь 1 кг     Кофе   1450   870
1        P02       Колумбия 250 г     Кофе    690   380
2        P03        Эфиопия 250 г     Кофе    790   430

В заказах нет цены — есть product_id. В справочнике нет продаж — есть product_id, цена и себестоимость. Чтобы посчитать выручку, нужно к каждой строке заказа подставить строку справочника с тем же кодом. Общий столбец, по которому сопоставляются строки, называют ключом.

merge на маленьком примере

Две таблицы с общим столбцом id:

left = pd.DataFrame({"id": [1, 2, 3], "name": ["Аня", "Борис", "Вика"]})
right = pd.DataFrame({"id": [2, 3, 4], "city": ["Тула", "Сочи", "Омск"]})
left.merge(right, on="id")

Метод merge взял каждую строку левой таблицы, нашёл в правой строку с тем же id и склеил их в одну. В результате остались только ключи 2 и 3 — те, что есть в обеих таблицах. Ани (id 1) в правой таблице нет, Омска (id 4) нет в левой — и обе строки пропали. Такое соединение называется внутренним (inner), и оно используется по умолчанию.

Параметр how («как») меняет правило. how="left" сохраняет все строки левой таблицы; где пары не нашлось, ставит пропуск:

left.merge(right, on="id", how="left")

Остальные варианты — "right" (все строки правой) и "outer" (все строки обеих):

left.merge(right, on="id", how="outer")

Все четыре вида на одной схеме:

Заказы и товары

named = orders.merge(products[["product_id", "name"]], on="product_id")
print(len(orders), len(named))
named.head(3)

2448 2448

Из справочника мы взяли два столбца — ключ и название (зачем брать только нужные — ниже, в разделе «Брать только нужное»). В orders один и тот же товар встречается в сотнях строк, в products — один раз. merge подставил название к каждой строке заказа с этим кодом. Такое соединение называют «многие к одному» — самый частый случай.

Число строк не изменилось: было 2448 — и стало 2448. Это первое, что проверяют после соединения.

priced = ...
# добавьте в priced столбец revenue
total = ...

priced = orders.merge(products, on="product_id")
priced["revenue"] = priced["price"] * priced["quantity"]
total = priced["revenue"].sum()

# добавьте в priced столбец profit
category_profit = ...
total_profit = ...

priced["profit"] = (priced["price"] - priced["cost"]) * priced["quantity"]
category_profit = priced.groupby("category")["profit"].sum().sort_values(ascending=False)
total_profit = priced["profit"].sum()

Строки без пары

Теперь покупатели. В справочнике customers.csv — 240 клиентов. Посчитаем, сколько заказов сделал каждый:

customers = pd.read_csv("data/customers.csv")
order_counts = orders.groupby("customer_id", as_index=False).agg(n_orders=("order_id", "nunique"))
print(len(customers), len(order_counts))
order_counts.head(3)

240 213

Клиентов 240, а в таблице с числом заказов только 213 строк: остальные ничего не покупали в 2025 году, и в заказах их просто нет. Что будет при соединении?

print(len(customers.merge(order_counts, on="customer_id")))
print(len(customers.merge(order_counts, on="customer_id", how="left")))

213
240

Внутреннее соединение молча выбросило 27 клиентов. Ошибки нет, таблица выглядит нормально — и «среднее число заказов на клиента», посчитанное по ней, окажется завышенным.

С how="left" клиенты без заказов остаются, а в столбце n_orders у них пропуск:

activity = customers.merge(order_counts, on="customer_id", how="left")
activity.head(4)

Из-за пропусков столбец стал дробным. Здесь пропуск значит «ноль заказов» — его можно и нужно заполнить.

# замените пропуски в activity["n_orders"] нулями и сделайте столбец целым
sleepers = ...
n_sleepers = ...

activity["n_orders"] = activity["n_orders"].fillna(0).astype("int64")
sleepers = activity[activity["n_orders"] == 0]
n_sleepers = len(sleepers)

Брать только нужное

Соединять можно и несколько раз подряд. Добавим к заказам с товарами сегмент покупателя. Из справочника клиентов возьмём только два столбца — ключ и то, что нужно:

segments = customers[["customer_id", "segment"]]
with_segment = priced.merge(segments, on="customer_id")
print(with_segment.shape)
with_segment[["order_id", "name", "revenue", "segment"]].head(3)

(2448, 13)

Так результат не засоряется лишними столбцами. Есть и вторая причина: в обеих таблицах есть столбец name (название товара и имя клиента) — что происходит при совпадении названий, разберём в следующем уроке.

segment_stats = ...
# добавьте в segment_stats столбец per_buyer
best_segment = ...

segment_stats = with_segment.groupby("segment").agg(revenue=("revenue", "sum"), buyers=("customer_id", "nunique"))
segment_stats["per_buyer"] = (segment_stats["revenue"] / segment_stats["buyers"]).round()
best_segment = segment_stats["per_buyer"].idxmax()

Итоги

• левая.merge(правая, on="ключ") — к каждой строке левой таблицы подставить строку правой с тем же ключом.
• how="inner" (по умолчанию) — только совпавшие ключи; how="left" — все строки левой, без пары — NaN.
• После соединения сравните число строк с исходным.
• Берите из правой таблицы только нужные столбцы: правая[["ключ", "столбец"]].