Дубликаты

Дубликаты появляются постоянно: форму отправили дважды, выгрузку склеили из двух пересекающихся файлов, запись внесли повторно. Каждый повтор завышает суммы и счётчики. В журнале возвратов «Кофейной лавки» 163 записи — посмотрим, сколько из них настоящих.

import pandas as pd

returns = pd.read_csv("data/returns_raw.csv")
print(len(returns))
returns.head(4)

163

Полные повторы

Метод duplicated возвращает маску: True у строки, которая целиком повторяет одну из строк выше. На маленькой таблице это видно целиком:

visits = pd.DataFrame({
    "client": ["Анна", "Олег", "Анна", "Анна", "Олег"],
    "drink": ["латте", "эспрессо", "латте", "какао", "эспрессо"],
})
visits["repeat"] = visits.duplicated()
visits

Строка 2 повторяет строку 0, строка 4 — строку 1. Строка 3 — не повтор: клиент тот же, но напиток другой. Первое появление повтором не считается — отмечены только вторые и следующие.

Сумма маски — сколько в таблице лишних строк:

print(visits["repeat"].sum())

2

Чтобы увидеть повторы вместе с оригиналами, есть параметр keep=False — «не оставлять без отметки никого». После сортировки пары встают рядом:

returns[returns.duplicated(keep=False)].sort_values("return_id").head(6)

Удаляет повторы метод drop_duplicates: от каждой группы одинаковых строк остаётся первая.

n_exact = ...
unique_rows = ...

n_exact = returns.duplicated().sum()
unique_rows = returns.drop_duplicates()

Повторы по ключу

Осталось 156 записей, и все номера возвратов return_id разные. Но дубликат не обязан совпадать во всём. Один и тот же возврат могли оформить дважды — под двумя номерами. По смыслу возврат — это товар из заказа: пара «заказ, товар». Параметр subset велит сравнивать только указанные столбцы:

print(unique_rows["return_id"].nunique(), len(unique_rows))
print(unique_rows.duplicated(subset=["order_id", "product_id"]).sum())

156 156
6

Шесть возвратов записаны дважды.

doubles = ...

doubles = unique_rows[unique_rows.duplicated(subset=["order_id", "product_id"], keep=False)]
doubles = doubles.sort_values(["order_id", "product_id"])

doubles.head(4)

Смотреть на найденные дубликаты глазами обязательно: только так видно, действительно ли это одна и та же запись.

Какую запись оставить

У drop_duplicates тот же параметр keep: "first" (по умолчанию) оставляет первую запись из группы, "last" — последнюю, False — удаляет все.

first = unique_rows.drop_duplicates(subset=["order_id", "product_id"])
last = unique_rows.drop_duplicates(subset=["order_id", "product_id"], keep="last")
print(len(first), len(last))
print(first["return_id"].tail(3).tolist())
print(last["return_id"].tail(3).tolist())

150 150
['R148', 'R149', 'R150']
['R154', 'R155', 'R156']

Строк в обоих случаях 150, но записи разные. Какая правильнее, зависит от данных: если поздняя запись — исправление ранней, нужна последняя; если повтор — случайная вторая отправка, первая.

Ключ нужно выбирать внимательно. Если сравнивать только по номеру заказа, удалятся и возвраты разных товаров из одного заказа — а это не дубликаты:

len(unique_rows.drop_duplicates(subset=["order_id"]))

146

Индекс после удаления

Удалённые строки уносят свои метки — в индексе остаются дыры:

first.tail(3)

Это не ошибка, но мешает: loc[149] может не найтись, а номер последней строки не равен числу строк. Метод reset_index нумерует строки заново. С параметром drop=True старые метки просто выбрасываются; без него они сохранились бы отдельным столбцом index.

first.reset_index(drop=True).tail(3)

clean = ...
items_raw = ...
items_clean = ...

clean = unique_rows.drop_duplicates(subset=["order_id", "product_id"]).reset_index(drop=True)
items_raw = returns["quantity"].sum()
items_clean = clean["quantity"].sum()

Сначала почистить, потом искать

duplicated сравнивает значения буквально. Лишний пробел или другой регистр — и две записи об одном человеке считаются разными:

signups = pd.DataFrame({
    "email": ["anna@lavka.example", "Anna@lavka.example ", "oleg@lavka.example", "OLEG@LAVKA.EXAMPLE", "maria@lavka.example"],
    "city": ["Казань", "Казань", "Москва", "Москва", "Казань"],
})
print(signups.duplicated().sum())
print(signups["email"].nunique())

0
5

# приведите signups["email"] к единому виду
people = ...
n_people = ...

signups["email"] = signups["email"].str.strip().str.lower()
people = signups.drop_duplicates().reset_index(drop=True)
n_people = len(people)

Порядок очистки поэтому всегда такой: сначала типы и текст, потом дубликаты.

Итоги

• duplicated() — маска повторов (первое появление не отмечено); keep=False отмечает всех.
• drop_duplicates() удаляет повторы; subset=[...] — сравнивать только эти столбцы; keep — какую запись оставить.
• Слишком грубый ключ удаляет настоящие записи; грязный текст прячет дубликаты.
• После удаления строк — reset_index(drop=True), если нужны метки подряд.