Фильтрация строк

Самый частый вопрос к таблице начинается со слов «найди строки, где…»: где цена выше 2000, где город — Казань, где купили больше пяти штук. Это фильтрация — отбор строк по условию. Она делается в два шага.

Шаг первый: маска

Сравним столбец с числом. Как и арифметика, сравнение выполняется для каждого значения:

import pandas as pd

orders = pd.read_csv("data/shop_orders.csv")
orders["price"] > 3000

0        True
1       False
2       False
3       False
4       False
        ...
2443    False
2444    False
2445    False
2446    False
2447    False
Name: price, Length: 2448, dtype: bool

Получился Series из True и False с типом bool — по одному ответу на каждую строку. Такой Series называют маской: True — строка подходит, False — нет. Сравнивать можно всеми операторами Python: >, >=, <, <=, == (равно), != (не равно).

Шаг второй: маска в скобках

Если передать маску в квадратные скобки таблицы, останутся только строки, где в маске True:

orders[orders["price"] > 3000].head()

Обратите внимание на индекс слева: 0, 7, 218… Строки сохранили свои метки — об этом шла речь в прошлом уроке.

Обычно оба шага пишут в одну строку, как выше. Но маску можно сохранить в переменную — так код читается легче, а маску можно использовать повторно:

is_tea = orders["category"] == "Чай"
tea = orders[is_tea]
print(len(tea))
print(tea["price"].mean())

682
381.1143695014663

expensive = ...
n_expensive = ...

expensive = orders[orders["price"] > 2000]
n_expensive = len(expensive)

Считаем по маске

Если нужны не сами строки, а их количество, таблицу можно не фильтровать. В вычислениях True считается единицей, False — нулём. Поэтому сумма маски — сколько строк подошло, а среднее — какая это доля:

many = orders["quantity"] >= 5
print(many.sum())
print(many.mean())

168
0.06862745098039216

168 строк — 6.9 % таблицы.

is_moscow = ...
n_moscow = ...
share_moscow = ...

is_moscow = orders["city"] == "Москва"
n_moscow = is_moscow.sum()
share_moscow = is_moscow.mean()

Несколько условий

Условия соединяют операторами:

Каждое условие берут в круглые скобки:

orders[(orders["city"] == "Новосибирск") & (orders["price"] > 3000)]

site_or_app = (orders["channel"] == "сайт") | (orders["channel"] == "приложение")
print(site_or_app.sum())
print((~site_or_app).sum())

1821
627

Привычные and, or, not здесь не работают. Они ждут одно значение True или False, а получают целый столбец таких значений:

orders[(orders["channel"] == "сайт") and (orders["price"] > 3000)]

ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().

Скобки обязательны, потому что & и | выполняются раньше сравнений — как умножение раньше сложения. Без скобок Python сначала вычислит "сайт" & orders["price"], что бессмысленно:

orders[orders["channel"] == "сайт" & orders["price"] > 3000]

TypeError: Cannot perform 'rand_' with a dtyped [int64] array and scalar of type [bool]

kazan_big = ...

kazan_big = orders[(orders["city"] == "Казань") & (orders["quantity"] >= 5)]

special = ...
ordinary = ...

special = orders[(orders["price"] >= 2000) | (orders["quantity"] >= 8)]
ordinary = orders[~((orders["price"] >= 2000) | (orders["quantity"] >= 8))]

Метод all() у маски отвечает одним True или False: во всех ли строках условие выполнено. Им удобно проверять себя после фильтрации — например, что в таблице tea из примера выше действительно только чай:

print((tea["category"] == "Чай").all())
print((orders["price"] >= 150).all())
print((orders["quantity"] >= 2).all())

True
True
False

Итоги

• Сравнение столбца даёт маску — Series из True и False.
• таблица[маска] оставляет строки, где True; метки строк сохраняются.
• маска.sum() — сколько строк подходит, маска.mean() — какая доля.
• & — и, | — или, ~ — не; каждое условие в скобках; and, or, not не работают.