Удобные фильтры

Маски и операторы &, |, ~ позволяют записать любое условие. Но некоторые условия встречаются так часто, что для них есть короткие записи.

isin: значение из списка

Нужны строки с кофе или чаем. Через | получается длинно:

import pandas as pd

orders = pd.read_csv("data/shop_orders.csv")
hot = orders[(orders["category"] == "Кофе") | (orders["category"] == "Чай")]
len(hot)

1657

А если категорий пять? Метод isin («is in» — «входит в») проверяет, входит ли значение в список:

hot = orders[orders["category"].isin(["Кофе", "Чай"])]
len(hot)

1657

isin возвращает обычную маску, поэтому её можно перевернуть оператором ~ — «всё, кроме»:

other = orders[~orders["category"].isin(["Кофе", "Чай"])]
other["category"].value_counts()

category
Сладости      500
Посуда        183
Аксессуары    108
Name: count, dtype: int64

east = ...
n_capitals = ...

east = orders[orders["city"].isin(["Казань", "Екатеринбург", "Новосибирск"])]
n_capitals = len(orders[~orders["city"].isin(["Казань", "Екатеринбург", "Новосибирск"])])

between: число в диапазоне

«Цена от 320 до 390» — это два сравнения через &. Метод between («между») записывает их одним вызовом:

middle = orders[orders["price"].between(320, 390)]
print(len(middle))
print(sorted(middle["price"].unique().tolist()))

466
[320, 350, 390]

Обе границы входят: товары ровно за 320 и ровно за 390 попали в выборку. Если границы нужно исключить, это задаёт параметр inclusive: "both" — входят обе (так по умолчанию), "neither" — ни одна, "left" или "right" — только левая или только правая.

strict = orders[orders["price"].between(320, 390, inclusive="neither")]
print(sorted(strict["price"].unique().tolist()))

[350]

mid_price = ...
mid_share = ...

mid_price = orders[orders["price"].between(500, 1000)]
mid_share = orders["price"].between(500, 1000).mean()

loc: строки по маске и столбцы разом

loc из позапрошлого урока принимает на месте строк не только метки, но и маску. Тогда одной записью выбираются и строки, и столбцы:

orders.loc[orders["quantity"] >= 9, ["date", "city", "product", "quantity"]]

Если на месте столбцов одно название без списка, получается Series — по нему сразу можно считать:

print(orders.loc[orders["city"] == "Казань", "price"].mean())

719.0909090909091

Читается как фраза: «из orders взять строки, где город — Казань, столбец price, посчитать среднее».

luxury = ...
luxury_avg = ...

luxury = orders.loc[(orders["city"] == "Казань") & (orders["price"] > 2000), ["date", "product", "price"]]
luxury_avg = luxury["price"].mean()

query: условие строкой

Метод query («запрос») принимает условие как текст. Внутри текста названия столбцов пишут без кавычек и без orders[...], а условия соединяют привычными and, or, not:

orders.query("price > 3000 and city == 'Новосибирск'")

Сравните с orders[(orders["price"] > 3000) & (orders["city"] == "Новосибирск")] — результат тот же, а читать легче. Текстовые значения внутри условия берут в кавычки другого вида: снаружи двойные — внутри одинарные.

Переменные Python в условии отмечают знаком @; список проверяют словом in:

limit = 3000
towns = ["Казань", "Новосибирск"]
len(orders.query("price > @limit and city in @towns"))

6

Если забыть кавычки вокруг текста, query примет слово за название столбца или переменной:

orders.query("city == Казань")

UndefinedVariableError: name 'Казань' is not defined

min_price = 1000
bulk = ...

min_price = 1000
bulk = orders.query("price > @min_price and quantity >= 3")

Что выбрать — маски или query? Результат одинаковый. query короче и читается легче, когда условий несколько. Маски нужны, когда условие собирается по частям, переиспользуется или по нему считают (sum, mean). В этом курсе встречаются оба способа.

Итоги

• столбец.isin([...]) — значение входит в список; с ~ — не входит.
• столбец.between(a, b) — от a до b, обе границы входят; inclusive= это меняет.
• таблица.loc[маска, столбцы] — строки по условию и нужные столбцы одной записью.
• таблица.query("условие") — условие строкой: столбцы без кавычек, and/or/not, переменные через @.