Замены и правила

Арифметикой можно получить столбец из других столбцов. Но бывают правила, которые формулой не запишешь: «категории „Кофе“ — полка A, сладостям — полка B», «дороже 1000 ₽ — дорогой товар», «доставка зависит от цены ступеньками». Для них есть четыре инструмента — от самого простого к самому общему.

map: значение по словарю

Соответствие «было → стало» удобно записать словарём. Метод map заменяет каждое значение столбца тем, что лежит в словаре по этому ключу:

import pandas as pd

products = pd.read_csv("data/products.csv")
shelf = {"Кофе": "A", "Чай": "A", "Сладости": "B", "Посуда": "C", "Аксессуары": "C"}
products["shelf"] = products["category"].map(shelf)
products[["name", "category", "shelf"]].head(7)

map пропускает через словарь все значения. Если для значения нет ключа, на его месте окажется NaN — так pandas обозначает пропуск, «нет данных»:

partial = products["category"].map({"Кофе": "A", "Чай": "A"})
print(partial.tail(3))
print(partial.notna().all())
print(products["shelf"].notna().all())

17    NaN
18    NaN
19    NaN
Name: category, dtype: str
False
True

Пропускам посвящён первый урок следующего модуля. Пока достаточно знать: NaN после map значит, что в словаре не хватило ключа. Проверить столбец на пропуски помогает notna() — маска «значение есть». столбец.notna().all() вернёт True, только если пропусков нет: в неполном переводе они есть, а в столбце shelf из первого примера — нет.

goods = pd.read_csv("data/products.csv")
rates = {"Кофе": 0.04, "Чай": 0.06, "Сладости": 0.12, "Посуда": 0.18, "Аксессуары": 0.18}
# добавьте в goods столбцы discount и sale_price

goods = pd.read_csv("data/products.csv")
rates = {"Кофе": 0.04, "Чай": 0.06, "Сладости": 0.12, "Посуда": 0.18, "Аксессуары": 0.18}
goods["discount"] = goods["category"].map(rates)
goods["sale_price"] = (goods["price"] * (1 - goods["discount"])).round()

replace: заменить только некоторые

Когда менять нужно лишь часть значений, а остальные оставить, подходит replace. Он тоже принимает словарь, но значения, которых в словаре нет, не трогает:

products["category"].replace({"Посуда": "Для дома", "Аксессуары": "Для дома"}).value_counts()

category
Для дома    7
Кофе        5
Чай         4
Сладости    4
Name: count, dtype: int64

Запомнить разницу просто: map — «перевести всё по словарю», replace — «исправить указанное».

# добавьте в goods столбец group
n_drinks = ...

goods["group"] = goods["category"].replace({"Кофе": "Напитки", "Чай": "Напитки"})
n_drinks = (goods["group"] == "Напитки").sum()

np.where: одно из двух по условию

Столбец «если условие выполнено — одно значение, иначе — другое» строит функция where из библиотеки NumPy. pandas построен на NumPy, и некоторые её функции удобно вызывать напрямую; подключают её под именем np. У np.where три аргумента: маска, значение для True, значение для False.

import numpy as np

np.where(products["price"] >= 1000, "дорогой", "обычный")

array(['дорогой', 'обычный', 'обычный', 'дорогой', 'обычный', 'обычный',
       'обычный', 'обычный', 'обычный', 'обычный', 'обычный', 'обычный',
       'обычный', 'обычный', 'дорогой', 'дорогой', 'дорогой', 'дорогой',
       'обычный', 'дорогой'], dtype='<U7')

Результат — массив NumPy (array): набор значений без индекса и названия. dtype='<U7' — так NumPy обозначает текст длиной до семи символов. Массив можно сразу записать в столбец таблицы:

products["segment"] = np.where(products["price"] >= 1000, "дорогой", "обычный")
products["segment"].value_counts()

segment
обычный    13
дорогой     7
Name: count, dtype: int64

share = (goods["price"] - goods["cost"]) / goods["price"]
# добавьте в goods столбец margin
n_high = ...

share = (goods["price"] - goods["cost"]) / goods["price"]
goods["margin"] = np.where(share >= 0.5, "высокая", "обычная")
n_high = (goods["margin"] == "высокая").sum()

apply: своё правило

Если правило сложнее — несколько ступенек, длинное условие, — его можно написать обычной функцией Python: на вход одно значение, на выход результат. Метод apply вызовет функцию для каждого значения столбца:

def level(price):
    if price < 300:
        return "до 300"
    if price < 1000:
        return "300–999"
    return "от 1000"


products["level"] = products["price"].apply(level)
products[["name", "price", "level"]].head(6)

Функцию передают без скобок — apply(level), а не apply(level()): мы отдаём саму функцию, а вызывать её будет pandas.

apply умеет всё, но у этого есть цена: функция Python вызывается отдельно для каждой строки, и на больших таблицах это в десятки и сотни раз медленнее готовых операций. Поэтому сначала стоит проверить, нет ли операции, которая работает со столбцом целиком:

def plus_ten_percent(price):
    return price * 1.1


slow = products["price"].apply(plus_ten_percent)
fast = products["price"] * 1.1
print((slow == fast).all())

True

Порядок выбора: арифметика и сравнения → map, replace, np.where → и только если ничего не подошло, apply.

def shipping(price):
    return ...


# добавьте в goods столбец shipping
free = ...

def shipping(price):
    if price >= 1000:
        return 0
    if price >= 500:
        return 150
    return 250


goods["shipping"] = goods["price"].apply(shipping)
free = (goods["shipping"] == 0).sum()

Итоги

• столбец.map(словарь) — перевести все значения по словарю; нет ключа — NaN.
• столбец.replace(словарь) — заменить только указанные значения.
• np.where(маска, a, b) — a там, где True, и b там, где False.
• столбец.apply(функция) — своё правило для каждого значения; медленно, поэтому в последнюю очередь.