groupby и agg: сводные показатели с явными именами агрегатов

До этого урока мы работали с данными построчно или целыми столбцами. Теперь задача другая: не просто посчитать среднее по всей таблице, а получить отдельный агрегат для каждой группы строк — например, суммарные продажи по каждому региону или среднюю цену по каждой категории товара. Именно для этого нужен groupby.

groupby по одному столбцу: механика разбиения и индекс результата

Когда пишешь df.groupby('region'), pandas не вычисляет ничего сразу. Он разбивает DataFrame на группы — по одной на каждое уникальное значение столбца region — и возвращает объект DataFrameGroupBy. Это просто инструкция «как делить»; результат появится только после вызова агрегирующего метода.

Посмотрим на минимальном примере:

import pandas as pd

df = pd.DataFrame({
    'region': ['Север', 'Юг', 'Север', 'Юг', 'Север'],
    'sales':  [100, 200, 150, 300, 80]
})

result = df.groupby('region')['sales'].sum()
print(result)

Вывод:

region
Север    330
Юг       500
Name: sales, dtype: int64

Обрати внимание: region здесь не столбец, а индекс результата. Pandas переносит ключ группировки в индекс по умолчанию — это сознательное поведение, а не баг. Пока это Series, всё выглядит терпимо. Но когда результат становится DataFrame с несколькими агрегатами, индекс в роли ключа создаёт неудобства: ключ пропадает из result.columns, и дальнейшая работа с таблицей усложняется.

Чтобы ключ остался обычным столбцом, используй параметр as_index=False:

result = df.groupby('region', as_index=False)['sales'].sum()
print(result)
print(result.columns.tolist())

Вывод:

  region  sales
0  Север    330
1    Юг    500
['region', 'sales']

Теперь region — обычный столбец с целочисленным RangeIndex. Именно эта форма удобна для дальнейшей фильтрации, сортировки или объединения таблиц.

Концептуально groupby делает три шага: split — разбивает DataFrame на группы по значениям ключевого столбца; apply — применяет агрегирующую функцию к каждой группе; combine — собирает результаты в одну таблицу. Этот паттерн split-apply-combine лежит в основе всей работы с groupby в pandas.

В следующем разделе мы подключим к groupby вызов .agg() с именованными агрегатами, чтобы за один раз вычислять несколько показателей с читаемыми именами столбцов.

Named aggregation в agg: несколько агрегатов за один вызов

Когда у тебя есть сгруппированный объект, следующий вопрос — что именно вычислять по каждой группе. Самый гибкий способ — вызов .agg() с именованными парами.

Синтаксис выглядит так:

df.groupby('region', as_index=False).agg(
    total_sales=('sales', 'sum'),
    avg_units=('units', 'mean')
)

Каждая именованная пара — это отдельный аргумент вида имя_результата=(столбец, функция). Слева от = — имя, которое получит новый столбец в итоговой таблице. В кортеже справа — исходный столбец, из которого берутся данные, и строковое имя агрегирующей функции.

В этом курсе используются строки 'sum', 'mean', 'min', 'max', 'count' — это не исчерпывающий список агрегатов pandas, но достаточный для большинства задач. Их можно комбинировать в любом порядке и количестве в одном вызове.

Важный нюанс про 'count': он считает непропущенные значения в указанном столбце. Если в sales есть NaN, такая строка не попадёт в счётчик. Это поведение соответствует логике «сколько реальных продаж зафиксировано», а не «сколько строк в группе».

Вот полный пример с несколькими агрегатами одновременно:

import pandas as pd

df = pd.DataFrame({
    'region':   ['Север', 'Юг', 'Север', 'Юг', 'Север'],
    'category': ['A', 'A', 'B', 'B', 'A'],
    'sales':    [100, 200, 150, 300, 80],
    'units':    [10, 20, 15, 30, 8]
})

result = df.groupby('region', as_index=False).agg(
    total_sales=('sales', 'sum'),
    avg_units=('units', 'mean'),
    min_sales=('sales', 'min'),
    nonmissing_count=('sales', 'count')
)
print(result)

Вывод:

  region  total_sales  avg_units  min_sales  nonmissing_count
0  Север          330       11.0         80                 3
1    Юг           500       25.0        200                 2

Четыре именованные пары — четыре столбца в результате. Каждый столбец берёт данные из нужного исходного столбца независимо: total_sales и min_sales смотрят в sales, avg_units — в units, nonmissing_count считает непропущенные значения в sales.

Главное преимущество такого синтаксиса — имена столбцов результата ты задаёшь явно, прямо в вызове. Без named aggregation pandas генерировал бы технические имена вроде sales или строил MultiIndex в заголовках — ни то ни другое не читается в реальном коде. С именованными парами таблица сразу выходит с понятными заголовками, которые не нужно переименовывать потом через rename().

Один вызов .agg() с несколькими именованными парами заменяет несколько последовательных вычислений и возвращает всё в одной таблице. Именно этот паттерн используется в курсе как стандартный способ агрегирования.

Два способа получить плоскую таблицу: as_index=False и reset_index()

Мы уже видели, что groupby по умолчанию превращает ключ группировки в индекс результата. Это становится проблемой, как только хочешь работать с результатом как с обычной таблицей: фильтровать по ключу, сортировать или передавать дальше по пайплайну. Посмотрим, как это проявляется на практике и как это исправить.

Ловушка: ключ пропал из columns

Если вызываешь groupby без as_index=False, ключ группировки уходит в индекс и исчезает из result.columns:

import pandas as pd

df = pd.DataFrame({
    'region':   ['Север', 'Юг', 'Север', 'Юг', 'Север'],
    'category': ['A', 'A', 'B', 'B', 'A'],
    'sales':    [100, 200, 150, 300, 80],
    'units':    [10, 20, 15, 30, 8]
})

result = df.groupby('region').agg(
    total_sales=('sales', 'sum'),
    avg_units=('units', 'mean')
)

print(result.columns.tolist())
# ['total_sales', 'avg_units']

print(result.index.name)
# region

region есть — но только в индексе. В columns его нет. Если попробуешь написать result['region'], получишь KeyError. Именно здесь ломаются скрипты, где после агрегации ожидается обычная плоская таблица.

Способ 1: as_index=False прямо в groupby

Простейшее решение — передать параметр сразу:

result1 = df.groupby('region', as_index=False).agg(
    total_sales=('sales', 'sum'),
    avg_units=('units', 'mean')
)

print(result1)
#   region  total_sales  avg_units
# 0  Север          330       11.0
# 1    Юг           500       25.0

print(result1.columns.tolist())
# ['region', 'total_sales', 'avg_units']

region возвращается в обычные столбцы, индекс — стандартный RangeIndex. Таблица сразу готова к любым операциям.

Способ 2: reset_index() после agg

Если по каким-то причинам написал groupby без as_index=False, можно добавить reset_index() в конце цепочки:

result2 = df.groupby('region').agg(
    total_sales=('sales', 'sum'),
    avg_units=('units', 'mean')
).reset_index()

print(result2)
#   region  total_sales  avg_units
# 0  Север          330       11.0
# 1    Юг           500       25.0

Результат идентичен. reset_index() вынимает ключ из индекса и помещает его первым столбцом — именно то, что делает as_index=False автоматически.

Какой способ выбирать

Оба способа корректны и дают одинаковую таблицу. На практике as_index=False лаконичнее: параметр виден сразу при чтении строки с groupby, и не нужно помнить о дополнительном вызове в конце. reset_index() полезен, когда получаешь уже сгруппированный результат и хочешь его «распрямить» постфактум.

В этом курсе для группировки по одному ключу оба варианта используются; для нескольких ключей — только as_index=False, чтобы не сталкиваться с составными типами индекса.

groupby по нескольким столбцам с as_index=False

Один ключ группировки — это частный случай. Чаще в реальных данных нужно смотреть на комбинации: например, продажи по каждому региону внутри каждой категории. Для этого в groupby передаётся список столбцов.

Синтаксис не меняется — добавляется только список вместо одной строки:

import pandas as pd

df = pd.DataFrame({
    'region':   ['Север', 'Юг', 'Север', 'Юг', 'Север'],
    'category': ['A', 'A', 'B', 'B', 'A'],
    'sales':    [100, 200, 150, 300, 80],
    'units':    [10, 20, 15, 30, 8]
})

result = df.groupby(['region', 'category'], as_index=False).agg(
    total_sales=('sales', 'sum'),
    avg_units=('units', 'mean')
)
print(result)

Вывод:

  region category  total_sales  avg_units
0  Север        A          180       9.0
1  Север        B          150      15.0
2    Юг        A          200      20.0
3    Юг        B          300      30.0

Оба ключа — region и category — остаются обычными столбцами. Индекс — стандартный RangeIndex. Таблица плоская и сразу готова к фильтрации или сортировке.

Что здесь происходит: pandas находит все уникальные комбинации значений region и category, считает агрегаты по строкам, попавшим в каждую комбинацию, и собирает результат. Строки ('Север', 'A') из оригинального DataFrame — это индексы 0 и 4, их sales суммируется как 100 + 80 = 180.

Параметр as_index=False здесь особенно важен. Без него pandas создал бы составной индекс из двух уровней — один для region, другой для category. Работать с таким результатом через стандартные операции заметно сложнее. Поэтому для многоключевой группировки as_index=False — единственный рекомендуемый паттерн в этом курсе.

Если нужно добавить третий ключ — просто расширяешь список: groupby(['region', 'category', 'month'], as_index=False). Количество ключей не ограничено; синтаксис agg с именованными парами при этом не меняется.

В следующем уроке groupby появится в другой роли: вместо agg, который сжимает таблицу до одной строки на группу, будет transform — он возвращает групповой показатель для каждой строки исходного DataFrame, не меняя его длину.

Закрепите тему на задачах

Определите гранулярность результата: одна строка на группу. Сверьте сумму групп с исходной таблицей и учтите поведение группировки с пустым ключом.

groupby и agg: сводные показатели с явными именами агрегатов — задача по NumPy и pandas

pandas groupby и agg: сводка по двум ключам

pandas groupby и agg: группировка, rename и sort_values

Откройте условие и решите задачу перед чтением следующей темы. В задачах на код проверяется программа, в тестовых заданиях — выбранный ответ. Для последовательного обучения вернитесь в программу бесплатного курса.