К плану
Урок

Объединение (деятельность организации запрещена на территории РФ) DataFrame: Merge и Concat

В анализе данных редко удается получить все ответы из одной таблицы. Информация обычно распределена: продажи — в одном файле, данные о клиентах — в другом, справочник товаров — в третьем. Чтобы построить отчет, нужно научиться объединять эти источники.

Вы уже освоили groupby для сжатия данных. Теперь научимся их расширять, объединяя разные датафреймы (DataFrames). В Pandas для этого есть два инструмента: concat и merge.

Объединение (деятельность организации запрещена на территории РФ) с помощью concat

Метод pd.concat() просто «приклеивает» одну таблицу к другой. Это полезно для однотипных данных, например, при сборке отчетов за разные месяцы.

Представьте, что вы собираете данные за квартал. У вас есть три таблицы с одинаковыми колонками (Январь, Февраль, Март). Вы кладете их друг на друга, увеличивая количество строк. Это объединение по оси строк (axis=0).

Как показано на Схеме 1, вы можете управлять направлением склейки.

Объединение двух ежемесячных отчетов:

import pandas as pd

january_sales = pd.DataFrame({'product': ['А', 'Б'], 'amount': [100, 200]})
february_sales = pd.DataFrame({'product': ['В', 'Г'], 'amount': [150, 300]})

# Склеиваем вертикально. ignore_index=True создаст новую нумерацию строк
quarter_1 = pd.concat([january_sales, february_sales], ignore_index=True)
print(quarter_1)

Логическое объединение с merge

Если concat — это клей, то merge — это логическая связка. Это прямой аналог операции JOIN в SQL. Используйте merge, когда таблицы разные по смыслу, но имеют общую колонку (ключ).

Например, в таблице заказов есть client_id. Чтобы добавить в отчет имена клиентов, нужно «подтянуть» их из справочника, используя ID как связующее звено.

Типы объединения (how)

В Pandas доступны четыре типа объединения:

  1. left: сохраняет все строки из левой таблицы. Если в правой таблице нет пары — подставляется NaN (пустота).
  2. right: сохраняет все строки из правой таблицы.
  3. inner: оставляет только те строки, которые есть в обеих таблицах (пересечение).
  4. outer: сохраняет все данные из обеих таблиц.

В аналитике чаще всего используют Left Join. Это позволяет сохранить все записи основной таблицы (например, транзакции) и дополнить их информацией из справочников. 🗂️

Добавление категорий к товарам:

sales = pd.DataFrame({'order_id': [1, 2, 3], 'item': ['Молоко', 'Хлеб', 'Сыр']})
categories = pd.DataFrame({'item': ['Молоко', 'Хлеб'], 'cat': ['Молочка', 'Бакалея']})

# Объединяем по колонке 'item'
# validate='m:1' проверяет, что в справочнике категорий нет дублей
df_merged = pd.merge(sales, categories, on='item', how='left', validate='m:1')
print(df_merged)

Контроль качества данных

Главная опасность — «раздувание» данных. Если в ключевой колонке правой таблицы есть дубликаты, merge создаст лишние строки для каждого совпадения. В итоге сумма выручки в отчете может вырасти в несколько раз. 📉

Параметр validate в методе merge помогает проверить логику связей:

  • one_to_one (1) — ключи уникальны в обеих таблицах.
  • one_to_many (1) — ключ уникален в левой, но повторяется в правой.
  • many_to_one (m) — ключ повторяется в левой, но уникален в правой (стандарт для справочников).

Ошибка при несовпадении типов данных:

df_1 = pd.DataFrame({'id': [101, 102], 'val': ['A', 'B']}) # id — числа (int)
df_2 = pd.DataFrame({'id': ['101', '103'], 'val': ['C', 'D']}) # id — строки (str)

# Результат будет пустым: число 101 не равно строке "101"
result = pd.merge(df_1, df_2, on='id', how='inner') 

Практикум: Сборка аналитического набора

Выполните задачу, с которой аналитики сталкиваются ежедневно: объединение данных из разных систем.

Даны два набора данных:

  1. df_orders: order_id, client_id, amount
  2. df_clients: client_id, client_name, city

Задание:

  1. Объедините таблицы так, чтобы сохранить все заказы, даже если клиента нет в справочнике.
  2. Используйте параметр indicator=True, чтобы увидеть источник данных.
  3. Сравните размер таблицы до и после объединения с помощью .shape.
# Подсказка по проверке результата
result = pd.merge(df_orders, df_clients, on='client_id', how='left', indicator=True)
print(result['_merge'].value_counts()) # Покажет количество совпадений

Теперь, когда вы умеете собирать данные из разных источников, пора научиться их визуализировать. В следующей теме перейдем к Основам построения графиков: Линейные, столбчатые, круговые, чтобы превратить таблицы в наглядные инсайты.

Сохраните прогресс в Telegram.Продолжить в Telegram