Объединение (деятельность организации запрещена на территории РФ) DataFrame: Merge и Concat
В анализе данных редко удается получить все ответы из одной таблицы. Информация обычно распределена: продажи — в одном файле, данные о клиентах — в другом, справочник товаров — в третьем. Чтобы построить отчет, нужно научиться объединять эти источники.
Вы уже освоили groupby для сжатия данных. Теперь научимся их расширять, объединяя разные датафреймы (DataFrames). В Pandas для этого есть два инструмента: concat и merge.
Объединение (деятельность организации запрещена на территории РФ) с помощью concat
Метод pd.concat() просто «приклеивает» одну таблицу к другой. Это полезно для однотипных данных, например, при сборке отчетов за разные месяцы.
Представьте, что вы собираете данные за квартал. У вас есть три таблицы с одинаковыми колонками (Январь, Февраль, Март). Вы кладете их друг на друга, увеличивая количество строк. Это объединение по оси строк (axis=0).
Как показано на Схеме 1, вы можете управлять направлением склейки.
Объединение двух ежемесячных отчетов:
import pandas as pd
january_sales = pd.DataFrame({'product': ['А', 'Б'], 'amount': [100, 200]})
february_sales = pd.DataFrame({'product': ['В', 'Г'], 'amount': [150, 300]})
# Склеиваем вертикально. ignore_index=True создаст новую нумерацию строк
quarter_1 = pd.concat([january_sales, february_sales], ignore_index=True)
print(quarter_1)Логическое объединение с merge
Если concat — это клей, то merge — это логическая связка. Это прямой аналог операции JOIN в SQL. Используйте merge, когда таблицы разные по смыслу, но имеют общую колонку (ключ).
Например, в таблице заказов есть client_id. Чтобы добавить в отчет имена клиентов, нужно «подтянуть» их из справочника, используя ID как связующее звено.
Типы объединения (how)
В Pandas доступны четыре типа объединения:
- left: сохраняет все строки из левой таблицы. Если в правой таблице нет пары — подставляется
NaN(пустота). - right: сохраняет все строки из правой таблицы.
- inner: оставляет только те строки, которые есть в обеих таблицах (пересечение).
- outer: сохраняет все данные из обеих таблиц.
В аналитике чаще всего используют Left Join. Это позволяет сохранить все записи основной таблицы (например, транзакции) и дополнить их информацией из справочников. 🗂️
Добавление категорий к товарам:
sales = pd.DataFrame({'order_id': [1, 2, 3], 'item': ['Молоко', 'Хлеб', 'Сыр']})
categories = pd.DataFrame({'item': ['Молоко', 'Хлеб'], 'cat': ['Молочка', 'Бакалея']})
# Объединяем по колонке 'item'
# validate='m:1' проверяет, что в справочнике категорий нет дублей
df_merged = pd.merge(sales, categories, on='item', how='left', validate='m:1')
print(df_merged)Контроль качества данных
Главная опасность — «раздувание» данных. Если в ключевой колонке правой таблицы есть дубликаты, merge создаст лишние строки для каждого совпадения. В итоге сумма выручки в отчете может вырасти в несколько раз. 📉
Параметр validate в методе merge помогает проверить логику связей:
one_to_one(1) — ключи уникальны в обеих таблицах.one_to_many(1) — ключ уникален в левой, но повторяется в правой.many_to_one(m) — ключ повторяется в левой, но уникален в правой (стандарт для справочников).
Ошибка при несовпадении типов данных:
df_1 = pd.DataFrame({'id': [101, 102], 'val': ['A', 'B']}) # id — числа (int)
df_2 = pd.DataFrame({'id': ['101', '103'], 'val': ['C', 'D']}) # id — строки (str)
# Результат будет пустым: число 101 не равно строке "101"
result = pd.merge(df_1, df_2, on='id', how='inner') Практикум: Сборка аналитического набора
Выполните задачу, с которой аналитики сталкиваются ежедневно: объединение данных из разных систем.
Даны два набора данных:
df_orders:order_id,client_id,amountdf_clients:client_id,client_name,city
Задание:
- Объедините таблицы так, чтобы сохранить все заказы, даже если клиента нет в справочнике.
- Используйте параметр
indicator=True, чтобы увидеть источник данных. - Сравните размер таблицы до и после объединения с помощью
.shape.
# Подсказка по проверке результата
result = pd.merge(df_orders, df_clients, on='client_id', how='left', indicator=True)
print(result['_merge'].value_counts()) # Покажет количество совпадений
Теперь, когда вы умеете собирать данные из разных источников, пора научиться их визуализировать. В следующей теме перейдем к Основам построения графиков: Линейные, столбчатые, круговые, чтобы превратить таблицы в наглядные инсайты.