Визуализация данных

Прежде чем приступить к построению сложной модели машинного обучения, первое, что нам нужно сделать, — это не выбрать алгоритм, апонять данные.。

Если сравнить машинное обучение с кулинарией, то данные — это ингредиент.

Отличный шеф-повар должен понимать особенности ингредиентов — свежие они или испорченные, сладкие или кислые, подходят ли они для тушения или быстрого обжаривания.

Визуализация данных — это нашалупаии вкусовая почка。

Визуализация данных использует визуальные элементы, такие как диаграммы и графики, чтобы превратить скучные числа в интуитивно понятные образы, помогая нам:

  • Обнаруживайте закономерности и тенденции в данных(Например: меняется ли выручка от продаж в зависимости от сезона?)
  • Выявляйте выбросы и ошибочные данные(Например: запись с возрастом 300 лет)
  • Понимайте взаимосвязи между признаками (переменными)(Например: есть ли положительная корреляция между площадью дома и ценой?)
  • Проверяйте предположения, и обеспечивайте основу для последующей разработки признаков и выбора модели.

В этой статье будут использованы самые популярные библиотеки для анализа данных на Pythonpandasи библиотеки визуализацииmatplotlib、seaborn, чтобы помочь вам освоить ключевые навыки визуализации данных.


Подготовка: окружение и данные

Прежде чем начать рисовать графики, нам нужно подготовить «холст» и «краски».

Установите необходимые библиотеки

Если вы используете Anaconda, эти библиотеки обычно уже установлены. В противном случае вы можете установить их с помощью следующей команды:

pip install pandas matplotlib seaborn

Импортируйте библиотеки и загрузите данные

Мы будем использовать классический публичный набор данных: набор данных о пассажирах «Титаника». Он содержит информацию о выживании пассажиров, классе, возрасте, поле и т. д.

Пример

# Импорт необходимых библиотек
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# Установить стиль графика, чтобы он выглядел лучше
sns.set_style("whitegrid")
# -------------------------- Начало настройки китайского шрифта --------------------------
plt.rcParams['font.sans-serif'] = [
    # Сначала Windows
    'SimHei', 'Microsoft YaHei',
    # Сначала macOS
    'PingFang SC', 'Heiti TC',
    # Сначала Linux
    'WenQuanYi Micro Hei', 'DejaVu Sans'
]
# Исправить проблему, когда знак минуса отображается как квадрат
plt.rcParams['axes.unicode_minus'] = False
# -------------------------- Конец настройки китайского шрифта --------------------------

# Загрузить данные
# Здесь мы загружаем напрямую из встроенного набора данных seaborn
df = sns.load_dataset('titanic')

# Просмотреть первые несколько строк и базовую информацию о данных
print("Форма данных (строки, столбцы):", df.shape)
print("\n"Первые 5 строк данных:")
print(df.head())
print("\n"Базовая информация о данных (типы, количество непустых значений и т. д.):")
print(df.info())

# Загрузить данные
# Здесь мы загружаем напрямую из встроенного набора данных seaborn
df = sns.load_dataset('titanic')

# Просмотреть первые несколько строк и базовую информацию о данных
print("Форма данных (строки, столбцы):", df.shape)
print("\n"Первые 5 строк данных:")
print(df.head())
print("\n"Базовая информация о данных (типы, количество непустых значений и т. д.):")
print(df.info())

Запустив код выше, вы увидите, что данные содержат 891 строку (пассажиров) и 15 столбцов (признаков).df.head()Это даёт первоначальное представление о том, как выглядят данные.


Одномерный анализ: понимание распределения одного признака

Одномерный анализ фокусируется нараспределении одногопризнака (переменной). Это самый базовый анализ.

1. Числовые признаки: гистограммы и ящичные диаграммы

Для таких признаков, какage(age),fare(fare) и другие непрерывные числовые признаки, мы часто используемгистограммыии коробчатые диаграммы.。

Гистограммаотображает частотное распределение данных по различным интервалам ("bins").

Пример

# Импорт необходимых библиотек
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# Установить стиль графика, чтобы он выглядел лучше
sns.set_style("whitegrid")
# -------------------------- Начало настройки китайского шрифта --------------------------
plt.rcParams['font.sans-serif'] = [
    # Сначала Windows
    'SimHei', 'Microsoft YaHei',
    # Сначала macOS
    'PingFang SC', 'Heiti TC',
    # Сначала Linux
    'WenQuanYi Micro Hei', 'DejaVu Sans'
]
# Исправить проблему, когда знак минуса отображается как квадрат
plt.rcParams['axes.unicode_minus'] = False
# -------------------------- Конец настройки китайского шрифта --------------------------

# Загрузить данные
# Здесь мы загружаем напрямую из встроенного набора данных seaborn
df = sns.load_dataset('titanic')

# Просмотреть первые несколько строк и базовую информацию о данных
print("Форма данных (строки, столбцы):", df.shape)
print("\n"Первые 5 строк данных:")
print(df.head())
print("\n"Базовая информация о данных (типы, количество непустых значений и т. д.):")
print(df.info())

# Построить гистограмму age
plt.figure(figsize=(10, 6)) # Установить размер графика
plt.hist(df['age'].dropna(), bins=30, edgecolor='black', alpha=0.7) # dropna() игнорирует пропущенные значения
plt.title('Гистограмма распределения возраста пассажиров')
plt.xlabel('Возраст')
plt.ylabel('Частота')
plt.show()

Интерпретация: Этот график может показать, в каком интервале в основном сосредоточены возрасты пассажиров (например, 20-30 лет), симметрично ли распределение, есть ли выбросы и т. д.

Коробчатая диаграммаможет наглядно показатьмедиану, квартили и выбросы данных.。

Пример

# Построить ящик с усами для fare
plt.figure(figsize=(8, 5))
plt.boxplot(df['fare'].dropna())
plt.title('Ящик с усами для Fare')
plt.ylabel('Fare')
plt.show()

Интерпретация: Линия в середине прямоугольника — это медиана. Верхняя и нижняя границы прямоугольника — это верхний квартиль (Q3) и нижний квартиль (Q1). Верхние и нижние "усы" обычно простираются до самых дальних точек данных в пределах 1.5 межквартильного размаха; точки за этими пределами считаютсявыбросами(кружки выше на рисунке). Этот график сразу показывает, что существует много чрезвычайно высоких выбросов в fare.

2. Категориальные признаки: столбчатые диаграммы

Для таких признаков, какsex(пол),embarked(порт посадки),survived(выжил или нет) и другие категориальные признаки, мы используемстолбчатые диаграммыдля подсчёта количества каждой категории.

Пример

# Построить столбчатую диаграмму пола пассажиров
survival_counts = df['sex'].value_counts()
plt.figure(figsize=(8, 5))
plt.bar(survival_counts.index, survival_counts.values, color=['lightblue', 'lightcoral'])
plt.title('Распределение пассажиров по полу')
plt.xlabel('Пол')
plt.ylabel('Количество')
plt.show()

Двумерный анализ: исследование взаимосвязей между признаками

Двумерный анализ исследуетвзаимосвязь между двумяпризнаками.

1. Числовые против числовых: диаграммы рассеяния

Диаграмма рассеяния — мощный инструмент для изучения корреляции между двумя непрерывными переменными.

Пример

# Построить диаграмму рассеяния возраста и стоимости билета
plt.figure(figsize=(10, 6))
plt.scatter(df['age'], df['fare'], alpha=0.5) # alpha задаёт прозрачность, чтобы лучше наблюдать плотность точек
plt.title('Диаграмма рассеяния: возраст и стоимость билета')
plt.xlabel('Возраст')
plt.ylabel('Fare')
plt.show()
  • Интерпретация: Характер распределения точек может указывать на корреляцию. Например, если точки примерно лежат вдоль диагональной линии, это означает, что две переменные коррелируют. По этому графику возраст и стоимость билета не показывают очевидной линейной зависимости, но он ещё раз подтверждает наличие высоких значений стоимости билета (выбросов).

2. Категориальные vs числовые: сгруппированные ящичные диаграммы или скрипичные диаграммы

Часто нам нужно понять, как распределение числового признака различается по категориям. Например: «Как распределение стоимости билета различается среди пассажиров разных классов?»

Пример

# Используйте seaborn, чтобы построить сгруппированную ящичную диаграмму (pclass: класс пассажира, 1-й/2-й/3-й класс)
plt.figure(figsize=(10, 6))
sns.boxplot(x='pclass', y='fare', data=df)
plt.title('Распределение стоимости билета по классу пассажира')
plt.show()
  • Интерпретация: Очень наглядно! Более высокий класс каюты (первый класс) имеет значительно более высокую медиану и общий диапазон цен на билеты. Это полностью соответствует здравому смыслу.

Скрипичная диаграмма— это усовершенствованная версия ящичной диаграммы. Она не только отображает статистику, но и показывает фактическую форму распределения данных с помощью ядерной оценки плотности.

Пример

# Постройте скрипичную диаграмму распределения возраста по полу
plt.figure(figsize=(10, 6))
sns.violinplot(x='sex', y='age', data=df, inner='quartile') # Параметр inner отображает линии квартилей
plt.title('Распределение возраста по полу (скрипичная диаграмма)')
plt.show()

3. Категориальные vs Категориальные: составные столбчатые диаграммы или тепловые карты

Для двух категориальных переменных мы можем использоватьсоставные столбчатые диаграммы, чтобы увидеть комбинацию. Например: "Каково соотношение выживших по полу?"

Пример

# Создать таблицу сопряжённости пола и выживаемости
cross_tab = pd.crosstab(df['sex'], df['survived'], normalize='index') # normalize='index' вычисляет пропорции по строкам
print(cross_tab)

# Нарисовать составную столбчатую диаграмму
cross_tab.plot(kind='bar', stacked=True, figsize=(10, 6), color=['tomato', 'lightgreen'])
plt.title('Доля выживших по полу')
plt.xlabel('Пол')
plt.ylabel('Доля')
plt.legend(['Не выжившие', 'Выжившие'])
plt.show()

Интерпретация: Из графика и таблицы сопряжённости очевидно, что доля выживших среди женщин намного выше, чем среди мужчин. Это очень сильный сигнал, указывающий на то, чтоsexэтот признак имеет решающее значение для предсказания выживания.


Многомерный анализ и расширенная визуализация

Иногда нам нужно рассматривать три или даже больше переменных одновременно.seabornБиблиотека упрощает это.

1. Диаграмма рассеяния с группировкой

На основе диаграммы рассеяния мы можем использовать цвет или форму, чтобы различать третью (категориальную) переменную.

Пример

# На диаграмме рассеяния age-fare используйте цвет, чтобы различать выживание
plt.figure(figsize=(12, 8))
sns.scatterplot(x='age', y='fare', hue='survived', style='survived', data=df, alpha=0.7)
plt.title('Возраст и стоимость билета (цвет по выживаемости)')
plt.show()
  • Интерпретация: Этот график позволяет интуитивно увидеть, различаются ли распределения выживших (оранжевый) и не выживших (синий) в двумерном пространстве «возраст — стоимость билета».

2. Тепловая карта корреляционной матрицы

Когда у нас есть несколько числовых признаков, мы можем сразу вычислить попарные коэффициенты корреляции и отобразить их с помощью тепловой карты.

Пример

# Выбор числовых столбцов
numeric_df = df.select_dtypes(include=['float64', 'int64'])

# Вычисление матрицы коэффициентов корреляции
corr_matrix = numeric_df.corr()

# Построение тепловой карты
plt.figure(figsize=(12, 8))
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm', center=0, square=True)
plt.title('Тепловая карта корреляционной матрицы числовых признаков')
plt.show()

Интерпретация: Более теплые цвета (красный) указывают на более сильную положительную корреляцию; более холодные цвета (синий) указывают на более сильную отрицательную корреляцию.annot=TrueОтобразить конкретные значения внутри ячеек. Например,pclass(класс каюты) иfare(стоимость билета) имеют сильную отрицательную корреляцию (-0.55), что означает, что чем меньше номер класса (выше класс), тем выше стоимость билета, что согласуется с нашим предыдущим анализом.


Практическое упражнение: практическое исследование

Теперь, пожалуйста, попробуйте выполнить следующие упражнения, чтобы закрепить то, что вы узнали:

  1. Проверка данных: Используйтеdf.isnull().sum()чтобы проверить, в каких столбцах набора данных есть пропущенные значения и сколько их пропущено.
  2. Построение распределения: Дляageстолбца постройтескрипичную диаграммуи сгруппируйте поsurvived(статус выживания), используяsns.violinplot(x='survived', y='age', data=df)). Понаблюдайте, как различаются распределения возраста выживших и не выживших.
  3. Изучите взаимосвязи: Используйтеsns.countplot(x='pclass', hue='survived', data=df)чтобы построить столбчатую диаграмму количества и сравнить число выживших в разных классах кают. Какой вывод можно сделать?
  4. (Задача) Многомерный график: Попробуйте построитьматрицу диаграмм рассеяния, чтобы сразу увидетьage、fare、parch(количество родителей/детей) и попарные взаимосвязи между этими числовыми переменными. Подсказка: можно использоватьsns.pairplot(df[['age', 'fare', 'parch', 'survived']], hue='survived')。

Итог

Визуализация данных — этонезаменимый этап исследованияв рабочем процессе машинного обучения. Из этой статьи вы узнали:

Основные инструменты: Используйтеmatplotlibдля базового построения графиков и используйтеseabornчтобы строить более красивые и информативные статистические графики.

Подход к анализу:

  • Одномерный анализ: Используйте гистограммы/ящичные диаграммы, чтобы увидеть распределения, и столбчатые диаграммы для подсчёта частот.
  • Двумерный анализ: Используйте диаграммы рассеяния для числовых взаимосвязей, сгруппированные ящичные диаграммы для влияния категорий на числовые значения и столбчатые диаграммы с накоплением для комбинаций категорий.
  • Многомерный анализ: Используйте цветные диаграммы рассеяния и тепловые карты корреляций, чтобы выявить более сложные закономерности.

Основная цель: Все графики предназначены для того, чтобывыдвигать гипотезыии обнаруживать инсайты, например, пол может быть важным прогностическим признаком, а в данных о стоимости проезда много выбросов, которые нужно обработать.

Помните: прежде чем подавать данные в модель, обязательно найдите время внимательно на них посмотреть. Ясный инсайт, полученный при визуализации, часто может направить вас в правильном направлении раньше, чем сложные алгоритмы.

Linux 命令大全Справочник команд Linux

Другие расширения