Visualisation de données

Avant de commencer à construire un modèle d'apprentissage automatique complexe, la première chose à faire n'est pas de choisir un algorithme, mais decomprendre les données.。

Si nous comparons l'apprentissage automatique à la cuisine, alors les données sont les ingrédients.

Un excellent chef doit comprendre les caractéristiques des ingrédients — qu'ils soient frais ou avariés, sucrés ou acides, qu'ils conviennent à mijoter ou à faire sauter.

La visualisation de données est notreloupeetet papille gustative。

La visualisation de données utilise des éléments visuels tels que des diagrammes et des graphiques pour transformer des chiffres ternes en images intuitives, nous aidant à :

  • Découvrir des motifs et des tendances dans les données(Par exemple : Le chiffre d'affaires varie-t-il selon les saisons ?)
  • Identifier les valeurs aberrantes et les données erronées(Par exemple : un enregistrement avec un âge de 300 ans)
  • Comprendre les relations entre les caractéristiques (variables)(Par exemple : La surface et le prix d'une maison sont-ils corrélés positivement ?)
  • Valider les hypothèses, et fournir une base pour l'ingénierie des caractéristiques et la sélection de modèles ultérieures.

Cet article utilisera les bibliothèques de science des données les plus populaires en Pythonpandaset les bibliothèques de visualisationmatplotlib、seaborn, pour vous aider à maîtriser les compétences essentielles de la visualisation de données.


Préparation : Environnement et données

Avant de commencer à dessiner des graphiques, nous devons préparer la "toile" et la "peinture".

Installer les bibliothèques nécessaires

Si vous utilisez Anaconda, ces bibliothèques sont généralement préinstallées. Sinon, vous pouvez les installer avec la commande suivante :

pip install pandas matplotlib seaborn

Importer les bibliothèques et charger les données

Nous allons utiliser un jeu de données public classique : le jeu de données des passagers du Titanic. Il contient des informations sur la survie, la classe, l'âge, le sexe des passagers, etc.

Exemple

# Importer les bibliothèques nécessaires
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# Définir le style du graphique pour le rendre plus esthétique
sns.set_style("whitegrid")
# -------------------------- Début de configuration de la police chinoise --------------------------
plt.rcParams['font.sans-serif'] = [
    # Windows en premier
    'SimHei', 'Microsoft YaHei',
    # macOS en premier
    'PingFang SC', 'Heiti TC',
    # Linux d'abord
    'WenQuanYi Micro Hei', 'DejaVu Sans'
]
# Corriger le problème où le signe moins s'affiche comme un carré
plt.rcParams['axes.unicode_minus'] = False
# -------------------------- Fin de la configuration de la police chinoise --------------------------

# Charger les données
# Ici, nous chargeons directement depuis le jeu de données intégré de seaborn
df = sns.load_dataset('titanic')

# Afficher les premières lignes et les informations de base des données
print("Dimensions des données (lignes, colonnes) :", df.shape)
print("\n"Les 5 premières lignes des données :")
print(df.head())
print("\n"Informations de base sur les données (types, nombres de valeurs non nulles, etc.) :")
print(df.info())

# Charger les données
# Ici, nous chargeons directement depuis le jeu de données intégré de seaborn
df = sns.load_dataset('titanic')

# Afficher les premières lignes et les informations de base des données
print("Dimensions des données (lignes, colonnes) :", df.shape)
print("\n"Les 5 premières lignes des données :")
print(df.head())
print("\n"Informations de base sur les données (types, nombres de valeurs non nulles, etc.) :")
print(df.info())

En exécutant le code ci-dessus, vous verrez que les données comportent 891 lignes (passagers) et 15 colonnes (caractéristiques).df.head()Cela vous donne une première impression de ce à quoi ressemblent les données.


Analyse univariée : comprendre la distribution d'une seule caractéristique

L'analyse univariée se concentre surla distribution d'une seulecaractéristique (variable). Il s'agit de l'analyse la plus élémentaire.

1. Caractéristiques numériques : histogrammes et diagrammes en boîte

Pour des variables telles queage(âge),fare(fare) et d'autres variables numériques continues, nous utilisons souvent deshistogrammesetet des boîtes à moustaches.。

L'histogrammeaffiche la distribution des fréquences des données dans différents intervalles ("bins").

Exemple

# Importer les bibliothèques nécessaires
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# Définir le style du graphique pour le rendre plus esthétique
sns.set_style("whitegrid")
# -------------------------- Début de configuration de la police chinoise --------------------------
plt.rcParams['font.sans-serif'] = [
    # Windows en premier
    'SimHei', 'Microsoft YaHei',
    # macOS en premier
    'PingFang SC', 'Heiti TC',
    # Linux d'abord
    'WenQuanYi Micro Hei', 'DejaVu Sans'
]
# Corriger le problème où le signe moins s'affiche comme un carré
plt.rcParams['axes.unicode_minus'] = False
# -------------------------- Fin de la configuration de la police chinoise --------------------------

# Charger les données
# Ici, nous chargeons directement depuis le jeu de données intégré de seaborn
df = sns.load_dataset('titanic')

# Afficher les premières lignes et les informations de base des données
print("Dimensions des données (lignes, colonnes) :", df.shape)
print("\n"Les 5 premières lignes des données :")
print(df.head())
print("\n"Informations de base sur les données (types, nombres de valeurs non nulles, etc.) :")
print(df.info())

# Tracer l'histogramme de l'âge
plt.figure(figsize=(10, 6)) # Définir la taille de la figure
plt.hist(df['age'].dropna(), bins=30, edgecolor='black', alpha=0.7) # dropna() ignore les valeurs manquantes
plt.title('Histogramme de distribution des âges des passagers')
plt.xlabel('Âge')
plt.ylabel('Fréquence')
plt.show()

Interprétation: Ce graphique peut nous indiquer dans quel intervalle les âges des passagers sont principalement concentrés (par ex., 20-30 ans), si la distribution est symétrique, s'il y a des valeurs aberrantes, etc.

Le diagramme en boîtepeut clairement montrer lamédiane, les quartiles et les valeurs aberrantes des données.。

Exemple

# Tracer le diagramme en boîte de fare
plt.figure(figsize=(8, 5))
plt.boxplot(df['fare'].dropna())
plt.title('Fare box plot')
plt.ylabel('Fare')
plt.show()

Interprétation: La ligne au milieu de la boîte est la médiane. Les bords supérieur et inférieur de la boîte sont le quartile supérieur (Q3) et le quartile inférieur (Q1). Les « moustaches » supérieure et inférieure s'étendent généralement jusqu'aux points de données les plus éloignés dans la limite de 1.5 fois l'écart interquartile ; les points au-delà sont considérés commevaleurs aberrantes(les cercles ci-dessus sur la figure). Ce graphique nous indique immédiatement qu'il y a de nombreuses valeurs aberrantes extrêmement élevées dans fare.

2. Variables catégorielles : diagrammes à barres

Pour des variables telles quesex(sexe),embarked(port d'embarquement),survived(a survécu ou non) et d'autres variables catégorielles, nous utilisonsdes diagrammes à barrespour compter le nombre de chaque catégorie.

Exemple

# Tracer le diagramme à barres du sexe des passagers
survival_counts = df['sex'].value_counts()
plt.figure(figsize=(8, 5))
plt.bar(survival_counts.index, survival_counts.values, color=['lightblue', 'lightcoral'])
plt.title('Répartition des passagers par genre')
plt.xlabel('Genre')
plt.ylabel('Nombre')
plt.show()

Analyse bivariée : Explorer les relations entre les caractéristiques

L'analyse bivariée explorela relation entre deuxcaractéristiques.

1. Numérique vs Numérique : Nuages de points

Un nuage de points est un outil puissant pour étudier la corrélation entre deux variables continues.

Exemple

# Tracer un nuage de points de age vs. fare
plt.figure(figsize=(10, 6))
plt.scatter(df['age'], df['fare'], alpha=0.5) # alpha définit la transparence pour mieux observer la densité des points
plt.title('Âge vs Tarif – Diagramme de dispersion')
plt.xlabel('Âge')
plt.ylabel('Fare')
plt.show()
  • Interprétation: La répartition des points peut suggérer une corrélation. Par exemple, si les points se situent approximativement le long d'une ligne diagonale, cela indique que les deux variables sont corrélées. D'après ce graphique, l'âge et le tarif ne montrent pas de relation linéaire évidente, mais cela confirme à nouveau l'existence de tarifs élevés (valeurs aberrantes).

2. Catégoriel vs Numérique : Boîtes à moustaches groupées ou diagrammes en violon

Nous voulons souvent savoir comment la distribution d'une variable numérique diffère selon les catégories. Par exemple : « Comment la distribution des tarifs diffère-t-elle entre les passagers des différentes classes ? »

Exemple

# Utiliser seaborn pour tracer une boîte à moustaches groupée (pclass : classe de passager, 1re/2e/3e classe)
plt.figure(figsize=(10, 6))
sns.boxplot(x='pclass', y='fare', data=df)
plt.title('Distribution des tarifs par classe de passager')
plt.show()
  • Interprétation: Très clair ! Une classe de cabine plus élevée (Première classe) a une médiane et une étendue globale des prix des billets nettement plus élevées. Cela correspond totalement à notre bon sens.

Le diagramme en violonest une version avancée de la boîte à moustaches. Il affiche non seulement les statistiques, mais montre aussi la forme réelle de la distribution des données via l'estimation par noyau.

Exemple

# Tracer un diagramme en violon de la distribution de l'âge par sexe
plt.figure(figsize=(10, 6))
sns.violinplot(x='sex', y='age', data=df, inner='quartile') # Le paramètre inner affiche les lignes des quartiles
plt.title('Distribution de l'âge par sexe (diagramme en violon)')
plt.show()

3. Catégoriel vs Catégoriel : diagrammes à barres empilées ou cartes de chaleur

Pour deux variables catégorielles, on peut utiliserdes diagrammes à barres empiléespour observer la combinaison. Par exemple : « Quel est le taux de survie par sexe ? »

Exemple

# Créer un tableau croisé du sexe et de la survie
cross_tab = pd.crosstab(df['sex'], df['survived'], normalize='index') # normalize='index' calcule les proportions par ligne
print(cross_tab)

# Tracer un diagramme à barres empilées
cross_tab.plot(kind='bar', stacked=True, figsize=(10, 6), color=['tomato', 'lightgreen'])
plt.title('Taux de survie par sexe')
plt.xlabel('Genre')
plt.ylabel('Proportion')
plt.legend(['Non survivant', 'Survivant'])
plt.show()

Interprétation: D'après le graphique et le tableau croisé, il est évident que le taux de survie des femmes est bien plus élevé que celui des hommes. C'est un signal très fort indiquant quesexla caractéristique est cruciale pour prédire la survie.


Analyse multivariée et visualisation avancée

Parfois, nous devons considérer trois variables, voire davantage, en même temps.seabornLa bibliothèque rend cela facile.

1. Nuage de points avec regroupement

À partir d'un nuage de points, nous pouvons utiliser la couleur ou la forme pour distinguer une troisième variable (catégorielle).

Exemple

# Dans le nuage de points age-fare, utilisez la couleur pour distinguer la survie
plt.figure(figsize=(12, 8))
sns.scatterplot(x='age', y='fare', hue='survived', style='survived', data=df, alpha=0.7)
plt.title('Age vs. Fare (coloré par la survie)')
plt.show()
  • Interprétation: Ce graphique nous permet de voir intuitivement si les distributions des survivants (orange) et des non-survivants (bleu) diffèrent dans l'espace bidimensionnel "age-fare".

2. Carte thermique de la matrice de corrélation

Lorsque nous avons plusieurs variables numériques, nous pouvons calculer les coefficients de corrélation par paires en une seule fois et les afficher avec une carte thermique.

Exemple

# Sélectionner les colonnes numériques
numeric_df = df.select_dtypes(include=['float64', 'int64'])

# Calculer la matrice des coefficients de corrélation
corr_matrix = numeric_df.corr()

# Dessiner la carte thermique
plt.figure(figsize=(12, 8))
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm', center=0, square=True)
plt.title('Carte thermique de la matrice de corrélation des variables numériques')
plt.show()

Interprétation: Les couleurs plus chaudes (rouge) indiquent une corrélation positive plus forte ; les couleurs plus froides (bleu) indiquent une corrélation négative plus forte.annot=TrueAfficher les valeurs spécifiques à l'intérieur des cellules. Par exemple,pclass(classe de cabine) etfare(tarif) ont une forte corrélation négative (-0.55), ce qui signifie que plus le numéro de classe est petit (classe plus élevée), plus le tarif est élevé, ce qui est cohérent avec notre analyse précédente.


Exercice pratique : Exploration concrète

Maintenant, essayez de réaliser les exercices suivants pour consolider ce que vous avez appris :

  1. Inspection des données: Utilisezdf.isnull().sum()pour vérifier quelles colonnes du jeu de données contiennent des valeurs manquantes et combien de valeurs sont manquantes.
  2. Tracer la distribution: Pour laagecolonne, dessinez undiagramme en violon, et regroupez parsurvived(statut de survie) en utilisantsns.violinplot(x='survived', y='age', data=df)). Observez comment les distributions d'âge des survivants et des non-survivants diffèrent.
  3. Explorer les relations: Utilisezsns.countplot(x='pclass', hue='survived', data=df)pour tracer un diagramme à barres des effectifs et comparer le nombre de survivants selon les différentes classes de cabine. Quelle conclusion pouvez-vous en tirer ?
  4. (Défi) Graphique multivarié: Essayez de tracer unematrice de nuages de points, pour visualiser en une foisage、fare、parch(nombre de parents/enfants) et les relations par paires entre ces variables numériques. Indice : vous pouvez utilisersns.pairplot(df[['age', 'fare', 'parch', 'survived']], hue='survived')。

Résumé

La visualisation de données est uneétape d’exploration indispensabledans le flux de travail d’apprentissage automatique. Dans cet article, vous avez appris :

Outils essentiels: Utilisezmatplotlibpour les tracés de base, et utilisezseabornpour tracer des graphiques statistiques plus beaux et plus informatifs.

Approche d’analyse:

  • Analyse univariée: Utilisez des histogrammes/boîtes à moustaches pour visualiser les distributions, et des diagrammes à barres pour compter les fréquences.
  • Analyse bivariée: Utilisez des nuages de points pour les relations numériques, des boîtes à moustaches groupées pour l’effet des catégories sur les valeurs numériques, et des diagrammes à barres empilées pour les combinaisons de catégories.
  • Analyse multivariée: Utilisez des nuages de points colorés et des cartes thermiques de corrélation pour révéler des motifs plus complexes.

Objectif principal: Tous les graphiques sont destinés àproposer des hypothèsesetet découvrir des éclairages, par exemple, le sexe peut être une caractéristique prédictive importante, et il y a de nombreuses valeurs aberrantes dans les données tarifaires qui doivent être traitées.

N'oubliez pas : avant d'alimenter un modèle en données, prenez le temps de les examiner attentivement. Un éclairage clair issu de la visualisation peut souvent vous orienter dans la bonne direction plus tôt que des algorithmes complexes.

Linux 命令大全Référence des commandes Linux

Autres extensions