Datenverständnis
Bevor wir ein beliebiges Machine-Learning-Projekt beginnen, wie z. B. die Vorhersage von Hauspreisen, das Erkennen von Katzen und Hunden in Bildern oder das Empfehlen von Filmen, die Ihnen gefallen könnten, müssen wir uns zunächst einem der grundlegendsten und kritischsten Schritte stellen:Datenverständnis。
Wir können uns Datenverständnis als den Prozess vorstellen, bei dem ein Detektiv sorgfältig alle Hinweise und Akten prüft, bevor er einen Fall untersucht. Wenn wir den Kontext, die Authentizität und die Bedeutung der Hinweise (Daten) nicht verstehen, könnte jede nachfolgende Schlussfolgerung (Modellierung) auf einer falschen Grundlage aufbauen.
Datenverständnis ist der Grundstein des gesamten Machine-Learning-Prozesses. Es bestimmt, wie wir später die Daten bereinigen, Modelle auswählen, und beeinflusst letztlich den Erfolg oder Misserfolg des Modells.
Was ist Datenverständnis?
Datenverständnis bedeutet, wie der Name schon sagt, ein eingehendes Verständnis des Datensatzes in Ihren Händen zu erlangen. Sein Kernziel ist es, die folgenden Fragen zu beantworten:
- Welche Daten habe ich?(Struktur und Typen der Daten)
- Wie ist die Datenqualität?(Sind die Daten sauber, vollständig und zuverlässig?)
- Was sagen die Daten aus?(Welche Muster, Beziehungen und Verteilungen sind in den Daten verborgen?)
Dieser Prozess umfasst keinen komplexen Code und keine komplexen Algorithmen; es geht vielmehr darum, durch Beobachtung, Statistik und Visualisierung ein Verständnis für die Daten zu gewinnen.
Zentrale Schritte und Werkzeuge für das Datenverständnis
Wir werden die beliebteste Datenanalysebibliothek in PythonPandasund die VisualisierungsbibliothekMatplotlib/Seabornzur Demonstration verwenden.
Installieren Sie bitte vor dem Start die folgenden Abhängigkeitsbibliotheken:
pip install pandas matplotlib seaborn
Beschreibung der drei wichtigsten Datenanalysebibliotheken von Python:
- pandas
Kernbibliothek für die Datenverarbeitung, spezialisiert auf das Lesen/Schreiben, Bereinigen, Filtern und statistische Berechnungen von Tabellendaten; unterstützt das Lesen von Excel/CSV und stellt die DataFrame-Tabellenstruktur bereit. - matplotlib
Grundlegende Plot-Bibliothek auf niedriger Ebene, die Grundlage der Python-Visualisierung; kann verschiedene grundlegende Diagramme wie Linien-, Balken- und Streudiagramme zeichnen, mit hoher Flexibilität, aber etwas ausführlichem Code. - seaborn
Eine High-Level-Plot-Bibliothek basierend auf matplotlib, konzipiert für statistische Diagramme; bietet ansprechende Farbschemata und kann Verteilungsdiagramme, Heatmaps und Boxplots mit einer Codezeile zeichnen.
Schritt 1: Erste Begegnung - Laden und Überblick
Zuerst müssen wir die Daten in das Programm laden und uns schnell einen Überblick über ihr Gesamtbild verschaffen.
Laden Sie zunächst die Testdaten herunter und legen Sie sie im selben Verzeichnis wie den Python-Testcode ab:
Download-URL für Testdaten:https://raw.githubusercontent.com/uiuc-cse/data-fa14/gh-pages/data/iris.csv
Wenn der Netzwerk-Download von githubusercontent fehlschlägt, können Sie direkt auf den Link klicken, um herunterzuladen:/static.jyshare.com/download/iris.csv。
Beispiel
import matplotlib.pyplot as plt
import seaborn as sns
# 1. Daten laden (hier wird der klassische Iris-Datensatz als Beispiel verwendet; Sie können auch Ihre eigene CSV-Datei laden)
# Aus lokaler Datei laden
df = pd.read_csv('iris.csv')
# Aus dem Netzwerk laden
# url = "https://raw.githubusercontent.com/uiuc-cse/data-fa14/gh-pages/data/iris.csv"
# df = pd.read_csv(url)
# 2. Die ersten paar Zeilen der Daten anzeigen - erster Eindruck
print("Die ersten 5 Zeilen der Daten:")
print(df.head())
print("\n" + "="*50 + "\n")
# 3. Gesamtinformationen der Daten anzeigen: Anzahl der Zeilen, Anzahl der Spalten, Datentypen, Speicherverbrauch
print("Grundlegende Informationen zum Datensatz:")
print(df.info())
print("\n" + "="*50 + "\n")
# 4. Die Form der Daten anzeigen (wie viele Zeilen, wie viele Spalten)
print(f"Datensatzform: {df.shape}) # (Zeilen, Spalten)
print(f"Es gibt {df.shape)
Code-Erklärung:
df.head(): Wie das Durchblättern des Inhaltsverzeichnisses eines Buches: Sehen Sie sich schnell die ersten paar Zeilen der Daten an, um zu verstehen, wie die Daten aussehen.df.info(): Dies ist der "Untersuchungsbericht" der Daten. Er wird Ihnen sagen:- Der Name jeder Spalte (
Column) - Die Anzahl der Nicht-Null-Werte (
Non-Null Count), sodass du sofort erkennen kannst, ob fehlende Werte vorhanden sind - Datentypen (
Dtype), wie zum Beispielint64(integer),float64(float),object(Text- oder gemischter Typ)
- Der Name jeder Spalte (
df.shape: Direkt die Dimensionen der Datentabelle abrufen.
Nach dem Ausführen des obigen Codes sieht die Ausgabe ähnlich wie folgt aus:
数据的前5行: sepal_length sepal_width petal_length petal_width species 0 5.1 3.5 1.4 0.2 setosa 1 4.9 3.0 1.4 0.2 setosa 2 4.7 3.2 1.3 0.2 setosa 3 4.6 3.1 1.5 0.2 setosa 4 5.0 3.6 1.4 0.2 setosa ================================================== 数据集的基本信息: <class 'pandas.DataFrame'>
Schritt 2: Qualitätsprüfung - Erkennen fehlender Werte und Anomalien
Daten sind selten perfekt. Häufige "Datenkrankheiten" umfassenfehlende Werte(einige Positionen sind leer) undAusreißer(einige Zahlen sind ungewöhnlich groß oder ungewöhnlich klein).
Beispiel
print("Anzahl fehlender Werte pro Merkmal:")
print(df.isnull().sum())
print("\n" + "="*50 + "\n")
# Wenn viele fehlende Werte vorhanden sind, können Sie den Anteil fehlender Werte berechnen
missing_ratio = df.isnull().sum() / len(df) * 100
print("Anteil fehlender Werte pro Merkmal (%):")
print(missing_ratio)
print("\n" + "="*50 + "\n")
# 2. Prüfen Sie die statistische Zusammenfassung numerischer Merkmale - kann Hinweise auf Ausreißer liefern
print("Statistische Beschreibung numerischer Merkmale:")
print(df.describe())
Code-Erklärung:
df.isnull().sum(): Berechnen Sie die Gesamtzahl der Nullwerte (NaN) in jeder Spalte.df.describe(): Erzeugen Sie eine statistische Zusammenfassung numerischer Spalten, einschließlich:count: count (kann zur Überprüfung fehlender Werte verwendet werden)mean: meanstd: Standardabweichung (wie stark die Daten schwanken)min: Minimalwert25%,50%(Median),75%: Quartilemax: Maximalwert- Durch Beobachtung
minundmax, können Sie vorläufig beurteilen, ob Ausreißer vorhanden sind(zum Beispiel eine Altersspalte, die einen Wert von 200 Jahren enthält).
Schritt 3: Detaillierte Erkenntnisse - Verteilungen und Zusammenhänge visualisieren
Text und Zahlen sind abstrakt, während Diagramme uns die Daten intuitiv "sehen" lassen. Dies ist der interessanteste Teil des Datenverständnisses.
Beispiel
sns.set(style="whitegrid")
# 1. Univariate Verteilung - die Verteilung jedes Merkmals selbst verstehen
fig, axes = plt.subplots(2, 2, figsize=(12, 8)) # 2x2-Leinwand erstellen
features = ['sepal_length', 'sepal_width', 'petal_length', 'petal_width']
colors = ['skyblue', 'lightgreen', 'salmon', 'gold']
for i, (ax, feature, color) in enumerate(zip(axes.flat, features, colors)):
# Histogramm (Verteilung) und Kernel-Dichteschätzungskurve zeichnen
sns.histplot(df[feature], kde=True, ax=ax, color=color, bins=20)
ax.set_title(f'Verteilung von {feature}', fontsize=14)
ax.set_xlabel(feature)
ax.set_ylabel('Häufigkeit')
plt.tight_layout()
plt.show()
# 2. Boxplot - Datenverteilung und Ausreißer anzeigen (intuitiver)
plt.figure(figsize=(10, 6))
# Numerische Spalten auswählen, um Boxplot zu zeichnen
df_box = df.drop(columns=['species']) # Angenommen, 'species' ist eine Textlabel-Spalte, zuerst entfernen
sns.boxplot(data=df_box)
plt.title('Boxplot für jedes numerische Merkmal (Verteilung und Ausreißer anzeigen)', fontsize=14)
plt.xticks(rotation=45)
plt.show()
# 3. Beziehungen zwischen Variablen - Streudiagrammmatrix
print("\nZeichne Streudiagrammmatrix der Merkmalsbeziehungen... (Dies kann uns helfen, Assoziationen zwischen Merkmalen zu entdecken.)")
# Seaborns pairplot verwenden, der hue-Parameter kann nach Kategorie einfärben (z. B. Iris-Arten)
sns.pairplot(df, hue='species', height=2.5)
plt.suptitle('Streudiagrammmatrix der Merkmalsbeziehungen (nach Art eingefärbt)', y=1.02, fontsize=16)
plt.show()
# 4. Korrelations-Heatmap - lineare Beziehungen zwischen Merkmalen quantifizieren
plt.figure(figsize=(8, 6))
# Korrelationskoeffizient zwischen numerischen Merkmalen berechnen
numeric_df = df.select_dtypes(include=['float64', 'int64'])
correlation_matrix = numeric_df.corr()
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm', center=0, square=True)
plt.title('Feature-Korrelations-Heatmap', fontsize=14)
plt.show()
Diagramm-Erklärung:
- Histogramm: Zeigt, wie die Werte eines Merkmals (z. B. Blütenblattlänge) verteilt sind. Sind sie in einem bestimmten Intervall konzentriert oder verstreut?
- Boxplot:
- Die Linie in der Mitte der Box repräsentiert denMedian。
- Die oberen und unteren Grenzen der Box repräsentieren die25. (Q1) und 75. (Q3) Perzentile。
- Die nach oben und unten verlaufenden "Whisker" stellen typischerweise den plausiblen Bereich dar (Q1 - 1.5 IQR bis Q3 + 1.5 IQR).
- Einzelne Punktesind wahrscheinlichAusreißer!
- Streudiagramm-Matrix: Betrachten Sie die Beziehung zwischen zwei beliebigen Merkmalen gleichzeitig. Wenn die Punkte eine bandartige Verteilung bilden, könnten sie korreliert sein.
- Korrelations-Heatmap: Stellt den Grad der linearen Korrelation zwischen zwei Merkmalen mithilfe von Farben und Zahlen (-1 bis 1) präzise dar.
- 1: Perfekte positive Korrelation (wenn eine zunimmt, nimmt die andere ebenfalls zu)
- -1: Perfekte negative Korrelation (eine nimmt zu, die andere nimmt ab)
- 0: Keine lineare Beziehung
Ausgabe des Datenverständnisses: Ein Datenuntersuchungsbericht
Nach Abschluss der oben genannten Schritte sollten Sie in der Lage sein, einen klaren Bericht über den aktuellen Datensatz zusammenzufassen, zum Beispiel:
Andere ErweiterungenUntersuchungsbericht zum Iris-Datensatz
Datenüberblick: Insgesamt 150 Proben, 5 Merkmale (4 numerische Merkmale: Kelch-/Blütenblattlänge und -breite; 1 Kategorielabel: Art).
Datenqualität: Keine fehlenden Werte; alle numerischen Merkmale liegen in vernünftigen biologischen Bereichen; keine offensichtlichen Ausreißer gefunden.
Datenerkenntnisse:
- Blütenblattlänge (
petal_length) und Blütenblattbreite (petal_width) weisen eine extrem hohe Korrelation auf (>0.96), was auf Informationsredundanz hindeuten kann.- Verschiedene Iris-Arten lassen sich anhand der Blütenblattgröße klar unterscheiden, und das Streudiagramm zeigt eine klare Clusterbildung.
- Kelchblattbreite (
sepal_width) Verteilung ist annähernd normal.