Pandas Umgang mit fehlenden Werten
Reale Daten enthalten oft fehlende Werte (NaN). Pandas bietet umfangreiche Funktionen zur Behandlung fehlender Daten. Dieser Abschnitt beschreibt detailliert die Verwendung von fillna, dropna, interpolate und anderen Methoden.
Darstellung fehlender Werte
In Pandas,NaN(Not a Number) repräsentiert fehlende Werte, was aus der NumPy-Bibliothek stammt.
Beispiel
import numpy as np
# Daten mit fehlenden Werten erstellen
s = pd.Series([1, 2, np.nan, 4, 5])
print("Series mit NaN:")
print(s)
print(f"Enthält fehlende Werte: {s.isna().any()}")
print()
# Fehlende Werte in DataFrame
df = pd.DataFrame({
"A": [1, 2, np.nan, 4],
"B": [np.nan, 2, 3, 4],
"C": [1, 2, 3, np.nan]
})
print("DataFrame mit fehlenden Werten:")
print(df)
print()
# Fehlende Werte erkennen
print("Positionen fehlender Werte:")
print(df.isna())
print()
# Fehlende Werte pro Spalte zählen
print("Anzahl fehlender Werte pro Spalte:")
print(df.isna().sum())
In Pandas,
NaN、None、pandas.NAwerden alle als fehlende Werte erkannt. Mitisna()oderisnull()kann diese fehlenden Werte einheitlich erkennen.
dropna: Fehlende Werte löschen
Zeilen löschen
Beispiel
import numpy as np
df = pd.DataFrame({
"A": [1, 2, np.nan, 4],
"B": [1, np.nan, 3, 4],
"C": [1, 2, 3, np.nan]
})
print("Originaldaten:")
print(df)
print()
# Zeilen mit fehlenden Werten löschen (Standard)
print("Zeilen mit fehlenden Werten löschen:")
print(df.dropna())
print()
# how='all': Nur löschen, wenn alle Werte fehlen
print("Nur Zeilen, in denen alle Werte fehlen, werden gelöscht:")
print(df.dropna(how="all"))
print()
# thresh: Mindestens N nicht fehlende Werte behalten
print("Zeilen mit mindestens 2 nicht fehlenden Werten behalten:")
print(df.dropna(thresh=2))
Spalten löschen
Beispiel
import numpy as np
df = pd.DataFrame({
"A": [1, 2, np.nan, 4],
"B": [np.nan, np.nan, np.nan, np.nan], # Alle fehlend
"C": [1, 2, 3, 4]
})
print("Originaldaten:")
print(df)
print()
# Spalten löschen, die fehlende Werte enthalten
print("Spalten mit fehlenden Werten löschen:")
print(df.dropna(axis=1))
print()
# how='all': Spalten löschen, die ausschließlich fehlende Werte enthalten
print("Spalten löschen, die ausschließlich fehlende Werte enthalten:")
print(df.dropna(axis=1, how="all"))
fillna: Fehlende Werte füllen
Auffüllen mit festem Wert
Beispiel
import numpy as np
df = pd.DataFrame({
"A": [1, 2, np.nan, 4, 5],
"B": [np.nan, 2, 3, np.nan, 5],
"C": [1, 2, 3, 4, np.nan]
})
print("Originaldaten:")
print(df)
print()
# Mit 0 auffüllen
print("Mit 0 auffüllen:")
print(df.fillna(0))
print()
# Verschiedene Spalten mit angegebenen Werten auffüllen
print("Unterschiedliche Spalten mit unterschiedlichen Werten gefüllt:")
print(df.fillna({"A": 0, "B": 99, "C": -1}))
print()
# Mit vorherigem Wert auffüllen (Vorwärtsauffüllung)
print("Vorwärtsauffüllung:")
print(df.fillna(method="ffill"))
print()
# Mit nächstem Wert auffüllen (Rückwärtsauffüllung)
print("Rückwärtsauffüllung:")
print(df.fillna(method="bfill"))
Füllen mit statistischen Werten
Beispiel
import numpy as np
df = pd.DataFrame({
"A": [1, 2, np.nan, 4, 5, 6],
"B": [10, np.nan, 30, np.nan, 50, 60]
})
print("Originaldaten:")
print(df)
print()
# Mit Mittelwert füllen
print("Mit Mittelwert füllen:")
print(df.fillna(df.mean()))
print()
# Mit Median füllen
print("Mit Median füllen:")
print(df.fillna(df.median()))
print()
# Spaltenweise füllen
print("Spalte A verwendet den Mittelwert, Spalte B verwendet 0:")
print(df.fillna({"A": df["A"].mean(), "B": 0}))
Vorwärtsfüllung und Rückwärtsfüllung sind besonders nützlich bei Zeitreihendaten und können die Datenkontinuität erhalten. Welche Methode gewählt wird, hängt von der fachlichen Bedeutung der Daten ab.
interpolate: Interpolationsfüllung
Die Interpolation ist eine intelligentere Füllmethode, die fehlende Werte aus benachbarten Daten ableiten kann.
Lineare Interpolation
Beispiel
import numpy as np
s = pd.Series([1, 2, np.nan, 4, 5, np.nan, 7])
print("Originalreihe:")
print(s)
print()
# Lineare Interpolation (Standard)
print("Lineare Interpolation:")
print(s.interpolate())
print()
# Interpolationsmethode angeben
print("zeitgewichtete Interpolation (Zeitreihe):")
s2 = pd.Series([1, np.nan, np.nan, 4], index=pd.date_range("2024-01-01", periods=4, freq="D"))
print(s2.interpolate(method="time"))
print()
# Mit nächstgelegenem Wert füllen
print("Mit nächstgelegenem Wert füllen:")
print(s.interpolate(method="nearest"))
DataFrame-Interpolation
Beispiel
import numpy as np
df = pd.DataFrame({
"A": [1, 2, np.nan, 4, 5],
"B": [10, np.nan, 30, 40, np.nan]
})
print("Originaldaten:")
print(df)
print()
# Auf dem ursprünglichen DataFrame interpolieren
df_interpolated = df.interpolate(method="linear")
print("Nach linearer Interpolation:")
print(df_interpolated)
print()
# Interpolationsbereich begrenzen
print("Nur den ersten und letzten von aufeinanderfolgenden fehlenden Werten ausfüllen (max. 1):")
print(df.interpolate(limit=1))
Praxis: Umgang mit realen Daten
Beispiel
import numpy as np
# Reale Geschäftsdaten simulieren
np.random.seed(42)
n = 20
df = pd.DataFrame({
"Date": pd.date_range("2024-01-01", periods=n),
"Verkaufsbetrag": np.random.choice([100, 200, np.nan, 300, np.nan], n),
"Kundenanzahl": np.random.choice([10, np.nan, 20, 30], n),
"Konversionsrate": np.random.choice([0.05, 0.1, np.nan, 0.15], n)
})
print("Fehlende Daten in Originaldaten:")
print(df.isna().sum())
print()
# Umgangsstrategie:
# 1. Umsatzbetrag mit dem Mittelwert der vorherigen und nachfolgenden Werte füllen (fachlich sind Schwankungen zulässig)
df["Umsatzbetrag"] = df["Umsatzbetrag"].interpolate()
# 2. Kundenanzahl mit Mittelwert füllen
df["Kundenanzahl"] = df["Kundenanzahl"].fillna(df["Kundenanzahl"].mean())
# 3. Konversionsrate mit 0 füllen (bedeutet keine Konversion)
df["Konversionsrate"] = df["Konversionsrate"].fillna(0)
print("Verarbeitete Daten:")
print(df)
print()
print("Fehlende Daten nach der Verarbeitung:")
print(df.isna().sum())
Häufige Fragen
1. Erstellt fillna ein neues Objekt oder verändert es an Ort und Stelle?
fillnaStandardmäßig wird ein neues Objekt zurückgegeben. Verwenden Sieinplace=Truekann an Ort und Stelle ändern.
2. Weiterhin fehlende Werte nach der Interpolation
Wenn fehlende Werte am Anfang oder Ende der Sequenz liegen, kann die Interpolation sie nicht füllen, und eine zusätzliche Behandlung ist erforderlich.
3. Zwischen NaN und leeren Zeichenketten unterscheiden
Leere Zeichenfolge""ist kein fehlender Wert, müssen Sie verwendenreplace("", np.nan)um zu konvertieren.
Weitere ErweiterungenBerücksichtigen Sie bei der Wahl einer Füllmethode die fachliche Bedeutung: Vorwärtsfüllen eignet sich für Zeitreihen, Rückwärtsfüllen für statische Daten, der Mittelwert für numerische Daten und die Interpolation für kontinuierliche Daten.