TensorFlow-Beispiel - Textklassifikationsprojekt
Textklassifikation ist eine grundlegende Aufgabe der Verarbeitung natürlicher Sprache (NLP); sie bezeichnet die automatische Klassifizierung von Textdokumenten in eine oder mehrere vordefinierte Kategorien. In praktischen Anwendungen wird Textklassifikation häufig verwendet für:
- Spam-Erkennung
- Sentimentanalyse
- Nachrichtenklassifikation
- Klassifikation von Kundenservice-Gesprächen
- Klassifikation von Produktbewertungen
Die Implementierung der Textklassifikation mit TensorFlow umfasst normalerweise die folgenden Schritte:
- Datenvorbereitung und Vorverarbeitung
- Textvektorisierung
- Modellaufbau
- Modelltraining
- Modellbewertung
- Modellbereitstellung
Umgebungsvorbereitung
Bevor Sie mit dem Projekt beginnen, stellen Sie sicher, dass die folgenden Python-Bibliotheken installiert sind:
!pip install tensorflow !pip install numpy !pip install pandas !pip install matplotlib
Importieren Sie die erforderlichen Bibliotheken:
Beispiel
from tensorflow.keras import layers
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
TensorFlow-Version prüfen:
Beispiel
# Beispielausgabe: 2.8.0
Datensatzvorbereitung
Wir werden den IMDB-Filmrezensionsdatensatz verwenden, einen klassischen Datensatz zur binären Klassifikation mit 50,000 Filmrezensionen, die als positiv (1) oder negativ (0) gekennzeichnet sind.
Datensatz laden
Beispiel
imdb = tf.keras.datasets.imdb
# Nur die 10,000 am häufigsten vorkommenden Wörter behalten
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)
Datenexploration
Datenformat anzeigen:
Beispiel
# Ausgabe: Trainingsbeispiele: 25000, Testbeispiele: 25000
# Erste Rezension anzeigen
print(train_data[0])
# Ausgabe: [1, 14, 22, 16, 43, 530, 973, 1622, 1385, 65, ...]
Datenvorverarbeitung
Ganzzahlsequenzen in Multi-Hot-Codierung umwandeln:
Beispiel
results = np.zeros((len(sequences), dimension))
for i, sequence in enumerate(sequences):
Ergebnisse[i, Sequenz] = 1.
return results
x_train = vectorize_sequences(train_data)
x_test = vectorize_sequences(test_data)
# Labels in Fließkommazahlen umwandeln
y_train = np.asarray(train_labels).astype('float32')
y_test = np.asarray(test_labels).astype('float32')
Modell aufbauen
Modellarchitektur
Wir werden ein einfaches vollständig verbundenes neuronales Netzwerk erstellen:
Beispiel
layers.Dense(16, activation='relu', input_shape=(10000,)),
layers.Dense(16, activation='relu'),
layers.Dense(1, activation='sigmoid')
])
Modellkompilierung
Beispiel
loss='binary_crossentropy',
metrics=['accuracy'])
Parameter description:
optimizer: Optimierer, steuert den Lernprozessloss: Verlustfunktion, misst den Unterschied zwischen Modellvorhersagen und wahren Labelsmetrics: Evaluationsmetrik, überwacht Trainings- und Testschritte
Modell trainieren
Validierungsset erstellen
Beispiel
partial_x_train = x_train[10000:]
y_val = y_train[:10000]
partial_y_train = y_train[10000:]
Trainingsprozess
Beispiel
partial_y_train,
epochs=20,
batch_size=512,
validation_data=(x_val, y_val))
Trainingsergebnisse visualisieren
Beispiel
# Trainingsverlust und Validierungsverlust darstellen
plt.plot(history_dict['loss'], 'bo', label='Trainingsverlust')
plt.plot(history_dict['val_loss'], 'b', label='Validierungsverlust')
plt.title('Trainings- und Validierungsverlust')
plt.xlabel('Epochen')
plt.ylabel('Verlust')
plt.legend()
plt.show()
# Trainingsgenauigkeit und Validierungsgenauigkeit darstellen
plt.plot(history_dict['accuracy'], 'bo', label='Trainingsgenauigkeit')
plt.plot(history_dict['val_accuracy'], 'b', label='Validierungsgenauigkeit')
plt.title('Trainings- und Validierungsgenauigkeit')
plt.xlabel('Epochen')
plt.ylabel('Genauigkeit')
plt.legend()
plt.show()
Modellbewertung und Vorhersage
Leistung des Testsets bewerten
Beispiel
print(results)
# Beispielausgabe: [0.3245, 0.8732] stellt Verlust und Genauigkeit dar
Vorhersagen treffen
Beispiel
print(predictions[0]) # Vorhersagewahrscheinlichkeit der ersten Teststichprobe
Vorschläge zur Modelloptimierung
Netzwerkarchitektur anpassen:
- Anzahl der verborgenen Schichten erhöhen oder verringern
- Verschiedene Anzahlen von Neuronen ausprobieren
- Verschiedene Aktivierungsfunktionen verwenden
Regularisierungstechniken:
- Dropout-Schichten hinzufügen, um Overfitting zu verhindern
- L1/L2-Regularisierung verwenden
Auswahl des Optimierers:
- Probieren Sie andere Optimierer wie Adam, SGD usw. aus.
- Lernrate anpassen
Verbesserungen der Textvorverarbeitung:
- Wort-Embeddings statt Multi-Hot-Encoding verwenden
- Vortrainierte Wortvektoren (wie Word2Vec, GloVe) ausprobieren
Vollständiges Codebeispiel
Beispiel
from tensorflow.keras import layers
import numpy as np
import matplotlib.pyplot as plt
# Daten laden
imdb = tf.keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)
# Datenvorverarbeitung
def vectorize_sequences(sequences, dimension=10000):
results = np.zeros((len(sequences), dimension))
for i, sequence in enumerate(sequences):
Ergebnisse[i, Sequenz] = 1.
return results
x_train = vectorize_sequences(train_data)
x_test = vectorize_sequences(test_data)
y_train = np.asarray(train_labels).astype('float32')
y_test = np.asarray(test_labels).astype('float32')
# Modell erstellen
model = tf.keras.Sequential([
layers.Dense(16, activation='relu', input_shape=(10000,)),
layers.Dense(16, activation='relu'),
layers.Dense(1, activation='sigmoid')
])
# Modell kompilieren
model.compile(optimizer='rmsprop',
loss='binary_crossentropy',
metrics=['accuracy'])
# Modell trainieren
history = model.fit(x_train, y_train,
epochs=4,
batch_size=512,
validation_data=(x_test, y_test))
# Modell evaluieren
results = model.evaluate(x_test, y_test)
print("Testverlust und Genauigkeit:", results)
# Vorhersagen erstellen
predictions = model.predict(x_test)
print("Vorhersagewahrscheinlichkeit der ersten Rezension:", predictions[0])