TensorFlow-Beispiel - Textklassifikationsprojekt

Textklassifikation ist eine grundlegende Aufgabe der Verarbeitung natürlicher Sprache (NLP); sie bezeichnet die automatische Klassifizierung von Textdokumenten in eine oder mehrere vordefinierte Kategorien. In praktischen Anwendungen wird Textklassifikation häufig verwendet für:

  • Spam-Erkennung
  • Sentimentanalyse
  • Nachrichtenklassifikation
  • Klassifikation von Kundenservice-Gesprächen
  • Klassifikation von Produktbewertungen

Die Implementierung der Textklassifikation mit TensorFlow umfasst normalerweise die folgenden Schritte:

  1. Datenvorbereitung und Vorverarbeitung
  2. Textvektorisierung
  3. Modellaufbau
  4. Modelltraining
  5. Modellbewertung
  6. Modellbereitstellung

Umgebungsvorbereitung

Bevor Sie mit dem Projekt beginnen, stellen Sie sicher, dass die folgenden Python-Bibliotheken installiert sind:

!pip install tensorflow
!pip install numpy
!pip install pandas
!pip install matplotlib

Importieren Sie die erforderlichen Bibliotheken:

Beispiel

import tensorflow as tf
from tensorflow.keras import layers
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

TensorFlow-Version prüfen:

Beispiel

print(tf.__version__)
# Beispielausgabe: 2.8.0

Datensatzvorbereitung

Wir werden den IMDB-Filmrezensionsdatensatz verwenden, einen klassischen Datensatz zur binären Klassifikation mit 50,000 Filmrezensionen, die als positiv (1) oder negativ (0) gekennzeichnet sind.

Datensatz laden

Beispiel

# IMDB-Daten aus TensorFlow-Datasets laden
imdb = tf.keras.datasets.imdb

# Nur die 10,000 am häufigsten vorkommenden Wörter behalten
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

Datenexploration

Datenformat anzeigen:

Beispiel

print("Trainingsbeispiele: {}, Testbeispiele: {}".format(len(train_data), len(test_data)))
# Ausgabe: Trainingsbeispiele: 25000, Testbeispiele: 25000

# Erste Rezension anzeigen
print(train_data[0])
# Ausgabe: [1, 14, 22, 16, 43, 530, 973, 1622, 1385, 65, ...]

Datenvorverarbeitung

Ganzzahlsequenzen in Multi-Hot-Codierung umwandeln:

Beispiel

def vectorize_sequences(sequences, dimension=10000):
    results = np.zeros((len(sequences), dimension))
    for i, sequence in enumerate(sequences):
        Ergebnisse[i, Sequenz] = 1.
    return results

x_train = vectorize_sequences(train_data)
x_test = vectorize_sequences(test_data)

# Labels in Fließkommazahlen umwandeln
y_train = np.asarray(train_labels).astype('float32')
y_test = np.asarray(test_labels).astype('float32')

Modell aufbauen

Modellarchitektur

Wir werden ein einfaches vollständig verbundenes neuronales Netzwerk erstellen:

Beispiel

model = tf.keras.Sequential([
    layers.Dense(16, activation='relu', input_shape=(10000,)),
    layers.Dense(16, activation='relu'),
    layers.Dense(1, activation='sigmoid')
])

Modellkompilierung

Beispiel

model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy'])

Parameter description:

  • optimizer: Optimierer, steuert den Lernprozess
  • loss: Verlustfunktion, misst den Unterschied zwischen Modellvorhersagen und wahren Labels
  • metrics: Evaluationsmetrik, überwacht Trainings- und Testschritte

Modell trainieren

Validierungsset erstellen

Beispiel

x_val = x_train[:10000]
partial_x_train = x_train[10000:]
y_val = y_train[:10000]
partial_y_train = y_train[10000:]

Trainingsprozess

Beispiel

history = model.fit(partial_x_train,
                    partial_y_train,
                    epochs=20,
                    batch_size=512,
                    validation_data=(x_val, y_val))

Trainingsergebnisse visualisieren

Beispiel

history_dict = history.history

# Trainingsverlust und Validierungsverlust darstellen
plt.plot(history_dict['loss'], 'bo', label='Trainingsverlust')
plt.plot(history_dict['val_loss'], 'b', label='Validierungsverlust')
plt.title('Trainings- und Validierungsverlust')
plt.xlabel('Epochen')
plt.ylabel('Verlust')
plt.legend()
plt.show()

# Trainingsgenauigkeit und Validierungsgenauigkeit darstellen
plt.plot(history_dict['accuracy'], 'bo', label='Trainingsgenauigkeit')
plt.plot(history_dict['val_accuracy'], 'b', label='Validierungsgenauigkeit')
plt.title('Trainings- und Validierungsgenauigkeit')
plt.xlabel('Epochen')
plt.ylabel('Genauigkeit')
plt.legend()
plt.show()

Modellbewertung und Vorhersage

Leistung des Testsets bewerten

Beispiel

results = model.evaluate(x_test, y_test)
print(results)
# Beispielausgabe: [0.3245, 0.8732] stellt Verlust und Genauigkeit dar

Vorhersagen treffen

Beispiel

predictions = model.predict(x_test)
print(predictions[0])  # Vorhersagewahrscheinlichkeit der ersten Teststichprobe

Vorschläge zur Modelloptimierung

  1. Netzwerkarchitektur anpassen:

    • Anzahl der verborgenen Schichten erhöhen oder verringern
    • Verschiedene Anzahlen von Neuronen ausprobieren
    • Verschiedene Aktivierungsfunktionen verwenden
  2. Regularisierungstechniken:

    • Dropout-Schichten hinzufügen, um Overfitting zu verhindern
    • L1/L2-Regularisierung verwenden
  3. Auswahl des Optimierers:

    • Probieren Sie andere Optimierer wie Adam, SGD usw. aus.
    • Lernrate anpassen
  4. Verbesserungen der Textvorverarbeitung:

    • Wort-Embeddings statt Multi-Hot-Encoding verwenden
    • Vortrainierte Wortvektoren (wie Word2Vec, GloVe) ausprobieren

Vollständiges Codebeispiel

Beispiel

import tensorflow as tf
from tensorflow.keras import layers
import numpy as np
import matplotlib.pyplot as plt

# Daten laden
imdb = tf.keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

# Datenvorverarbeitung
def vectorize_sequences(sequences, dimension=10000):
    results = np.zeros((len(sequences), dimension))
    for i, sequence in enumerate(sequences):
        Ergebnisse[i, Sequenz] = 1.
    return results

x_train = vectorize_sequences(train_data)
x_test = vectorize_sequences(test_data)
y_train = np.asarray(train_labels).astype('float32')
y_test = np.asarray(test_labels).astype('float32')

# Modell erstellen
model = tf.keras.Sequential([
    layers.Dense(16, activation='relu', input_shape=(10000,)),
    layers.Dense(16, activation='relu'),
    layers.Dense(1, activation='sigmoid')
])

# Modell kompilieren
model.compile(optimizer='rmsprop',
              loss='binary_crossentropy',
              metrics=['accuracy'])

# Modell trainieren
history = model.fit(x_train, y_train,
                   epochs=4,
                   batch_size=512,
                   validation_data=(x_test, y_test))

# Modell evaluieren
results = model.evaluate(x_test, y_test)
print("Testverlust und Genauigkeit:", results)

# Vorhersagen erstellen
predictions = model.predict(x_test)
print("Vorhersagewahrscheinlichkeit der ersten Rezension:", predictions[0])
Andere Erweiterungen