Textvorverarbeitung

Die Textvorverarbeitung ist ein grundlegender und kritischer Schritt im Natural Language Processing (NLP), da sie rohe unstrukturierte Textdaten in ein Format umwandelt, das für die Verarbeitung durch Machine-Learning-Modelle geeignet ist.

Dieser Artikel führt systematisch in die drei Kernschritte der Textvorverarbeitung ein: Textbereinigung, Tokenisierung und Part-of-Speech-Tagging.


Textbereinigung: Reinigung roher Textdaten

Die Textbereinigung ist der erste Schritt der Vorverarbeitung und zielt darauf ab, Rauschdaten aus dem Text zu entfernen und die Genauigkeit der nachfolgenden Verarbeitung zu verbessern.

Umgang mit Kodierungsformaten

Texte aus verschiedenen Quellen können unterschiedliche Kodierungsformate verwenden (wie UTF-8, GBK, ASCII usw.), daher hat die Vereinheitlichung der Kodierung höchste Priorität:

Beispiel

# Beispiel für Kodierungskonvertierung
text = "example text".encode('gbk')  # Angenommen, die ursprüngliche Kodierung ist GBK
text = text.decode('gbk').encode('utf-8')  # In UTF-8 konvertieren

Gängige Lösungen für Kodierungsprobleme:

  • Verwenden SiechardetBibliothek zur automatischen Erkennung der Kodierung
  • Einheitlich in UTF-8-Kodierung umwandeln
  • Nicht dekodierbare Zeichen behandeln (normalerweise ersetzen oder ignorieren)

Umgang mit Sonderzeichen

Verschiedene Arten von Sonderzeichen müssen in unterschiedlichen Szenarien unterschiedlich behandelt werden:

Zeichentyp Behandlungsmethode Anwendungsszenario
HTML-Tags Mit regulären Ausdrücken entfernen Durch Web-Scraping extrahierter Text
Emojis Entfernen oder in Textbeschreibungen umwandeln Social-Media-Analyse
Steuerzeichen Herausfiltern Gesamte Textverarbeitung
Spezielle Interpunktion Standardisieren Textnormalisierung

Beispiel

import re

# Beispiel für das Entfernen von HTML-Tags
text = "<p>This is an <b>HTML</b> text</p>"
clean_text = re.sub(r'<[^>]+>', '', text)
print(clean_text)  # Ausgabe: This is an HTML text

Entfernung von Rauschdaten

Je nach den spezifischen Aufgabenanforderungen kann es erforderlich sein:

  1. Irrelevante Informationen entfernen (Werbung, Urheberrechtshinweise usw.)
  2. Rechtschreibfehler behandeln (Bibliotheken zur Rechtschreibprüfung verwenden)
  3. Numerische Darstellungen standardisieren (z. B. "1000" als "1,000" vereinheitlichen)
  4. Datumsformate vereinheitlichen ("2023-01-01" vs. "01/01/2023")

Tokenisierung: Text in grundlegende Einheiten zerlegen

Tokenisierung ist der Prozess, fortlaufenden Text in bedeutungstragende sprachliche Einheiten (Token) zu zerlegen. Verschiedene Sprachen erfordern unterschiedliche Tokenisierungsmethoden.

Englische Tokenisierungsmethoden

Die englische Tokenisierung ist relativ einfach und basiert hauptsächlich auf der Aufteilung durch Leerzeichen und Satzzeichen:

Beispiel

# Englischen Text mit NLTK tokenisieren
from nltk.tokenize import word_tokenize

text = "Natural Language Processing is fascinating!"
tokens = word_tokenize(text)
print(tokens)  # ['Natural', 'Language', 'Processing', 'is', 'fascinating', '!']

Hinweise zur englischen Tokenisierung:

  • Kontraktionen behandeln (z. B. "I'm" → "I" + "'m")
  • Bestimmte Phrasen beibehalten oder zusammenführen (z. B. "New York" als ein Token)
  • Bindestriche behandeln ("state-of-the-art")

Techniken der chinesischen Wortsegmentierung

Chinesisch hat keine offensichtlichen Wortgrenzen, wodurch die Wortsegmentierung komplexer wird. Die wichtigsten Methoden umfassen:

  1. Wörterbuchbasierte Wortsegmentierung: Maximum-Matching- und Shortest-Path-Methoden
  2. Statistische Wortsegmentierung: Sequenzmarkierungsverfahren wie HMM und CRF
  3. Deep-Learning-basierte Wortsegmentierung: Modelle wie BiLSTM-CRF und BERT

Beispiel

# Verwende jieba für die chinesische Wortsegmentierung
import jieba

text = Die Verarbeitung natürlicher Sprache ist sehr interessant.
tokens = jieba.lcut(text)
print(tokens)  # ['natural language', 'processing', 'very', 'interesting']

Subwort-Tokenisierung

Um die Probleme seltener Wörter und der Vokabular-Explosion zu lösen, gibt es folgende gängige Methoden:

  • **Byte Pair Encoding (BPE)**: erzeugt Teilwörter durch Zusammenführen hochfrequenter Zeichenpaare
  • WordPiece: ähnlich wie BPE, aber führt Zusammenführungen auf Basis der Wahrscheinlichkeit durch
  • Unigram Language Model: startet mit einem großen Vokabular und entfernt schrittweise Teilwörter mit geringer Wahrscheinlichkeit

Beispiel

# Beispiel für die Verwendung des HuggingFace-Tokenizers
from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
tokens = tokenizer.tokenize("Natural language processing")
print(tokens)  # ['自', '然', '语', '言', '处', '理']

Vergleich gängiger Tokenisierungs-Tools

Tool-Name Unterstützte Sprachen Funktionen Geeignete Szenarien
NLTK Hauptsächlich Englisch Umfangreiche Funktionen, mittlere Geschwindigkeit Lehre, Forschung
spaCy Mehrsprachig Industrietauglich, schnell Produktionsumgebung
jieba Chinesisch Einfach und benutzerfreundlich, erweiterbare Wörterbücher Chinesische Textverarbeitung
Stanford CoreNLP Mehrsprachig Hohe Genauigkeit, ressourcenintensiv Akademische Forschung
HuggingFace Tokenizers Mehrsprachig Unterstützt Subword-Tokenisierung Deep Learning

Part-of-Speech-Tagging: Die grammatische Rolle von Wörtern verstehen

Part-of-Speech-Tagging ist der Prozess, jedem Wort im Tokenisierungsergebnis eine Wortartkategorie zuzuweisen.

Konzept des Part-of-Speech-Taggings

Part-of-Speech-Tagging hilft dabei:

  • Satzstruktur verstehen
  • Mehrdeutigkeit von Wortbedeutungen auflösen
  • Fortgeschrittenere NLP-Aufgaben unterstützen (wie syntaktisches Parsing)

Gängige Part-of-Speech-Tag-Sets

Verschiedene Sprachen und Tools verwenden unterschiedliche Part-of-Speech-Tagging-Systeme:

Häufig verwendetes Penn-Treebank-Tag-Set für Englisch (Auszug):

  • NN: Substantiv
  • VB: Verb
  • JJ: Adjektiv
  • RB: Adverb
  • PRP: Pronomen

Häufig verwendetes ICTCLAS-Tagset für Chinesisch (teilweise):

  • n: Substantiv
  • v: Verb
  • a: Adjektiv
  • d: Adverb
  • r: Pronomen

Automatische Methoden zum Wortarten-Tagging

  1. Regelbasierte Methoden: Tagging mit manuell geschriebenen Regeln
  2. Statistische Methoden: Modelle wie HMM und MaxEnt
  3. Deep-Learning-basierte Methoden: neuronale Netze wie RNN und Transformer

Beispiel

# spaCy für Wortarten-Tagging verwenden
import spacy

nlp = spacy.load("en_core_web_sm")
doc = nlp("Die Verarbeitung natürlicher Sprache ist faszinierend!")
for token in doc:
    print(token.text, token.pos_)  # Ausgabe jedes Wortes und seines POS-Tags

Evaluierungsmetriken für Part-of-Speech-Tagging:

  • Genauigkeit
  • Genauigkeit bei unbekannten Wörtern (OOV-Genauigkeit)
  • Analyse der Konfusionsmatrix

Praktische Empfehlungen

  1. Reihenfolge der Vorverarbeitungspipeline: Kodierungsbehandlung → Textbereinigung → Tokenisierung → Part-of-Speech-Tagging
  2. Prinzipien der Werkzeugauswahl: geeignete Werkzeuge basierend auf Sprache, Aufgabenanforderungen und Leistungsanforderungen auswählen
  3. Benutzerdefinierte Verarbeitung: Für spezifische Domänen können benutzerdefinierte Wörterbücher oder Regeln erforderlich sein
  4. Leistungsoptimierung: bei umfangreichem Text die Verwendung von Parallelverarbeitung oder effizienten Werkzeugen in Betracht ziehen
Andere Erweiterungen