Textvorverarbeitung
Die Textvorverarbeitung ist ein grundlegender und kritischer Schritt im Natural Language Processing (NLP), da sie rohe unstrukturierte Textdaten in ein Format umwandelt, das für die Verarbeitung durch Machine-Learning-Modelle geeignet ist.
Dieser Artikel führt systematisch in die drei Kernschritte der Textvorverarbeitung ein: Textbereinigung, Tokenisierung und Part-of-Speech-Tagging.
Textbereinigung: Reinigung roher Textdaten
Die Textbereinigung ist der erste Schritt der Vorverarbeitung und zielt darauf ab, Rauschdaten aus dem Text zu entfernen und die Genauigkeit der nachfolgenden Verarbeitung zu verbessern.
Umgang mit Kodierungsformaten
Texte aus verschiedenen Quellen können unterschiedliche Kodierungsformate verwenden (wie UTF-8, GBK, ASCII usw.), daher hat die Vereinheitlichung der Kodierung höchste Priorität:
Beispiel
text = "example text".encode('gbk') # Angenommen, die ursprüngliche Kodierung ist GBK
text = text.decode('gbk').encode('utf-8') # In UTF-8 konvertieren
Gängige Lösungen für Kodierungsprobleme:
- Verwenden Sie
chardetBibliothek zur automatischen Erkennung der Kodierung - Einheitlich in UTF-8-Kodierung umwandeln
- Nicht dekodierbare Zeichen behandeln (normalerweise ersetzen oder ignorieren)
Umgang mit Sonderzeichen
Verschiedene Arten von Sonderzeichen müssen in unterschiedlichen Szenarien unterschiedlich behandelt werden:
| Zeichentyp | Behandlungsmethode | Anwendungsszenario |
|---|---|---|
| HTML-Tags | Mit regulären Ausdrücken entfernen | Durch Web-Scraping extrahierter Text |
| Emojis | Entfernen oder in Textbeschreibungen umwandeln | Social-Media-Analyse |
| Steuerzeichen | Herausfiltern | Gesamte Textverarbeitung |
| Spezielle Interpunktion | Standardisieren | Textnormalisierung |
Beispiel
# Beispiel für das Entfernen von HTML-Tags
text = "<p>This is an <b>HTML</b> text</p>"
clean_text = re.sub(r'<[^>]+>', '', text)
print(clean_text) # Ausgabe: This is an HTML text
Entfernung von Rauschdaten
Je nach den spezifischen Aufgabenanforderungen kann es erforderlich sein:
- Irrelevante Informationen entfernen (Werbung, Urheberrechtshinweise usw.)
- Rechtschreibfehler behandeln (Bibliotheken zur Rechtschreibprüfung verwenden)
- Numerische Darstellungen standardisieren (z. B. "1000" als "1,000" vereinheitlichen)
- Datumsformate vereinheitlichen ("2023-01-01" vs. "01/01/2023")
Tokenisierung: Text in grundlegende Einheiten zerlegen
Tokenisierung ist der Prozess, fortlaufenden Text in bedeutungstragende sprachliche Einheiten (Token) zu zerlegen. Verschiedene Sprachen erfordern unterschiedliche Tokenisierungsmethoden.
Englische Tokenisierungsmethoden
Die englische Tokenisierung ist relativ einfach und basiert hauptsächlich auf der Aufteilung durch Leerzeichen und Satzzeichen:
Beispiel
from nltk.tokenize import word_tokenize
text = "Natural Language Processing is fascinating!"
tokens = word_tokenize(text)
print(tokens) # ['Natural', 'Language', 'Processing', 'is', 'fascinating', '!']
Hinweise zur englischen Tokenisierung:
- Kontraktionen behandeln (z. B. "I'm" → "I" + "'m")
- Bestimmte Phrasen beibehalten oder zusammenführen (z. B. "New York" als ein Token)
- Bindestriche behandeln ("state-of-the-art")
Techniken der chinesischen Wortsegmentierung
Chinesisch hat keine offensichtlichen Wortgrenzen, wodurch die Wortsegmentierung komplexer wird. Die wichtigsten Methoden umfassen:
- Wörterbuchbasierte Wortsegmentierung: Maximum-Matching- und Shortest-Path-Methoden
- Statistische Wortsegmentierung: Sequenzmarkierungsverfahren wie HMM und CRF
- Deep-Learning-basierte Wortsegmentierung: Modelle wie BiLSTM-CRF und BERT
Beispiel
import jieba
text = Die Verarbeitung natürlicher Sprache ist sehr interessant.
tokens = jieba.lcut(text)
print(tokens) # ['natural language', 'processing', 'very', 'interesting']
Subwort-Tokenisierung
Um die Probleme seltener Wörter und der Vokabular-Explosion zu lösen, gibt es folgende gängige Methoden:
- **Byte Pair Encoding (BPE)**: erzeugt Teilwörter durch Zusammenführen hochfrequenter Zeichenpaare
- WordPiece: ähnlich wie BPE, aber führt Zusammenführungen auf Basis der Wahrscheinlichkeit durch
- Unigram Language Model: startet mit einem großen Vokabular und entfernt schrittweise Teilwörter mit geringer Wahrscheinlichkeit
Beispiel
from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
tokens = tokenizer.tokenize("Natural language processing")
print(tokens) # ['自', '然', '语', '言', '处', '理']
Vergleich gängiger Tokenisierungs-Tools
| Tool-Name | Unterstützte Sprachen | Funktionen | Geeignete Szenarien |
|---|---|---|---|
| NLTK | Hauptsächlich Englisch | Umfangreiche Funktionen, mittlere Geschwindigkeit | Lehre, Forschung |
| spaCy | Mehrsprachig | Industrietauglich, schnell | Produktionsumgebung |
| jieba | Chinesisch | Einfach und benutzerfreundlich, erweiterbare Wörterbücher | Chinesische Textverarbeitung |
| Stanford CoreNLP | Mehrsprachig | Hohe Genauigkeit, ressourcenintensiv | Akademische Forschung |
| HuggingFace Tokenizers | Mehrsprachig | Unterstützt Subword-Tokenisierung | Deep Learning |
Part-of-Speech-Tagging: Die grammatische Rolle von Wörtern verstehen
Part-of-Speech-Tagging ist der Prozess, jedem Wort im Tokenisierungsergebnis eine Wortartkategorie zuzuweisen.
Konzept des Part-of-Speech-Taggings
Part-of-Speech-Tagging hilft dabei:
- Satzstruktur verstehen
- Mehrdeutigkeit von Wortbedeutungen auflösen
- Fortgeschrittenere NLP-Aufgaben unterstützen (wie syntaktisches Parsing)
Gängige Part-of-Speech-Tag-Sets
Verschiedene Sprachen und Tools verwenden unterschiedliche Part-of-Speech-Tagging-Systeme:
Häufig verwendetes Penn-Treebank-Tag-Set für Englisch (Auszug):
- NN: Substantiv
- VB: Verb
- JJ: Adjektiv
- RB: Adverb
- PRP: Pronomen
Häufig verwendetes ICTCLAS-Tagset für Chinesisch (teilweise):
- n: Substantiv
- v: Verb
- a: Adjektiv
- d: Adverb
- r: Pronomen
Automatische Methoden zum Wortarten-Tagging
- Regelbasierte Methoden: Tagging mit manuell geschriebenen Regeln
- Statistische Methoden: Modelle wie HMM und MaxEnt
- Deep-Learning-basierte Methoden: neuronale Netze wie RNN und Transformer
Beispiel
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("Die Verarbeitung natürlicher Sprache ist faszinierend!")
for token in doc:
print(token.text, token.pos_) # Ausgabe jedes Wortes und seines POS-Tags
Evaluierungsmetriken für Part-of-Speech-Tagging:
- Genauigkeit
- Genauigkeit bei unbekannten Wörtern (OOV-Genauigkeit)
- Analyse der Konfusionsmatrix
Praktische Empfehlungen
- Reihenfolge der Vorverarbeitungspipeline: Kodierungsbehandlung → Textbereinigung → Tokenisierung → Part-of-Speech-Tagging
- Prinzipien der Werkzeugauswahl: geeignete Werkzeuge basierend auf Sprache, Aufgabenanforderungen und Leistungsanforderungen auswählen
- Benutzerdefinierte Verarbeitung: Für spezifische Domänen können benutzerdefinierte Wörterbücher oder Regeln erforderlich sein
- Leistungsoptimierung: bei umfangreichem Text die Verwendung von Parallelverarbeitung oder effizienten Werkzeugen in Betracht ziehen