テキスト前処理
テキスト前処理は、自然言語処理(NLP)における基礎的かつ重要なステップであり、生の非構造化テキストデータを機械学習モデルが処理しやすい形式に変換します。
本記事では、テキスト前処理の3つの中核となるステップ、テキストクリーニング、トークン化、品詞タグ付けについて体系的に紹介します。
テキストクリーニング:生のテキストデータを浄化する
テキストクリーニングは前処理の最初のステップであり、テキスト中のノイズデータを除去して、後続の処理の精度を高めることを目的とします。
エンコーディング形式の処理
異なるソースのテキストは異なるエンコーディング形式(UTF-8、GBK、ASCIIなど)を使用している場合があります。エンコーディングを統一することが最優先のタスクです:
実例
text = "サンプルテキスト".encode('gbk') # 元のエンコーディングがGBKだと仮定します
text = text.decode('gbk').encode('utf-8') # UTF-8に変換します
一般的なエンコーディング問題の解決策:
- 使用する
chardetライブラリでエンコーディングを自動検出する - すべてUTF-8エンコーディングに統一する
- デコードできない文字を処理する(通常は置換または無視)
特殊文字の処理
異なるシナリオでは、異なるタイプの特殊文字を処理する必要があります:
| 文字タイプ | 処理方法 | 適用シナリオ |
|---|---|---|
| HTMLタグ | 正規表現で削除 | ウェブスクレイピングのテキスト |
| 絵文字 | 削除するかテキスト説明に変換 | ソーシャルメディア分析 |
| 制御文字 | フィルタリングして除去 | すべてのテキスト処理 |
| 特殊な句読点 | 標準化処理 | テキスト正規化 |
実例
# HTMLタグを削除する例
text = "<p>これは<b>HTML</b>テキストです</p>"
clean_text = re.sub(r'<[^>]+>', '', text)
print(clean_text) # 出力: これはHTMLテキストです
ノイズデータの除去
具体的なタスクのニーズに応じて、以下が必要になる場合があります:
- 無関係な情報の除去(広告、著作権表示など)
- スペルミスの処理(スペルチェックライブラリを使用)
- 数字表現の標準化(例:「1000」を「1,000」に統一)
- 日付形式の統一(「2023-01-01」と「01/01/2023」)
トークン化(Tokenization):テキストを基本単位に分解する
トークン化は、連続したテキストを意味のある言語単位(トークン)に分割するプロセスであり、言語によって異なるトークン化方法が必要です。
英文のトークン化方法
英文のトークン化は比較的簡単で、主にスペースと句読点に基づいて分割します:
実例
from nltk.tokenize import word_tokenize
text = "Natural Language Processing is fascinating!"
tokens = word_tokenize(text)
print(tokens) # ['Natural', 'Language', 'Processing', 'is', 'fascinating', '!']
英文トークン化の注意点:
- 省略形の処理(例:「I'm」→「I」+「'm」)
- 特定のフレーズを保持または結合する(例:「New York」を1つのトークンとして扱う)
- ハイフンの処理(「state-of-the-art」)
中国語のトークン化技術
中国語には明確な単語境界がなく、トークン化はより複雑です。主な方法は以下のとおりです:
- 辞書ベースのトークン化:最大マッチング法、最短経路法
- 統計ベースのトークン化:HMM、CRFなどの系列ラベリング手法
- ディープラーニングベースのトークン化:BiLSTM-CRF、BERTなどのモデル
実例
import jieba
text = "自然语言处理非常有趣"
tokens = jieba.lcut(text)
print(tokens) # ['自然语言', '处理', '非常', '有趣']
サブワードトークン化(Subword Tokenization)
稀な単語と語彙サイズの爆発の問題を解決するため、一般的な方法は次のとおりです:
- **Byte Pair Encoding (BPE)**:高頻度の文字ペアをマージしてサブワードを構築する
- WordPiece:BPEに類似するが、確率に基づいてマージする
- Unigram Language Model:大きな語彙リストから開始し、低確率のサブワードを段階的に削除する
実例
from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
tokens = tokenizer.tokenize("自然语言处理")
print(tokens) # ['自', '然', '语', '言', '处', '理']
よく使われるトークン化ツールの比較
| ツール名 | 対応言語 | 特徴 | 適用シナリオ |
|---|---|---|---|
| NLTK | 英文中心 | 機能が充実しており、速度は普通 | 教育、研究 |
| spaCy | 多言語 | 産業グレードで、速度が速い | 本番環境 |
| jieba | 中国語 | シンプルで使いやすく、辞書を拡張可能 | 中国語処理 |
| Stanford CoreNLP | 多言語 | 精度が高く、リソース消費が大きい | 学術研究 |
| HuggingFace Tokenizers | 多言語 | サブワードトークン化に対応 | ディープラーニング |
品詞タグ付け:単語の文法上の役割を理解する
品詞タグ付け(Part-of-Speech Tagging)は、トークン化の結果の各単語にその品詞カテゴリを付与するプロセスです。
品詞タグ付けの概念
品詞タグ付けは以下のことに役立ちます:
- 文構造の理解
- 語義の曖昧性の解消
- より高度なNLPタスクのサポート(構文解析など)
一般的な品詞体系
言語やツールによって異なる品詞タグ付け体系が使用されます:
英文でよく使われるPenn Treebankタグセット(一部):
- NN:名詞
- VB:動詞
- JJ:形容詞
- RB:副詞
- PRP:代名詞
中国語でよく使われるICTCLASタグセット(一部):
- n:名詞
- v:動詞
- a:形容詞
- d:副詞
- r:代名詞
自動品詞タグ付け方法
- ルールベースの方法:手作業で作成したルールを使用してタグ付けする
- 統計ベースの方法:HMM、MaxEntなどのモデル
- ディープラーニングベースの方法:RNN、Transformerなどのニューラルネットワーク
実例
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("Natural Language Processing is fascinating!")
for token in doc:
print(token.text, token.pos_) # 各単語とその品詞タグを出力する
品詞タグ付けの評価指標:
- 正解率(Accuracy)
- 未知語の正解率(OOV Accuracy)
- 混同行列の分析
実践上のアドバイス
- 前処理フローの順序:エンコーディング処理→テキストクリーニング→トークン化→品詞タグ付け
- ツール選択の原則:言語、タスク要件、性能要件に応じて適切なツールを選択する
- カスタム処理:特定の分野ではカスタム辞書やルールが必要な場合がある
- 性能最適化:大規模なテキストの場合、並列処理や効率的なツールの使用を検討する