Предобработка текста
Предобработка текста — это фундаментальный и критически важный этап в обработке естественного языка (NLP), поскольку она преобразует необработанные неструктурированные текстовые данные в формат, пригодный для обработки моделями машинного обучения.
В этой статье систематически рассматриваются три основных этапа предобработки текста: очистка текста, токенизация и частеречная разметка.
Очистка текста: очистка необработанных текстовых данных
Очистка текста — это первый этап предобработки, цель которого — удалить шумовые данные из текста и повысить точность последующей обработки.
Обработка формата кодировки
Текст из разных источников может использовать разные форматы кодировки (такие как UTF-8, GBK, ASCII и т. д.), поэтому унификация кодировки является первоочередной задачей:
Пример
text = "example text".encode('gbk') # Предположим, исходная кодировка — GBK
text = text.decode('gbk').encode('utf-8') # Преобразовать в UTF-8
Распространённые решения проблем с кодировкой:
- Используйте
chardetбиблиотека для автоматического определения кодировки - Единообразно преобразовать в кодировку UTF-8
- Обрабатывать недекодируемые символы (обычно заменять или игнорировать их)
Обработка специальных символов
Разные типы специальных символов нужно обрабатывать в разных сценариях:
| Тип символа | Способ обработки | Сценарий применения |
|---|---|---|
| HTML-теги | Удалить с помощью регулярных выражений | Текст, полученный при веб-скрейпинге |
| Эмодзи | Удалить или преобразовать в текстовые описания | Анализ социальных сетей |
| Управляющие символы | Исключить | Вся обработка текста |
| Специальная пунктуация | Стандартизировать | Нормализация текста |
Пример
# Пример удаления HTML-тегов
text = "<p>Это <b>HTML</b>-текст</p>"
clean_text = re.sub(r'<[^>]+>', '', text)
print(clean_text) # Вывод: Это HTML-текст
Удаление шума из данных
В зависимости от конкретных требований задачи может потребоваться:
- Удалить нерелевантную информацию (рекламу, уведомления об авторских правах и т. д.)
- Обработка орфографических ошибок (использовать библиотеки проверки орфографии)
- Стандартизация числовых представлений (например, унифицировать "1000" как "1,000")
- Унификация форматов даты ("2023-01-01" vs. "01/01/2023")
Токенизация: разбиение текста на базовые единицы
Токенизация — это процесс разбиения непрерывного текста на осмысленные лингвистические единицы (токены). Разные языки требуют разных методов токенизации.
Методы токенизации английского языка
Токенизация английского языка относительно проста и в основном основана на разбиении по пробелам и знакам препинания:
Пример
from nltk.tokenize import word_tokenize
text = "Natural Language Processing is fascinating!"
tokens = word_tokenize(text)
print(tokens) # ['Natural', 'Language', 'Processing', 'is', 'fascinating', '!']
Замечания по токенизации английского языка:
- Обработка сокращений (например, "I'm" → "I" + "'m")
- Сохранять или объединять определённые фразы (например, "New York" как один токен)
- Обрабатывать дефисы ("state-of-the-art")
Методы сегментации китайских слов
В китайском языке нет очевидных границ слов, что усложняет сегментацию слов. Основные методы включают:
- Сегментация слов на основе словаря: методы максимального совпадения, поиска кратчайшего пути
- Статистическая сегментация слов: методы разметки последовательностей, такие как HMM и CRF
- Сегментация слов на основе глубокого обучения: модели, такие как BiLSTM-CRF и BERT
Пример
import jieba
text = Обработка естественного языка очень интересна.
tokens = jieba.lcut(text)
print(tokens) # ['natural language', 'processing', 'very', 'interesting']
Субсловная токенизация
К распространённым методам решения проблем редких слов и разрастания словаря относятся:
- **Байтовое кодирование пар (BPE)**: создаёт подслова путём объединения высокочастотных пар символов
- WordPiece: похож на BPE, но объединяет на основе вероятности
- Униграммная языковая модель: начинает с большого словаря и постепенно удаляет низковероятностные подслова
Пример
from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
tokens = tokenizer.tokenize("Обработка естественного языка")
print(tokens) # ['自', '然', '语', '言', '处', '理']
Сравнение распространённых инструментов токенизации
| Название инструмента | Поддерживаемые языки | Особенности | Применимые сценарии |
|---|---|---|---|
| NLTK | Преимущественно английский | Всесторонние возможности, умеренная скорость | Преподавание, исследования |
| spaCy | Многоязычный | Промышленного класса, быстрый | Продакшен-среда |
| jieba | Китайский | Простой и удобный в использовании, расширяемые словари | Обработка китайского текста |
| Stanford CoreNLP | Многоязычный | Высокая точность, требовательность к ресурсам | Академические исследования |
| HuggingFace Tokenizers | Многоязычный | Поддержка субсловной токенизации | Глубокое обучение |
Разметка частей речи: понимание грамматической роли слов
Разметка частей речи — это процесс присвоения каждому слову в результате токенизации категории части речи.
Понятие разметки частей речи
Разметка частей речи помогает:
- Понимать структуру предложения
- Разрешать неоднозначность значения слова
- Поддерживать более продвинутые задачи NLP (такие как синтаксический разбор)
Распространённые наборы тегов частей речи
Разные языки и инструменты используют разные системы разметки частей речи:
Часто используемый набор тегов Penn Treebank для английского языка (частично):
- NN: существительное
- VB: глагол
- JJ: прилагательное
- RB: наречие
- PRP: местоимение
Часто используемый набор тегов ICTCLAS для китайского языка (частично):
- n: существительное
- v: глагол
- a: прилагательное
- d: наречие
- r: местоимение
Методы автоматической разметки частей речи
- Методы на основе правил: разметка с использованием вручную написанных правил
- Статистические методы: модели, такие как HMM и MaxEnt
- Методы на основе глубокого обучения: нейронные сети, такие как RNN и Transformer
Пример
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("Обработка естественного языка — это увлекательно!")
for token in doc:
print(token.text, token.pos_) # Вывести каждое слово и его POS-тег
Метрики оценки для разметки частей речи:
- Точность
- Точность на неизвестных словах (OOV Accuracy)
- Анализ матрицы ошибок
Практические рекомендации
- Порядок конвейера предобработки: обработка кодировки → очистка текста → токенизация → разметка частей речи
- Принципы выбора инструментов: выбирайте подходящие инструменты с учетом языка, требований задачи и требований к производительности
- Пользовательская обработка: для конкретных предметных областей могут потребоваться пользовательские словари или правила
- Оптимизация производительности: для больших объемов текста рассмотрите использование параллельной обработки или эффективных инструментов