Предобработка текста

Предобработка текста — это фундаментальный и критически важный этап в обработке естественного языка (NLP), поскольку она преобразует необработанные неструктурированные текстовые данные в формат, пригодный для обработки моделями машинного обучения.

В этой статье систематически рассматриваются три основных этапа предобработки текста: очистка текста, токенизация и частеречная разметка.


Очистка текста: очистка необработанных текстовых данных

Очистка текста — это первый этап предобработки, цель которого — удалить шумовые данные из текста и повысить точность последующей обработки.

Обработка формата кодировки

Текст из разных источников может использовать разные форматы кодировки (такие как UTF-8, GBK, ASCII и т. д.), поэтому унификация кодировки является первоочередной задачей:

Пример

# Пример преобразования кодировки
text = "example text".encode('gbk')  # Предположим, исходная кодировка — GBK
text = text.decode('gbk').encode('utf-8')  # Преобразовать в UTF-8

Распространённые решения проблем с кодировкой:

  • Используйтеchardetбиблиотека для автоматического определения кодировки
  • Единообразно преобразовать в кодировку UTF-8
  • Обрабатывать недекодируемые символы (обычно заменять или игнорировать их)

Обработка специальных символов

Разные типы специальных символов нужно обрабатывать в разных сценариях:

Тип символа Способ обработки Сценарий применения
HTML-теги Удалить с помощью регулярных выражений Текст, полученный при веб-скрейпинге
Эмодзи Удалить или преобразовать в текстовые описания Анализ социальных сетей
Управляющие символы Исключить Вся обработка текста
Специальная пунктуация Стандартизировать Нормализация текста

Пример

import re

# Пример удаления HTML-тегов
text = "<p>Это <b>HTML</b>-текст</p>"
clean_text = re.sub(r'<[^>]+>', '', text)
print(clean_text)  # Вывод: Это HTML-текст

Удаление шума из данных

В зависимости от конкретных требований задачи может потребоваться:

  1. Удалить нерелевантную информацию (рекламу, уведомления об авторских правах и т. д.)
  2. Обработка орфографических ошибок (использовать библиотеки проверки орфографии)
  3. Стандартизация числовых представлений (например, унифицировать "1000" как "1,000")
  4. Унификация форматов даты ("2023-01-01" vs. "01/01/2023")

Токенизация: разбиение текста на базовые единицы

Токенизация — это процесс разбиения непрерывного текста на осмысленные лингвистические единицы (токены). Разные языки требуют разных методов токенизации.

Методы токенизации английского языка

Токенизация английского языка относительно проста и в основном основана на разбиении по пробелам и знакам препинания:

Пример

# Токенизация английского с помощью NLTK
from nltk.tokenize import word_tokenize

text = "Natural Language Processing is fascinating!"
tokens = word_tokenize(text)
print(tokens)  # ['Natural', 'Language', 'Processing', 'is', 'fascinating', '!']

Замечания по токенизации английского языка:

  • Обработка сокращений (например, "I'm" → "I" + "'m")
  • Сохранять или объединять определённые фразы (например, "New York" как один токен)
  • Обрабатывать дефисы ("state-of-the-art")

Методы сегментации китайских слов

В китайском языке нет очевидных границ слов, что усложняет сегментацию слов. Основные методы включают:

  1. Сегментация слов на основе словаря: методы максимального совпадения, поиска кратчайшего пути
  2. Статистическая сегментация слов: методы разметки последовательностей, такие как HMM и CRF
  3. Сегментация слов на основе глубокого обучения: модели, такие как BiLSTM-CRF и BERT

Пример

# Использовать jieba для сегментации китайских слов
import jieba

text = Обработка естественного языка очень интересна.
tokens = jieba.lcut(text)
print(tokens)  # ['natural language', 'processing', 'very', 'interesting']

Субсловная токенизация

К распространённым методам решения проблем редких слов и разрастания словаря относятся:

  • **Байтовое кодирование пар (BPE)**: создаёт подслова путём объединения высокочастотных пар символов
  • WordPiece: похож на BPE, но объединяет на основе вероятности
  • Униграммная языковая модель: начинает с большого словаря и постепенно удаляет низковероятностные подслова

Пример

# Пример использования токенизатора HuggingFace
from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
tokens = tokenizer.tokenize("Обработка естественного языка")
print(tokens)  # ['自', '然', '语', '言', '处', '理']

Сравнение распространённых инструментов токенизации

Название инструмента Поддерживаемые языки Особенности Применимые сценарии
NLTK Преимущественно английский Всесторонние возможности, умеренная скорость Преподавание, исследования
spaCy Многоязычный Промышленного класса, быстрый Продакшен-среда
jieba Китайский Простой и удобный в использовании, расширяемые словари Обработка китайского текста
Stanford CoreNLP Многоязычный Высокая точность, требовательность к ресурсам Академические исследования
HuggingFace Tokenizers Многоязычный Поддержка субсловной токенизации Глубокое обучение

Разметка частей речи: понимание грамматической роли слов

Разметка частей речи — это процесс присвоения каждому слову в результате токенизации категории части речи.

Понятие разметки частей речи

Разметка частей речи помогает:

  • Понимать структуру предложения
  • Разрешать неоднозначность значения слова
  • Поддерживать более продвинутые задачи NLP (такие как синтаксический разбор)

Распространённые наборы тегов частей речи

Разные языки и инструменты используют разные системы разметки частей речи:

Часто используемый набор тегов Penn Treebank для английского языка (частично):

  • NN: существительное
  • VB: глагол
  • JJ: прилагательное
  • RB: наречие
  • PRP: местоимение

Часто используемый набор тегов ICTCLAS для китайского языка (частично):

  • n: существительное
  • v: глагол
  • a: прилагательное
  • d: наречие
  • r: местоимение

Методы автоматической разметки частей речи

  1. Методы на основе правил: разметка с использованием вручную написанных правил
  2. Статистические методы: модели, такие как HMM и MaxEnt
  3. Методы на основе глубокого обучения: нейронные сети, такие как RNN и Transformer

Пример

# Используйте spaCy для разметки частей речи
import spacy

nlp = spacy.load("en_core_web_sm")
doc = nlp("Обработка естественного языка — это увлекательно!")
for token in doc:
    print(token.text, token.pos_)  # Вывести каждое слово и его POS-тег

Метрики оценки для разметки частей речи:

  • Точность
  • Точность на неизвестных словах (OOV Accuracy)
  • Анализ матрицы ошибок

Практические рекомендации

  1. Порядок конвейера предобработки: обработка кодировки → очистка текста → токенизация → разметка частей речи
  2. Принципы выбора инструментов: выбирайте подходящие инструменты с учетом языка, требований задачи и требований к производительности
  3. Пользовательская обработка: для конкретных предметных областей могут потребоваться пользовательские словари или правила
  4. Оптимизация производительности: для больших объемов текста рассмотрите использование параллельной обработки или эффективных инструментов
Другие расширения