Preprocesamiento de texto

El preprocesamiento de texto es un paso fundamental y clave en el procesamiento del lenguaje natural (NLP); transforma los datos de texto no estructurados en bruto en un formato adecuado para que los modelos de aprendizaje automático los procesen.

Este artículo presentará de manera sistemática los tres componentes centrales del preprocesamiento de texto: limpieza de texto, tokenización y etiquetado de partes de la oración.


Limpieza de texto: purificar los datos de texto en bruto

La limpieza de texto es el primer paso del preprocesamiento; su objetivo es eliminar los datos de ruido del texto y mejorar la precisión del procesamiento posterior.

Manejo de formatos de codificación

Los textos de diferentes fuentes pueden adoptar diferentes formatos de codificación (como UTF-8, GBK, ASCII, etc.); unificar la codificación es la tarea principal:

Ejemplo

# Ejemplo de conversión de codificación
text = "Texto de ejemplo".encode('gbk')  # Suponiendo que la codificación original es GBK
text = text.decode('gbk').encode('utf-8')  # Convertir a UTF-8

Soluciones a problemas comunes de codificación:

  • Usarchardetbibliotecas para detectar automáticamente la codificación
  • Convertir todo de manera uniforme a codificación UTF-8
  • Manejar caracteres que no se pueden decodificar (normalmente reemplazándolos o ignorándolos)

Manejo de caracteres especiales

En diferentes escenarios se necesitan manejar distintos tipos de caracteres especiales:

Tipo de carácter Método de manejo Escenario de aplicación
Etiquetas HTML Eliminación mediante expresiones regulares Texto de rastreo web
Emojis Eliminar o convertir a descripciones textuales Análisis de redes sociales
Caracteres de control Filtrar Todo procesamiento de texto
Signos de puntuación especiales Estandarizar Normalización de texto

Ejemplo

import re

# Ejemplo de eliminación de etiquetas HTML
text = <p>Este es un texto <b>HTML</b></p>
clean_text = re.sub(r'<[^>]+>', '', text)
print(clean_text)  # Salida: esto es un texto HTML

Eliminación de datos de ruido

Según las necesidades de la tarea específica, puede ser necesario:

  1. Eliminar información irrelevante (anuncios, avisos de derechos de autor, etc.)
  2. Corregir errores ortográficos (usando bibliotecas de revisión ortográfica)
  3. Estandarizar la representación numérica (por ejemplo, unificar "1000" como "1,000")
  4. Unificar formatos de fecha ("2023-01-01" vs "01/01/2023")

Tokenización: descomponer el texto en unidades básicas

La tokenización es el proceso de dividir el texto continuo en unidades lingüísticas significativas (tokens); los distintos idiomas requieren diferentes métodos de tokenización.

Métodos de tokenización para inglés

La tokenización en inglés es relativamente simple; se basa principalmente en la división por espacios y signos de puntuación:

Ejemplo

# Usar NLTK para la tokenización en inglés
from nltk.tokenize import word_tokenize

text = "Natural Language Processing is fascinating!"
tokens = word_tokenize(text)
print(tokens)  # ['Natural', 'Language', 'Processing', 'is', 'fascinating', '!']

Consideraciones sobre la tokenización en inglés:

  • Manejar contracciones (por ejemplo, "I'm" → "I" + "'m")
  • Conservar o combinar frases específicas (por ejemplo, "New York" como un solo token)
  • Manejar guiones ("state-of-the-art")

Técnicas de tokenización para chino

El chino no tiene límites evidentes entre palabras, por lo que la tokenización es más compleja. Los principales métodos incluyen:

  1. Tokenización basada en diccionario: método de coincidencia máxima, método de ruta más corta
  2. Tokenización basada en estadísticas: métodos de etiquetado de secuencias como HMM, CRF, etc.
  3. Tokenización basada en aprendizaje profundo: modelos como BiLSTM-CRF, BERT, etc.

Ejemplo

# Usar jieba para la segmentación de palabras chinas
import jieba

text = "El procesamiento del lenguaje natural es muy interesante"
tokens = jieba.lcut(text)
print(tokens)  # ['lenguaje natural', 'procesamiento', 'muy', 'interesante']

Tokenización por subpalabras (Subword Tokenization)

Para resolver el problema de las palabras raras y la expansión del vocabulario, los métodos habituales son:

  • **Byte Pair Encoding (BPE)**: construye subpalabras combinando pares de caracteres de alta frecuencia
  • WordPiece: similar a BPE, pero se combina según la probabilidad
  • Unigram Language Model: se parte de un vocabulario grande y se eliminan gradualmente las subpalabras de baja probabilidad

Ejemplo

# Ejemplo de uso del tokenizer de HuggingFace
from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
tokens = tokenizer.tokenize("Procesamiento del lenguaje natural")
print(tokens)  ['procesamiento', 'del', 'lenguaje', 'natural']

Comparación de herramientas de tokenización de uso común

Nombre de la herramienta Idiomas compatibles Características Escenarios de aplicación
NLTK Principalmente inglés Funciones completas, velocidad media Docencia e investigación
spaCy Multilingüe Nivel industrial, rápida Entornos de producción
jieba Chino Sencillo y fácil de usar, diccionario extensible Procesamiento de chino
Stanford CoreNLP Multilingüe Alta precisión, alto consumo de recursos Investigación académica
HuggingFace Tokenizers Multilingüe Admite tokenización por subpalabras Aprendizaje profundo

Etiquetado de partes de la oración: comprender el rol gramatical de las palabras

El etiquetado de partes de la oración (Part-of-Speech Tagging) es el proceso de asignar a cada palabra del resultado de la tokenización su categoría gramatical.

Concepto de etiquetado de partes de la oración

El etiquetado de partes de la oración ayuda a:

  • Comprender la estructura de las oraciones
  • Eliminar la ambigüedad del significado de las palabras
  • Respaldar tareas de NLP más avanzadas (como el análisis sintáctico)

Sistemas comunes de etiquetas gramaticales

Distintos idiomas y herramientas utilizan sistemas de etiquetado gramatical diferentes:

Conjunto de etiquetas Penn Treebank de uso común en inglés (parcial):

  • NN: sustantivo
  • VB: verbo
  • JJ: adjetivo
  • RB: adverbio
  • PRP: pronombre

Conjunto de etiquetas ICTCLAS de uso común en chino (parcial):

  • n: sustantivo
  • v: verbo
  • a: adjetivo
  • d: adverbio
  • r: pronombre

Métodos automáticos de etiquetado de partes de la oración

  1. Métodos basados en reglas: usan reglas escritas manualmente para etiquetar
  2. Métodos basados en estadísticas: modelos como HMM, MaxEnt, etc.
  3. Métodos basados en aprendizaje profundo: redes neuronales como RNN, Transformer, etc.

Ejemplo

# Usar spaCy para el etiquetado gramatical
import spacy

nlp = spacy.load("en_core_web_sm")
doc = nlp("Natural Language Processing is fascinating!")
for token in doc:
    print(token.text, token.pos_)  # Imprimir cada palabra y su etiqueta gramatical

Métricas de evaluación para el etiquetado de partes de la oración:

  • Exactitud (Accuracy)
  • Exactitud para palabras desconocidas (OOV Accuracy)
  • Análisis de la matriz de confusión

Recomendaciones prácticas

  1. Orden del flujo de preprocesamiento: manejo de codificación → limpieza de texto → tokenización → etiquetado de partes de la oración
  2. Principios para la selección de herramientas: seleccionar la herramienta adecuada según el idioma, los requisitos de la tarea y las exigencias de rendimiento
  3. Procesamiento personalizado: para dominios específicos puede ser necesario personalizar diccionarios o reglas
  4. Optimización del rendimiento: para textos a gran escala, considere usar procesamiento paralelo o herramientas eficientes
Otras extensiones