Preprocesamiento de texto
El preprocesamiento de texto es un paso fundamental y clave en el procesamiento del lenguaje natural (NLP); transforma los datos de texto no estructurados en bruto en un formato adecuado para que los modelos de aprendizaje automático los procesen.
Este artículo presentará de manera sistemática los tres componentes centrales del preprocesamiento de texto: limpieza de texto, tokenización y etiquetado de partes de la oración.
Limpieza de texto: purificar los datos de texto en bruto
La limpieza de texto es el primer paso del preprocesamiento; su objetivo es eliminar los datos de ruido del texto y mejorar la precisión del procesamiento posterior.
Manejo de formatos de codificación
Los textos de diferentes fuentes pueden adoptar diferentes formatos de codificación (como UTF-8, GBK, ASCII, etc.); unificar la codificación es la tarea principal:
Ejemplo
text = "Texto de ejemplo".encode('gbk') # Suponiendo que la codificación original es GBK
text = text.decode('gbk').encode('utf-8') # Convertir a UTF-8
Soluciones a problemas comunes de codificación:
- Usar
chardetbibliotecas para detectar automáticamente la codificación - Convertir todo de manera uniforme a codificación UTF-8
- Manejar caracteres que no se pueden decodificar (normalmente reemplazándolos o ignorándolos)
Manejo de caracteres especiales
En diferentes escenarios se necesitan manejar distintos tipos de caracteres especiales:
| Tipo de carácter | Método de manejo | Escenario de aplicación |
|---|---|---|
| Etiquetas HTML | Eliminación mediante expresiones regulares | Texto de rastreo web |
| Emojis | Eliminar o convertir a descripciones textuales | Análisis de redes sociales |
| Caracteres de control | Filtrar | Todo procesamiento de texto |
| Signos de puntuación especiales | Estandarizar | Normalización de texto |
Ejemplo
# Ejemplo de eliminación de etiquetas HTML
text = <p>Este es un texto <b>HTML</b></p>
clean_text = re.sub(r'<[^>]+>', '', text)
print(clean_text) # Salida: esto es un texto HTML
Eliminación de datos de ruido
Según las necesidades de la tarea específica, puede ser necesario:
- Eliminar información irrelevante (anuncios, avisos de derechos de autor, etc.)
- Corregir errores ortográficos (usando bibliotecas de revisión ortográfica)
- Estandarizar la representación numérica (por ejemplo, unificar "1000" como "1,000")
- Unificar formatos de fecha ("2023-01-01" vs "01/01/2023")
Tokenización: descomponer el texto en unidades básicas
La tokenización es el proceso de dividir el texto continuo en unidades lingüísticas significativas (tokens); los distintos idiomas requieren diferentes métodos de tokenización.
Métodos de tokenización para inglés
La tokenización en inglés es relativamente simple; se basa principalmente en la división por espacios y signos de puntuación:
Ejemplo
from nltk.tokenize import word_tokenize
text = "Natural Language Processing is fascinating!"
tokens = word_tokenize(text)
print(tokens) # ['Natural', 'Language', 'Processing', 'is', 'fascinating', '!']
Consideraciones sobre la tokenización en inglés:
- Manejar contracciones (por ejemplo, "I'm" → "I" + "'m")
- Conservar o combinar frases específicas (por ejemplo, "New York" como un solo token)
- Manejar guiones ("state-of-the-art")
Técnicas de tokenización para chino
El chino no tiene límites evidentes entre palabras, por lo que la tokenización es más compleja. Los principales métodos incluyen:
- Tokenización basada en diccionario: método de coincidencia máxima, método de ruta más corta
- Tokenización basada en estadísticas: métodos de etiquetado de secuencias como HMM, CRF, etc.
- Tokenización basada en aprendizaje profundo: modelos como BiLSTM-CRF, BERT, etc.
Ejemplo
import jieba
text = "El procesamiento del lenguaje natural es muy interesante"
tokens = jieba.lcut(text)
print(tokens) # ['lenguaje natural', 'procesamiento', 'muy', 'interesante']
Tokenización por subpalabras (Subword Tokenization)
Para resolver el problema de las palabras raras y la expansión del vocabulario, los métodos habituales son:
- **Byte Pair Encoding (BPE)**: construye subpalabras combinando pares de caracteres de alta frecuencia
- WordPiece: similar a BPE, pero se combina según la probabilidad
- Unigram Language Model: se parte de un vocabulario grande y se eliminan gradualmente las subpalabras de baja probabilidad
Ejemplo
from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
tokens = tokenizer.tokenize("Procesamiento del lenguaje natural")
print(tokens) ['procesamiento', 'del', 'lenguaje', 'natural']
Comparación de herramientas de tokenización de uso común
| Nombre de la herramienta | Idiomas compatibles | Características | Escenarios de aplicación |
|---|---|---|---|
| NLTK | Principalmente inglés | Funciones completas, velocidad media | Docencia e investigación |
| spaCy | Multilingüe | Nivel industrial, rápida | Entornos de producción |
| jieba | Chino | Sencillo y fácil de usar, diccionario extensible | Procesamiento de chino |
| Stanford CoreNLP | Multilingüe | Alta precisión, alto consumo de recursos | Investigación académica |
| HuggingFace Tokenizers | Multilingüe | Admite tokenización por subpalabras | Aprendizaje profundo |
Etiquetado de partes de la oración: comprender el rol gramatical de las palabras
El etiquetado de partes de la oración (Part-of-Speech Tagging) es el proceso de asignar a cada palabra del resultado de la tokenización su categoría gramatical.
Concepto de etiquetado de partes de la oración
El etiquetado de partes de la oración ayuda a:
- Comprender la estructura de las oraciones
- Eliminar la ambigüedad del significado de las palabras
- Respaldar tareas de NLP más avanzadas (como el análisis sintáctico)
Sistemas comunes de etiquetas gramaticales
Distintos idiomas y herramientas utilizan sistemas de etiquetado gramatical diferentes:
Conjunto de etiquetas Penn Treebank de uso común en inglés (parcial):
- NN: sustantivo
- VB: verbo
- JJ: adjetivo
- RB: adverbio
- PRP: pronombre
Conjunto de etiquetas ICTCLAS de uso común en chino (parcial):
- n: sustantivo
- v: verbo
- a: adjetivo
- d: adverbio
- r: pronombre
Métodos automáticos de etiquetado de partes de la oración
- Métodos basados en reglas: usan reglas escritas manualmente para etiquetar
- Métodos basados en estadísticas: modelos como HMM, MaxEnt, etc.
- Métodos basados en aprendizaje profundo: redes neuronales como RNN, Transformer, etc.
Ejemplo
import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("Natural Language Processing is fascinating!")
for token in doc:
print(token.text, token.pos_) # Imprimir cada palabra y su etiqueta gramatical
Métricas de evaluación para el etiquetado de partes de la oración:
- Exactitud (Accuracy)
- Exactitud para palabras desconocidas (OOV Accuracy)
- Análisis de la matriz de confusión
Recomendaciones prácticas
- Orden del flujo de preprocesamiento: manejo de codificación → limpieza de texto → tokenización → etiquetado de partes de la oración
- Principios para la selección de herramientas: seleccionar la herramienta adecuada según el idioma, los requisitos de la tarea y las exigencias de rendimiento
- Procesamiento personalizado: para dominios específicos puede ser necesario personalizar diccionarios o reglas
- Optimización del rendimiento: para textos a gran escala, considere usar procesamiento paralelo o herramientas eficientes