Arquitectura Transformer

La arquitectura Transformer es un modelo de aprendizaje profundo basado en el mecanismo de autoatención (Self-Attention), propuesto por el equipo de Google en el artículo de 2017《Attention Is All You Need》y presentado por primera vez en dicho artículo.

Transformer ha transformado por completo el campo del procesamiento del lenguaje natural (NLP) y se ha convertido en la base fundamental de los modelos modernos de lenguaje de gran escala (como GPT, BERT, etc.).

Transformer, similar a las redes neuronales recurrentes (RNN), está diseñado para procesar datos de entrada secuenciales como el lenguaje natural, y es adecuado para tareas como la traducción automática y el resumen de texto. Sin embargo, a diferencia de las RNN, Transformer no necesita procesar la secuencia paso a paso, sino que puede procesar toda la entrada en paralelo de una sola vez.

Este capítulo te ayudará a comprender en profundidad la idea central, la composición de la arquitectura y el principio de funcionamiento de Transformer, permitiéndote dominar los conceptos básicos de esta tecnología revolucionaria.


Diagrama de la arquitectura Transformer

A la izquierda está el codificador, a la derecha el decodificador.

1. Procesamiento de entrada (parte inferior)

  • Embeddings/Projections (capas de incrustación/proyección)
    • Función: convierte las palabras (o tokens) de entrada en vectores numéricos (por ejemplo, 'gato' → [0.2, -0.5, 0.7…]).
    • Analogía: es como asignar a cada palabra un 'número de identificación' único, pero más inteligente (incluye información semántica).

2. Codificador (lado izquierdo)

  • Multi-Headed Self-Attention (autoatención multicabeza)

    • Función: permite que el modelo preste atención a todas las palabras de la entrada simultáneamente y calcule las relaciones entre ellas.
    • Ejemplo: en la oración 'el gato persigue al ratón', el modelo aprende que la relación entre 'gato' y 'ratón' es más fuerte que entre 'gato' y 'persigue'.
    • Clave:Procesa todas las palabras en paralelo, a diferencia de las RNN que requieren cálculo paso a paso.
  • Norm (normalización de capa)

    • Función: estabiliza el proceso de entrenamiento y evita que los valores sean demasiado grandes o pequeños (similar a ajustar el 'volumen' al rango adecuado).
  • Feed-Forward Network (red neuronal de avance)

    • Función: procesa aún más la representación de cada palabra (por ejemplo, extrae características más complejas).
    • Analogía: es como hacer una interpretación profunda del vector de 'gato', añadiendo detalles (por ejemplo, 'el gato es un mamífero').

3. Decodificador (lado derecho)

  • Masked Multi-Headed Self-Attention (autoatención multicabeza con máscara)

    • Función: evitar que el modelo 'haga trampa' durante el entrenamiento (solo puede ver las palabras actuales y anteriores, no las futuras).
    • Ejemplo: al generar 'yo amo __', el modelo solo puede predecir la siguiente palabra basándose en 'yo' y 'amo', no puede saber de antemano que la respuesta es 'tú'.
  • Multi-Headed Cross-Attention (atención cruzada multicabeza)

    • Función: permite que el decodificador pregunte al codificador: '¿En qué parte de la entrada debería centrarme?'
    • Escenario: en tareas de traducción, cuando el decodificador genera texto en inglés, consulta la entrada en chino procesada por el codificador.
  • Norm y Feed-Forward Network

    • Similar al codificador, normaliza y procesa en profundidad las representaciones del decodificador.

4. Salida (parte superior)

  • Linear (capa lineal)
    • Función: mapea la salida del decodificador al vocabulario (por ejemplo, predice que la siguiente palabra con mayor probabilidad es 'tú').
    • Ejemplo: con la entrada 'yo amo', el modelo puede dar una probabilidad del 80% para 'tú' y del 10% para 'comer'…

Idea central de Transformer

Mecanismo de autoatención (Self-Attention)

La idea central de Transformer es depender completamente del mecanismo de atención (sin necesidad de estructuras recurrentes o convolucionales) para capturar las dependencias globales en la secuencia de entrada, logrando así un cálculo paralelo eficiente y un modelado de dependencias de largo alcance más fuerte.

Ejemplo

# Ejemplo simplificado de cálculo de autoatención
def self_attention(query, key, value):
    scores = torch.matmul(query, key.transpose(-2, -1))  # Calcular la similitud
    weights = torch.softmax(scores, dim=-1)  # Convertir a distribución de probabilidad
    output = torch.matmul(weights, value)  # Suma ponderada
    return output

Fórmula:

\[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V \]

  • \(Q\) (Query), \(K\) (Key) y \(V\) (Value) son matrices obtenidas mediante transformaciones lineales de la entrada.
  • \(\sqrt{d_k}\) es el factor de escala, que evita que el producto punto sea demasiado grande y cause la desaparición del gradiente.

Atención multicabeza (Multi-Head Attention)

  • El mecanismo de autoatención se ejecuta varias veces en paralelo (múltiples 'cabezas'), cada cabeza aprende diferentes patrones de atención y los resultados se concatenan al final.
  • Ventaja: captura información contextual más rica (como dependencias locales/globales, características sintácticas/semánticas).

Codificación posicional (Positional Encoding)

  • Transformer en sí no tiene estructuras recurrentes ni convolucionales, por lo que no puede percibir directamente el orden de la secuencia; por lo tanto, necesita inyectar explícitamente información posicional.
  • Utiliza funciones seno/coseno o codificaciones posicionales aprendibles:

Red neuronal de avance (Feed-Forward Network, FFN)

  • La representación de cada posición se transforma aún más mediante una red totalmente conectada de dos capas (con activación no lineal, como ReLU).
  • Fórmula: \( \text{FFN}(x) = \max(0, xW_1 + b_1)W_2 + b_2 \).

Conexión residual y normalización de capa (Residual Connection & Layer Norm)

  • Conexión residual: suma directamente la entrada a la salida (como \( x + \text{Sublayer}(x) \)), aliviando la desaparición del gradiente.
  • Normalización de capa: normaliza la salida de cada capa para acelerar el entrenamiento.

Capacidad de procesamiento en paralelo

A diferencia de las RNN/LSTM tradicionales, Transformer puede procesar toda la secuencia en paralelo, lo que mejora enormemente la eficiencia del entrenamiento.

Modelado de dependencias globales

No importa cuán lejos estén las palabras entre sí, Transformer puede establecer dependencias directamente, resolviendo el problema de las dependencias de largo alcance.


Estructura codificador-decodificador

Transformer adopta la arquitectura clásica de codificador-decodificador, pero cada parte está compuesta por múltiples capas de módulos idénticos apilados.

Codificador (Encoder)

Componente Descripción de la función Importancia
Atención multicabeza Captura información semántica de diferentes subespacios ★★★★★
Red de avance Transformación no lineal y extracción de características ★★★★
Conexión residual Alivia el problema de la desaparición del gradiente ★★★★
Normalización de capa Estabiliza el proceso de entrenamiento ★★★★

Decodificador (Decoder)

El decodificador añade, sobre la base del codificador:

  1. Atención multicabeza con máscara: evita que la posición actual preste atención a información futura
  2. Atención codificador-decodificador: integra información del idioma de origen

Codificación posicional (Positional Encoding)

Debido a que Transformer no tiene estructuras recurrentes, es necesario inyectar explícitamente la información posicional.

Fórmula de codificación posicional sinusoidal

La fórmula se divide en dos partes, correspondientes a las dimensiones pares e impares del vector de codificación posicional:Dimensión par (2i),Dimensión impar (2i+1)。

Descripción de parámetros:

  • pos: posición de la palabra en la secuencia (por ejemplo, 1.ª palabra, 2.ª palabra, etc.).

  • i: índice de dimensión del vector de codificación posicional (0 ≤ i < d_model/2)。

  • d_model: dimensión de la codificación posicional (normalmente igual a la dimensión del vector de palabras, como 512, 768, etc.).

Características de la codificación posicional

  1. Sensible a la posición relativa: puede aprender relaciones de posición relativa
  2. Longitud escalable: puede manejar secuencias más largas que las de entrenamiento
  3. Determinístico: no necesita aprendizaje, se calcula directamente

Ejemplo

# Ejemplo de implementación de codificación posicional
class PositionalEncoding(nn.Module):
    def __init__(self, d_model, max_len=5000):
        super().__init__()
        position = torch.arange(max_len).unsqueeze(1)
        div_term = torch.exp(torch.arange(0, d_model, 2) * (-math.log(10000.0) / d_model))
        pe = torch.zeros(max_len, d_model)
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        self.register_buffer('pe', pe)

Ventajas de Transformer

Comparación con arquitecturas tradicionales

Característica Transformer RNN/LSTM CNN
Paralelismo Completamente paralelo Procesamiento de secuencias Paralelismo local
Dependencia de larga distancia Modelado directo Transmisión gradual Campo receptivo limitado
Velocidad de entrenamiento Rápido Lento Media
Consumo de memoria Alto Medio bajo

Ventajas en aplicaciones prácticas

  1. Rendimiento excepcional: alcanza el estado del arte en la mayoría de las tareas de PLN
  2. Escalabilidad: el tamaño del modelo puede ampliarse fácilmente (como GPT-3)
  3. Adaptación multimodal: se puede aplicar a múltiples tipos de datos como texto, imágenes, voz, etc.
  4. Amigable con el aprendizaje por transferencia: el paradigma de preentrenamiento + ajuste fino es muy efectivo

Ejercicios prácticos

Ejercicio 1: Implementar autoatención básica

Ejemplo

import torch
import torch.nn.functional as F

def scaled_dot_product_attention(Q, K, V, mask=None):
    d_k = Q.size(-1)
    scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(d_k)
    if mask is not None:
        scores = scores.masked_fill(mask == 0, -1e9)
    weights = F.softmax(scores, dim=-1)
    return torch.matmul(weights, V)

Ejercicio 2: Comprender la codificación posicional

  1. Visualizar los vectores de codificación posicional en diferentes posiciones
  2. Calcular la similitud entre codificaciones posicionales y observar las relaciones de posición

Preguntas frecuentes

P: ¿Por qué el Transformer es más adecuado que las RNN para textos largos?R: Las RNN necesitan transmitir información paso a paso, y las dependencias de larga distancia se pierden fácilmente; mientras que el Transformer puede establecer directamente la relación entre dos palabras cualesquiera.

P: ¿Por qué se elige la función seno para la codificación posicional?R: La función seno es periódica y puede representar relaciones de posición relativa, además de poder extenderse a longitudes de secuencia no vistas en el entrenamiento.

P: ¿Dónde está el principal cuello de botella computacional del Transformer?R: La complejidad espacial del mecanismo de autoatención es O(n²), y procesar secuencias largas consume una gran cantidad de memoria.


Resumen

La arquitectura Transformer ha revolucionado la forma de modelar secuencias mediante el mecanismo de autoatención; sus ventajas principales son:

  1. Gran capacidad de cálculo paralelo
  2. Modelado eficiente de dependencias de largo plazo
  3. Flexibilidad y escalabilidad
  4. Excelente rendimiento

Dominar los principios básicos del Transformer es una base importante para aprender las técnicas modernas de PLN, y también es la clave para comprender modelos de vanguardia como BERT y GPT.

Otras extensiones