Ollama GPU y optimización de rendimiento
Si el modelo va lento, en nueve de cada diez casos la pista está en una línea de ollama ps. Este capítulo va desde los métodos de diagnóstico hasta el soporte de hardware, la distribución en múltiples GPU, y luego los dos interruptores avanzados de Flash Attention y cuantización de caché KV.
El objetivo es uno solo: sacar el máximo provecho a tu tarjeta gráfica.
El primer paso siempre es: confirmar dónde se ejecuta el modelo
La primera acción en el diagnóstico de rendimiento es mirar la columna PROCESSOR, que te dice directamente dónde están cargados los pesos del modelo.
$ ollama ps NAME ID SIZE PROCESSOR CONTEXT UNTIL qwen3.5:27b a8b2c9d3e4f5 20.4GB 52%/48% CPU/GPU 4 minutes from now
Tres formas corresponden a situaciones completamente diferentes:
| Muestra de PROCESSOR | Significado | Expectativa de velocidad |
|---|---|---|
| 100% GPU | Todos los pesos cargados en la VRAM | Velocidad máxima de la tarjeta gráfica |
| 100% CPU | La VRAM no alcanza en absoluto, inferencia solo con memoria RAM | De uno a dos órdenes de magnitud más lento |
| 52%/48% CPU/GPU | VRAM insuficiente, los pesos se dividen | Disminución notable, limitado por la transferencia entre dispositivos |
Es más intuitivo verlo junto con la velocidad de generación: eval_count / eval_duration * 10^9 al final de la respuesta de la API es token/s (uso descrito más adelante en el capítulo de API). Usa ese número como medida cuantitativa para cada optimización.
Cuando te encuentres con un modelo lento, sigue la siguiente ruta de decisión:
Soporte de aceleración GPU por plataforma
Ollama admite cuatro backends de aceleración; tener el controlador correcto es un requisito previo.
| Plataforma | Backend | Requisito |
|---|---|---|
| NVIDIA | CUDA | Capacidad de cómputo 5.0 o superior, controlador 550+ (tarjetas antiguas 5.0~6.2 necesitan 570+) |
| AMD(Linux) | ROCm v7 | Requiere controlador ROCm v7; los controladores antiguos causan tiempo de espera de detección y retroceso a CPU |
| AMD(Windows) | ROCm v7 / Vulkan | Pila de controladores ROCm v7 o HIP7; algunas series RX 6000 usan Vulkan como respaldo |
| Apple Silicon | Metal | Listo para usar, sin configuración necesaria |
| Intel / Otros | Vulkan | Backend complementario habilitado por defecto, cubre tarjetas AMD antiguas y GPUs Intel |
Para diagnosticar si la GPU es reconocida, lo más convincente es ver los registros de detección en el log; los usuarios de NVIDIA también pueden usar docker run --gpus all ubuntu nvidia-smi para verificar el paso directo en escenarios de contenedores.
Para limitar Ollama a usar solo ciertas tarjetas, o forzar solo CPU, cada backend tiene su interruptor correspondiente:
Ejemplo
CUDA_VISIBLE_DEVICES=GPU-xxxx ollama serve
# AMD: de igual forma, usa la lista de dispositivos ROCr
ROCR_VISIBLE_DEVICES=0 ollama serve
# Vulkan: especifica el índice del dispositivo
GGML_VK_VISIBLE_DEVICES=1 ollama serve
# En las tres formas, "-1" significa deshabilitar GPU y forzar solo CPU
CUDA_VISIBLE_DEVICES=-1 ollama serve
Distribución de carga en múltiples GPU
La estrategia de asignación en máquinas con múltiples tarjetas es automática, con una sola regla: priorizar una sola tarjeta, y dividir solo si no cabe.
Cuando el modelo cabe completo en cualquiera de las tarjetas, Ollama elegirá una para cargarlo — una sola tarjeta evita la transferencia de datos a través de PCIe, y suele ser la solución óptima de rendimiento.
Cuando no cabe en una sola tarjeta, el modelo se divide entre todas las tarjetas disponibles; además, hay que dejar margen para la caché KV y el contexto. Esta es también la razón común por la que los modelos de parámetros grandes "se dividen aunque la VRAM total sea suficiente".
En Linux, al mezclar varias tarjetas AMD, algunas versiones de controladores pueden producir salida corrupta; este tipo de problema está documentado en la lista de problemas conocidos de múltiples tarjetas de AMD. Se recomienda priorizar la actualización del controlador ROCm.
Espacio de optimización para inferencia en CPU
Se puede ejecutar sin GPU dedicada, pero hay algunos puntos que conviene exprimir al máximo.
Ollama incluye varias bibliotecas de inferencia CPU, con orden de rendimiento cpu_avx2 superior a cpu_avx superior a cpu; se selecciona automáticamente por defecto. Cuando la detección automática falla, se puede especificar forzosamente:
Ejemplo
OLLAMA_LLM_LIBRARY=cpu_avx2 ollama serve
# Confirmar qué conjuntos de instrucciones soporta tu CPU
cat /proc/cpuinfo | grep flags | head -1
Dos datos adicionales: el entorno de traducción Rosetta de macOS solo puede usar la biblioteca cpu básica; el número de hilos se controla con num_thread en options, que por defecto toma los núcleos físicos. Aumentarlo a ciegas puede hacer que sea más lento debido a la competencia de hyper-threading.
El costo oculto más grande de la inferencia en CPU es la longitud de contexto: con el mismo modelo, la diferencia de velocidad de inferencia en CPU entre un contexto de 4K y uno de 32K es muy evidente. Al configurar modelos para escenarios de CPU, no establezcas num_ctx en un valor grande sin pensar.
Flash Attention y cuantización de caché KV
Estas dos son las optimizaciones de VRAM más importantes para escenarios de contexto largo. Su objetivo no son los pesos del modelo, sino la caché KV que crece con el contexto.
Las versiones nuevas de Ollama habilitan Flash Attention automáticamente cuando el backend lo soporta, y también se puede forzar con variables:
Ejemplo
OLLAMA_FLASH_ATTENTION=1 ollama serve
# Cuantización de caché KV a 8 bits: la VRAM se reduce a la mitad, precisión casi sin pérdida (recomendado)
OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve
| Tipo de caché KV | Uso de VRAM | Impacto en la calidad | Recomendación |
|---|---|---|---|
| f16 (predeterminado) | Referencia | Sin pérdida | Mantener el predeterminado cuando hay VRAM suficiente |
| q8_0 | Aproximadamente la mitad | Casi imperceptible | Opción recomendada para escenarios de contexto largo |
| q4_0 | Aproximadamente una cuarta parte | Perceptible en contexto largo | Considerar solo al exprimir al límite |
Dos puntos a tener en cuenta: el tipo de caché KV es una configuración global que afecta a todos los modelos cargados; el impacto de la cuantización en la calidad varía según el modelo, y algunos modelos con estructura GQA alta son más sensibles. Después de cambiar, se recomienda comparar y verificar con indicaciones de seed fijo.
Compromiso de calidad entre precisión de cuantización y velocidad
El capítulo de selección de modelos ya habló de los beneficios de tamaño de la cuantización; aquí se añaden algunas conclusiones desde la perspectiva de la velocidad.
| Precisión | Tamaño | Velocidad | Calidad | Aplicabilidad |
|---|---|---|---|---|
| q8_0 | Aproximadamente la mitad de fp16 | Cercano a fp16 | Casi sin pérdida | Opción preferida cuando hay VRAM suficiente |
| q4_K_M | Aproximadamente una cuarta parte de fp16 | Generalmente más rápido | Ligera disminución | Nivel predeterminado para despliegue local |
| q4_K_S e inferior | Más pequeño | No necesariamente más rápido | Disminución más notable | Ahorro extremo de VRAM |
Un punto contraintuitivo: una cuantización más baja no necesariamente es más rápida. La velocidad de inferencia está limitada por el ancho de banda de memoria; algunos formatos de bits bajos requieren cálculos adicionales de descuantización, y en la práctica pueden igualar o incluso ser más lentos. Al elegir el nivel de cuantización, no mires solo los números.
Método de comparación recomendado: fija el seed y el mismo conjunto de indicaciones, compara la salida y los token/s de dos niveles de cuantización a una temperatura baja de 0.3, evaluando calidad y velocidad juntas.
Ajuste de concurrencia y rendimiento
Después de optimizar al máximo las solicitudes individuales, el siguiente paso es hacer que el servicio soporte la concurrencia.
La variable clave es OLLAMA_NUM_PARALLEL (número de solicitudes paralelas por modelo). El costo hay que tenerlo presente: el procesamiento paralelo replica la caché de contexto por un múltiplo, y la VRAM necesaria es aproximadamente igual al espacio KV de ese valor × longitud de contexto. Si se configura demasiado alto, el modelo puede ser expulsado de la GPU.
La cola del servidor se controla con OLLAMA_MAX_QUEUE, con valor predeterminado 512. Si se supera, devuelve 503 directamente, y el cliente debe hacer reintentos.
Orden de operaciones para el ajuste de rendimiento:
Primer paso: ajuste de solicitud individual (especificación, cuantización, FA y caché KV) para confirmar la velocidad de una sola vía.
Segundo paso: aumentar gradualmente NUM_PARALLEL, en cada nivel usar ollama ps para confirmar que sigue siendo 100% GPU, y observar si el rendimiento total aumenta.
Tercer paso: cuando aparezcan colas 503 o división mixta, retrocede un nivel; esa es la línea roja de la VRAM.
Otras extensiones