Ollama GPU y optimización de rendimiento

Si el modelo va lento, en nueve de cada diez casos la pista está en una línea de ollama ps. Este capítulo va desde los métodos de diagnóstico hasta el soporte de hardware, la distribución en múltiples GPU, y luego los dos interruptores avanzados de Flash Attention y cuantización de caché KV.

El objetivo es uno solo: sacar el máximo provecho a tu tarjeta gráfica.


El primer paso siempre es: confirmar dónde se ejecuta el modelo

La primera acción en el diagnóstico de rendimiento es mirar la columna PROCESSOR, que te dice directamente dónde están cargados los pesos del modelo.

$ ollama ps
NAME             ID            SIZE      PROCESSOR    CONTEXT    UNTIL
qwen3.5:27b      a8b2c9d3e4f5  20.4GB    52%/48%      CPU/GPU    4 minutes from now

Tres formas corresponden a situaciones completamente diferentes:

Muestra de PROCESSORSignificadoExpectativa de velocidad
100% GPUTodos los pesos cargados en la VRAMVelocidad máxima de la tarjeta gráfica
100% CPULa VRAM no alcanza en absoluto, inferencia solo con memoria RAMDe uno a dos órdenes de magnitud más lento
52%/48% CPU/GPUVRAM insuficiente, los pesos se dividenDisminución notable, limitado por la transferencia entre dispositivos

Es más intuitivo verlo junto con la velocidad de generación: eval_count / eval_duration * 10^9 al final de la respuesta de la API es token/s (uso descrito más adelante en el capítulo de API). Usa ese número como medida cuantitativa para cada optimización.

Cuando te encuentres con un modelo lento, sigue la siguiente ruta de decisión:

性能排查决策流:按 PROCESSOR 列分流处理


Soporte de aceleración GPU por plataforma

Ollama admite cuatro backends de aceleración; tener el controlador correcto es un requisito previo.

PlataformaBackendRequisito
NVIDIACUDACapacidad de cómputo 5.0 o superior, controlador 550+ (tarjetas antiguas 5.0~6.2 necesitan 570+)
AMD(Linux)ROCm v7Requiere controlador ROCm v7; los controladores antiguos causan tiempo de espera de detección y retroceso a CPU
AMD(Windows)ROCm v7 / VulkanPila de controladores ROCm v7 o HIP7; algunas series RX 6000 usan Vulkan como respaldo
Apple SiliconMetalListo para usar, sin configuración necesaria
Intel / OtrosVulkanBackend complementario habilitado por defecto, cubre tarjetas AMD antiguas y GPUs Intel

Para diagnosticar si la GPU es reconocida, lo más convincente es ver los registros de detección en el log; los usuarios de NVIDIA también pueden usar docker run --gpus all ubuntu nvidia-smi para verificar el paso directo en escenarios de contenedores.

Para limitar Ollama a usar solo ciertas tarjetas, o forzar solo CPU, cada backend tiene su interruptor correspondiente:

Ejemplo

# NVIDIA: haz que Ollama use solo la primera tarjeta (se recomienda usar UUID, ver con nvidia-smi -L)
CUDA_VISIBLE_DEVICES=GPU-xxxx ollama serve

# AMD: de igual forma, usa la lista de dispositivos ROCr
ROCR_VISIBLE_DEVICES=0 ollama serve

# Vulkan: especifica el índice del dispositivo
GGML_VK_VISIBLE_DEVICES=1 ollama serve

# En las tres formas, "-1" significa deshabilitar GPU y forzar solo CPU
CUDA_VISIBLE_DEVICES=-1 ollama serve

Distribución de carga en múltiples GPU

La estrategia de asignación en máquinas con múltiples tarjetas es automática, con una sola regla: priorizar una sola tarjeta, y dividir solo si no cabe.

Cuando el modelo cabe completo en cualquiera de las tarjetas, Ollama elegirá una para cargarlo — una sola tarjeta evita la transferencia de datos a través de PCIe, y suele ser la solución óptima de rendimiento.

Cuando no cabe en una sola tarjeta, el modelo se divide entre todas las tarjetas disponibles; además, hay que dejar margen para la caché KV y el contexto. Esta es también la razón común por la que los modelos de parámetros grandes "se dividen aunque la VRAM total sea suficiente".

En Linux, al mezclar varias tarjetas AMD, algunas versiones de controladores pueden producir salida corrupta; este tipo de problema está documentado en la lista de problemas conocidos de múltiples tarjetas de AMD. Se recomienda priorizar la actualización del controlador ROCm.


Espacio de optimización para inferencia en CPU

Se puede ejecutar sin GPU dedicada, pero hay algunos puntos que conviene exprimir al máximo.

Ollama incluye varias bibliotecas de inferencia CPU, con orden de rendimiento cpu_avx2 superior a cpu_avx superior a cpu; se selecciona automáticamente por defecto. Cuando la detección automática falla, se puede especificar forzosamente:

Ejemplo

# Forzar el uso de la biblioteca de inferencia AVX2
OLLAMA_LLM_LIBRARY=cpu_avx2 ollama serve

# Confirmar qué conjuntos de instrucciones soporta tu CPU
cat /proc/cpuinfo | grep flags | head -1

Dos datos adicionales: el entorno de traducción Rosetta de macOS solo puede usar la biblioteca cpu básica; el número de hilos se controla con num_thread en options, que por defecto toma los núcleos físicos. Aumentarlo a ciegas puede hacer que sea más lento debido a la competencia de hyper-threading.

El costo oculto más grande de la inferencia en CPU es la longitud de contexto: con el mismo modelo, la diferencia de velocidad de inferencia en CPU entre un contexto de 4K y uno de 32K es muy evidente. Al configurar modelos para escenarios de CPU, no establezcas num_ctx en un valor grande sin pensar.


Flash Attention y cuantización de caché KV

Estas dos son las optimizaciones de VRAM más importantes para escenarios de contexto largo. Su objetivo no son los pesos del modelo, sino la caché KV que crece con el contexto.

Las versiones nuevas de Ollama habilitan Flash Attention automáticamente cuando el backend lo soporta, y también se puede forzar con variables:

Ejemplo

# Forzar la activación de Flash Attention
OLLAMA_FLASH_ATTENTION=1 ollama serve

# Cuantización de caché KV a 8 bits: la VRAM se reduce a la mitad, precisión casi sin pérdida (recomendado)
OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve
Tipo de caché KVUso de VRAMImpacto en la calidadRecomendación
f16 (predeterminado)ReferenciaSin pérdidaMantener el predeterminado cuando hay VRAM suficiente
q8_0Aproximadamente la mitadCasi imperceptibleOpción recomendada para escenarios de contexto largo
q4_0Aproximadamente una cuarta partePerceptible en contexto largoConsiderar solo al exprimir al límite

Dos puntos a tener en cuenta: el tipo de caché KV es una configuración global que afecta a todos los modelos cargados; el impacto de la cuantización en la calidad varía según el modelo, y algunos modelos con estructura GQA alta son más sensibles. Después de cambiar, se recomienda comparar y verificar con indicaciones de seed fijo.


Compromiso de calidad entre precisión de cuantización y velocidad

El capítulo de selección de modelos ya habló de los beneficios de tamaño de la cuantización; aquí se añaden algunas conclusiones desde la perspectiva de la velocidad.

PrecisiónTamañoVelocidadCalidadAplicabilidad
q8_0Aproximadamente la mitad de fp16Cercano a fp16Casi sin pérdidaOpción preferida cuando hay VRAM suficiente
q4_K_MAproximadamente una cuarta parte de fp16Generalmente más rápidoLigera disminuciónNivel predeterminado para despliegue local
q4_K_S e inferiorMás pequeñoNo necesariamente más rápidoDisminución más notableAhorro extremo de VRAM

Un punto contraintuitivo: una cuantización más baja no necesariamente es más rápida. La velocidad de inferencia está limitada por el ancho de banda de memoria; algunos formatos de bits bajos requieren cálculos adicionales de descuantización, y en la práctica pueden igualar o incluso ser más lentos. Al elegir el nivel de cuantización, no mires solo los números.

Método de comparación recomendado: fija el seed y el mismo conjunto de indicaciones, compara la salida y los token/s de dos niveles de cuantización a una temperatura baja de 0.3, evaluando calidad y velocidad juntas.


Ajuste de concurrencia y rendimiento

Después de optimizar al máximo las solicitudes individuales, el siguiente paso es hacer que el servicio soporte la concurrencia.

La variable clave es OLLAMA_NUM_PARALLEL (número de solicitudes paralelas por modelo). El costo hay que tenerlo presente: el procesamiento paralelo replica la caché de contexto por un múltiplo, y la VRAM necesaria es aproximadamente igual al espacio KV de ese valor × longitud de contexto. Si se configura demasiado alto, el modelo puede ser expulsado de la GPU.

La cola del servidor se controla con OLLAMA_MAX_QUEUE, con valor predeterminado 512. Si se supera, devuelve 503 directamente, y el cliente debe hacer reintentos.

Orden de operaciones para el ajuste de rendimiento:

Primer paso: ajuste de solicitud individual (especificación, cuantización, FA y caché KV) para confirmar la velocidad de una sola vía.

Segundo paso: aumentar gradualmente NUM_PARALLEL, en cada nivel usar ollama ps para confirmar que sigue siendo 100% GPU, y observar si el rendimiento total aumenta.

Tercer paso: cuando aparezcan colas 503 o división mixta, retrocede un nivel; esa es la línea roja de la VRAM.

Otras extensiones