Оптимизация GPU и производительности в Ollama

Если модель работает медленно, подсказки о девяти из десяти причин можно найти в одной строке ollama ps. В этой главе мы переходим от методов устранения неполадок к поддержке оборудования и распределению между несколькими GPU, а затем к двум продвинутым переключателям: Flash Attention и квантованию KV-кэша.

Цель только одна: выжать максимум из вашего GPU.


Первый шаг всегда: убедиться, где работает модель

Первое действие при устранении проблем с производительностью — посмотреть на столбец PROCESSOR. Он напрямую показывает, куда загружены веса модели.

$ ollama ps
NAME             ID            SIZE      PROCESSOR    CONTEXT    UNTIL
qwen3.5:27b      a8b2c9d3e4f5  20.4GB    52%/48%      CPU/GPU    4 minutes from now

Три формы соответствуют совершенно разным ситуациям:

PROCESSOR показываетЗначениеОжидаемая скорость
100% GPUВсе веса загружены в VRAMПолная скорость GPU
100% CPUVRAM вообще не может это вместить, чистый инференс в памятиМедленнее на один-два порядка
52%/48% CPU/GPUНедостаточно VRAM, веса разделеныЗаметное падение, узкое место — передача между устройствами

Нагляднее рассматривать это вместе со скоростью генерации: eval_count / eval_duration * 10^9 в конце ответа API даёт token/s (см. применение в более поздней части главы об API). Используйте это число как количественный ориентир для каждой оптимизации.

При обнаружении медленной модели следуйте приведённому ниже пути принятия решений:

性能排查决策流:按 PROCESSOR 列分流处理


Поддержка GPU-ускорения по платформам

Ollama поддерживает четыре основных бэкенда ускорения, и установка правильного драйвера — обязательное условие.

ПлатформаБэкендТребование
NVIDIACUDAВычислительная способность 5.0+, драйвер 550+ (старые карты с 5.0~6.2 требуют 570+)
AMD(Linux)ROCm v7Требуется драйвер ROCm v7; старые драйверы могут вызвать тайм-аут обнаружения и переключение на CPU
AMD(Windows)ROCm v7 / VulkanROCm v7 или стек драйверов HIP7; некоторые из серии RX 6000 используют Vulkan как запасной вариант
Apple SiliconMetalРаботает из коробки, настройка не требуется
Intel / ДругиеVulkanДополнительный бэкенд, включённый по умолчанию, охватывает старые карты AMD и графические процессоры Intel

Чтобы выяснить, распознаётся ли GPU, наиболее убедительны записи обнаружения в логах; пользователи NVIDIA также могут использовать docker run --gpus all ubuntu nvidia-smi для проверки проброса в сценариях с контейнерами.

Чтобы ограничить Ollama только определёнными GPU или принудительно включить режим только CPU, у каждого бэкенда есть соответствующие переключатели:

Пример

# NVIDIA: разрешить Ollama использовать только первый GPU (рекомендуется использовать UUID, проверьте с помощью nvidia-smi -L)
CUDA_VISIBLE_DEVICES=GPU-xxxx ollama serve

# AMD: аналогично используйте список устройств ROCr
ROCR_VISIBLE_DEVICES=0 ollama serve

# Vulkan: укажите индекс устройства
GGML_VK_VISIBLE_DEVICES=1 ollama serve

# Для всех трёх синтаксисов "-1" означает отключить GPU и принудительно использовать только CPU
CUDA_VISIBLE_DEVICES=-1 ollama serve

Распределение нагрузки между несколькими GPU

Стратегия распределения на машинах с несколькими GPU автоматическая, и есть только одно правило: предпочитать один GPU и разделять только если модель не помещается.

Когда модель полностью помещается в любую одну карту, Ollama выберет одну для загрузки — один GPU позволяет избежать передачи данных через PCIe и обычно является оптимальным решением по пропускной способности.

Когда один GPU не может вместить модель, она разделяется между всеми доступными GPU; в этом случае также нужно зарезервировать запас для KV-кэша и контекста. Это также распространённая причина, по которой модели с большим числом параметров "разделяются, хотя общий объём VRAM кажется достаточным."

При использовании нескольких GPU AMD в Linux некоторые версии драйверов могут выдавать искажённый вывод. Эти проблемы задокументированы в официальной документации AMD по известным проблемам с несколькими GPU; в первую очередь обновите драйвер ROCm.


Запас для оптимизации инференса на CPU

Она может работать без дискретной видеокарты, но есть несколько моментов, которые стоит выжать.

Ollama поставляется с несколькими библиотеками инференса на CPU, с рейтингом производительности: cpu_avx2 > cpu_avx > cpu. По умолчанию она выбирается автоматически; можно принудительно указать, когда автоопределение не срабатывает:

Пример

# Принудительно использовать библиотеку инференса AVX2
OLLAMA_LLM_LIBRARY=cpu_avx2 ollama serve

# Проверить, какие наборы инструкций поддерживает ваш CPU
cat /proc/cpuinfo | grep flags | head -1

Два дополнительных факта: среда трансляции Rosetta в macOS может использовать только базовую библиотеку cpu; количество потоков управляется параметром num_thread в options, который по умолчанию равен количеству физических ядер. Слепое увеличение может на самом деле замедлить работу из-за конкуренции гиперпоточности.

Скрытый главный фактор при инференсе на CPU — длина контекста: с одной и той же моделью разница в скорости инференса на CPU между контекстом 4K и 32K очень значительна. При настройке моделей для сценариев CPU не стоит бездумно задавать num_ctx очень большим.


Flash Attention и квантование KV-кэша

Эти две — самые важные оптимизации VRAM для сценариев с длинным контекстом. Они нацелены не на веса модели, а на KV-кэш, который растёт с контекстом.

Новые версии Ollama автоматически включают Flash Attention, когда бэкенд это поддерживает, а также вы можете принудительно включать/отключать его с помощью переменных окружения:

Пример

# Принудительно включить Flash Attention
OLLAMA_FLASH_ATTENTION=1 ollama serve

# Квантовать KV-кэш в 8-бит: объём VRAM уменьшается вдвое, почти без потери точности (рекомендуется)
OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve
Тип KV-кэшаИспользование VRAMВлияние на качествоРекомендация
f16 (по умолчанию)Базовый уровеньБез потерьОставляйте значение по умолчанию, когда VRAM в избытке
q8_0Примерно вдвое меньшеПочти незаметноРекомендуемый выбор для сценариев с длинным контекстом
q4_0Примерно четвертьЗаметно при длинном контекстеРассматривать только при максимизации экономии VRAM

Следует учесть два момента: тип KV-кэша — это глобальная конфигурация, которая применяется ко всем загруженным моделям; влияние квантования на качество зависит от модели, и некоторые модели с развитой структурой GQA более чувствительны. После переключения рекомендуется сравнить и проверить с помощью промптов с фиксированным seed.


Компромисс по качеству между точностью квантования и скоростью

В главе о выборе модели были рассмотрены преимущества квантования по размеру; здесь мы добавим несколько выводов с точки зрения скорости.

PrecisionSizeСкоростьКачествоПрименимость
q8_0Примерно половина от fp16Близко к fp16Почти без потерьПредпочтительный выбор при избытке VRAM
q4_K_MПримерно четверть от fp16Обычно быстрееНебольшое снижениеУровень по умолчанию для локального развёртывания
q4_K_S и нижеМеньшеНе обязательно быстрееБолее заметное снижениеЭкстремальная экономия видеопамяти

Контринтуитивный момент: более низкая квантизация не обязательно быстрее. Скорость инференса ограничена пропускной способностью памяти, а некоторые низкобитные форматы требуют дополнительных вычислений для деквантизации. На практике они могут быть такими же или даже медленнее. Не смотрите только на цифры при выборе уровня квантизации.

Рекомендуемый метод сравнения: зафиксируйте seed и используйте один и тот же набор промптов, сравните вывод и token/s двух уровней квантизации при temperature 0.3, оценивая качество и скорость вместе.


Настройка параллелизма и пропускной способности

После того как оптимизация одиночного запроса достигнет своего предела, следующим шагом будет научить сервис обрабатывать параллельные запросы.

Ключевая переменная — OLLAMA_NUM_PARALLEL (число параллельных запросов на модель). Нужно учитывать цену: параллельная обработка умножает кэш контекста, а требуемая VRAM примерно равна этому значению, умноженному на пространство KV для длины контекста. Слишком большое значение может вытеснить модель из GPU.

Серверная очередь управляется параметром OLLAMA_MAX_QUEUE, по умолчанию 512. При превышении сразу возвращается 503, и клиенту нужно повторить попытку.

Порядок действий для настройки пропускной способности:

Шаг 1: настройка одиночного запроса (характеристики, квантование, FA и KV-кэш), чтобы подтвердить скорость одного потока.

Шаг 2: постепенно увеличивайте NUM_PARALLEL и на каждом уровне с помощью ollama ps убеждайтесь, что по-прежнему 100% GPU, наблюдая, растёт ли общая пропускная способность.

Шаг 3: когда появляется очередь 503 или смешанное разделение, отступите на один уровень — это красная линия VRAM.

Другие расширения