Оптимизация GPU и производительности в Ollama
Если модель работает медленно, подсказки о девяти из десяти причин можно найти в одной строке ollama ps. В этой главе мы переходим от методов устранения неполадок к поддержке оборудования и распределению между несколькими GPU, а затем к двум продвинутым переключателям: Flash Attention и квантованию KV-кэша.
Цель только одна: выжать максимум из вашего GPU.
Первый шаг всегда: убедиться, где работает модель
Первое действие при устранении проблем с производительностью — посмотреть на столбец PROCESSOR. Он напрямую показывает, куда загружены веса модели.
$ ollama ps NAME ID SIZE PROCESSOR CONTEXT UNTIL qwen3.5:27b a8b2c9d3e4f5 20.4GB 52%/48% CPU/GPU 4 minutes from now
Три формы соответствуют совершенно разным ситуациям:
| PROCESSOR показывает | Значение | Ожидаемая скорость |
|---|---|---|
| 100% GPU | Все веса загружены в VRAM | Полная скорость GPU |
| 100% CPU | VRAM вообще не может это вместить, чистый инференс в памяти | Медленнее на один-два порядка |
| 52%/48% CPU/GPU | Недостаточно VRAM, веса разделены | Заметное падение, узкое место — передача между устройствами |
Нагляднее рассматривать это вместе со скоростью генерации: eval_count / eval_duration * 10^9 в конце ответа API даёт token/s (см. применение в более поздней части главы об API). Используйте это число как количественный ориентир для каждой оптимизации.
При обнаружении медленной модели следуйте приведённому ниже пути принятия решений:
Поддержка GPU-ускорения по платформам
Ollama поддерживает четыре основных бэкенда ускорения, и установка правильного драйвера — обязательное условие.
| Платформа | Бэкенд | Требование |
|---|---|---|
| NVIDIA | CUDA | Вычислительная способность 5.0+, драйвер 550+ (старые карты с 5.0~6.2 требуют 570+) |
| AMD(Linux) | ROCm v7 | Требуется драйвер ROCm v7; старые драйверы могут вызвать тайм-аут обнаружения и переключение на CPU |
| AMD(Windows) | ROCm v7 / Vulkan | ROCm v7 или стек драйверов HIP7; некоторые из серии RX 6000 используют Vulkan как запасной вариант |
| Apple Silicon | Metal | Работает из коробки, настройка не требуется |
| Intel / Другие | Vulkan | Дополнительный бэкенд, включённый по умолчанию, охватывает старые карты AMD и графические процессоры Intel |
Чтобы выяснить, распознаётся ли GPU, наиболее убедительны записи обнаружения в логах; пользователи NVIDIA также могут использовать docker run --gpus all ubuntu nvidia-smi для проверки проброса в сценариях с контейнерами.
Чтобы ограничить Ollama только определёнными GPU или принудительно включить режим только CPU, у каждого бэкенда есть соответствующие переключатели:
Пример
CUDA_VISIBLE_DEVICES=GPU-xxxx ollama serve
# AMD: аналогично используйте список устройств ROCr
ROCR_VISIBLE_DEVICES=0 ollama serve
# Vulkan: укажите индекс устройства
GGML_VK_VISIBLE_DEVICES=1 ollama serve
# Для всех трёх синтаксисов "-1" означает отключить GPU и принудительно использовать только CPU
CUDA_VISIBLE_DEVICES=-1 ollama serve
Распределение нагрузки между несколькими GPU
Стратегия распределения на машинах с несколькими GPU автоматическая, и есть только одно правило: предпочитать один GPU и разделять только если модель не помещается.
Когда модель полностью помещается в любую одну карту, Ollama выберет одну для загрузки — один GPU позволяет избежать передачи данных через PCIe и обычно является оптимальным решением по пропускной способности.
Когда один GPU не может вместить модель, она разделяется между всеми доступными GPU; в этом случае также нужно зарезервировать запас для KV-кэша и контекста. Это также распространённая причина, по которой модели с большим числом параметров "разделяются, хотя общий объём VRAM кажется достаточным."
При использовании нескольких GPU AMD в Linux некоторые версии драйверов могут выдавать искажённый вывод. Эти проблемы задокументированы в официальной документации AMD по известным проблемам с несколькими GPU; в первую очередь обновите драйвер ROCm.
Запас для оптимизации инференса на CPU
Она может работать без дискретной видеокарты, но есть несколько моментов, которые стоит выжать.
Ollama поставляется с несколькими библиотеками инференса на CPU, с рейтингом производительности: cpu_avx2 > cpu_avx > cpu. По умолчанию она выбирается автоматически; можно принудительно указать, когда автоопределение не срабатывает:
Пример
OLLAMA_LLM_LIBRARY=cpu_avx2 ollama serve
# Проверить, какие наборы инструкций поддерживает ваш CPU
cat /proc/cpuinfo | grep flags | head -1
Два дополнительных факта: среда трансляции Rosetta в macOS может использовать только базовую библиотеку cpu; количество потоков управляется параметром num_thread в options, который по умолчанию равен количеству физических ядер. Слепое увеличение может на самом деле замедлить работу из-за конкуренции гиперпоточности.
Скрытый главный фактор при инференсе на CPU — длина контекста: с одной и той же моделью разница в скорости инференса на CPU между контекстом 4K и 32K очень значительна. При настройке моделей для сценариев CPU не стоит бездумно задавать num_ctx очень большим.
Flash Attention и квантование KV-кэша
Эти две — самые важные оптимизации VRAM для сценариев с длинным контекстом. Они нацелены не на веса модели, а на KV-кэш, который растёт с контекстом.
Новые версии Ollama автоматически включают Flash Attention, когда бэкенд это поддерживает, а также вы можете принудительно включать/отключать его с помощью переменных окружения:
Пример
OLLAMA_FLASH_ATTENTION=1 ollama serve
# Квантовать KV-кэш в 8-бит: объём VRAM уменьшается вдвое, почти без потери точности (рекомендуется)
OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve
| Тип KV-кэша | Использование VRAM | Влияние на качество | Рекомендация |
|---|---|---|---|
| f16 (по умолчанию) | Базовый уровень | Без потерь | Оставляйте значение по умолчанию, когда VRAM в избытке |
| q8_0 | Примерно вдвое меньше | Почти незаметно | Рекомендуемый выбор для сценариев с длинным контекстом |
| q4_0 | Примерно четверть | Заметно при длинном контексте | Рассматривать только при максимизации экономии VRAM |
Следует учесть два момента: тип KV-кэша — это глобальная конфигурация, которая применяется ко всем загруженным моделям; влияние квантования на качество зависит от модели, и некоторые модели с развитой структурой GQA более чувствительны. После переключения рекомендуется сравнить и проверить с помощью промптов с фиксированным seed.
Компромисс по качеству между точностью квантования и скоростью
В главе о выборе модели были рассмотрены преимущества квантования по размеру; здесь мы добавим несколько выводов с точки зрения скорости.
| Precision | Size | Скорость | Качество | Применимость |
|---|---|---|---|---|
| q8_0 | Примерно половина от fp16 | Близко к fp16 | Почти без потерь | Предпочтительный выбор при избытке VRAM |
| q4_K_M | Примерно четверть от fp16 | Обычно быстрее | Небольшое снижение | Уровень по умолчанию для локального развёртывания |
| q4_K_S и ниже | Меньше | Не обязательно быстрее | Более заметное снижение | Экстремальная экономия видеопамяти |
Контринтуитивный момент: более низкая квантизация не обязательно быстрее. Скорость инференса ограничена пропускной способностью памяти, а некоторые низкобитные форматы требуют дополнительных вычислений для деквантизации. На практике они могут быть такими же или даже медленнее. Не смотрите только на цифры при выборе уровня квантизации.
Рекомендуемый метод сравнения: зафиксируйте seed и используйте один и тот же набор промптов, сравните вывод и token/s двух уровней квантизации при temperature 0.3, оценивая качество и скорость вместе.
Настройка параллелизма и пропускной способности
После того как оптимизация одиночного запроса достигнет своего предела, следующим шагом будет научить сервис обрабатывать параллельные запросы.
Ключевая переменная — OLLAMA_NUM_PARALLEL (число параллельных запросов на модель). Нужно учитывать цену: параллельная обработка умножает кэш контекста, а требуемая VRAM примерно равна этому значению, умноженному на пространство KV для длины контекста. Слишком большое значение может вытеснить модель из GPU.
Серверная очередь управляется параметром OLLAMA_MAX_QUEUE, по умолчанию 512. При превышении сразу возвращается 503, и клиенту нужно повторить попытку.
Порядок действий для настройки пропускной способности:
Шаг 1: настройка одиночного запроса (характеристики, квантование, FA и KV-кэш), чтобы подтвердить скорость одного потока.
Шаг 2: постепенно увеличивайте NUM_PARALLEL и на каждом уровне с помощью ollama ps убеждайтесь, что по-прежнему 100% GPU, наблюдая, растёт ли общая пропускная способность.
Шаг 3: когда появляется очередь 503 или смешанное разделение, отступите на один уровень — это красная линия VRAM.
Другие расширения