Библиотека моделей Ollama и выбор модели

В этой главе будет представлен горизонтальный обзор того, как читать библиотеку моделей Ollama, позиционирования основных семейств моделей и компромиссов точности квантования, что в итоге даст вам практический метод выбора моделей по задаче.

Если модель выбрана правильно, половина проблем с производительностью исчезает.


Как читать библиотеку моделей: система тегов возможностей

Библиотека моделей Ollama (ollama.com/search) использует систему тегов для обозначения возможностей каждой модели. Первый шаг при выборе модели — фильтрация по тегам.

ТегЗначениеТипичное использование
visionПоддерживает ввод изображенийВопросы и ответы по изображениям, понимание скриншотов, распознавание документов
toolsПоддерживает вызов инструментовАгент, вызов функций, автоматизация
thinkingПоддерживает режим мышленияМатематика, логика, сложные рассуждения
эмбеддингТекст в векторRAG, семантический поиск, база знаний
облакоРаботает в облаке, локальные вычисления не требуютсяВызывать большие модели, когда локальной конфигурации недостаточно

Возьмём в качестве примера qwen3.5, используемую в этом руководстве: в библиотеке моделей она одновременно несёт теги vision, tools и thinking, что делает её «универсалом». Именно поэтому вся книга выбирает её в качестве тестовой модели.

На странице каждой модели также перечислены все теги, размер загрузки, контекстное окно, типы входных данных и время обновления. Если потратить минуту на их чтение перед загрузкой, можно сэкономить много времени на пробах и ошибках.


Обзор основных семейств моделей

Ollama — это не модель, а платформа для запуска различных открытых моделей. Ниже приведены несколько самых распространённых на данный момент семейств:

СемействоПроизводительПозиционирование и особенностиПодходящие сценарии
Qwen (Tongyi Qianwen)AlibabaПолный диапазон размеров, сильные возможности для китайского языка, полная поддержка мультимодальности и вызова инструментовКитайские задачи, общая разработка, примеры в этом руководстве
DeepSeekDeepSeekСерия рассуждений (R1) превосходно справляется с цепочками рассужденийМатематика, логика, задачи, требующие глубоких рассуждений
GemmaGoogleОтличная производительность в лёгких размерах, мультимодальностьУстройства с низкими характеристиками, лёгкие задачи
LlamaMetaСамая широкая экосистема, обилие ресурсов сообществаОбщие задачи, сценарии на английском
GPT-OSSOpenAIСерия OpenAI с открытым исходным кодом, поддерживает уровни мышленияОбщие задачи, эксперименты с агентами
MistralMistral AIПредставитель европейского лагеря, эффективные небольшие моделиЛегковесное развёртывание, многоязычность

Скорость итерации моделей измеряется неделями; конкретные доступные размеры и возможности зависят от актуальных страниц библиотеки моделей. Подход к выбору важнее конкретных выводов: сначала определите задачу и теги возможностей, затем посмотрите на соответствие между размером и оборудованием.


Точность квантования: компромисс между размером и качеством

Квантование — это метод, который сжимает веса модели из десятичных чисел высокой точности в низкоразрядное хранилище. Это ключ к "запуску больших моделей на маленьких GPU".

Для разных квантованных версий одной и той же модели соотношение между размером и качеством примерно следующее:

PrecisionОтносительный размерПоказатели качестваПрименимые сценарии
fp16 / fp32Базовый (наибольший)Без потерьИсходные веса до обучения и квантования
q8_0Примерно 1/2Почти без потерьПредпочтительно при большом объёме VRAM
q4_K_MОколо 1/4Небольшое снижение, лучшее соотношение цены и производительностиВыбор для подавляющего большинства локальных развёртываний
q4_K_SНемного меньше, чем q4_K_MНемного ниже, чем q4_K_MЭкстремальная оптимизация VRAM

Модели в библиотеке моделей по умолчанию уже квантованы (обычно q4_K_M), готовы к использованию после загрузки, не нужно беспокоиться об этом самостоятельно.

Чтобы проверить фактическую точность локальной модели, можно узнать уровень квантования с помощью команд серии show или API; если вы хотите самостоятельно сжать модель fp16 до небольшого размера, просто используйте параметр quantize команды create. В следующей главе про Modelfile есть полный пример.


Выбор моделей по задаче

Превратите «выбор модели» в задачу классификации: сначала определите задачу, затем сравните с рекомендациями.

按任务选择模型的决策树

ЗадачаРекомендуемая модельСправочник по оборудованиюПримечания
Повседневное общение, написание текстовqwen3.5:4b ~ 9bРаботает с 16GB RAMЛучший выбор по соотношению цена-качество, полный набор тегов возможностей
Генерация кодаqwen3-coderРекомендуется 24GB VRAM или большеТребуется контекст 64K при использовании с инструментами для программирования
Математика, логические рассужденияdeepseek-r1 / qwen3.5 в режиме размышленияСтандартная конфигурация в зависимости от размераБолее стабильно, но медленнее после включения размышления
Просмотр изображений, понимание скриншотовqwen3.5 (встроенное зрение)То же, что размер диалогаПередайте путь к изображению прямо в командной строке
RAG, семантический поискembeddinggemma / qwen3-embeddingМалый размер, низкие требованияМодели эмбеддингов нельзя использовать для чата

Модели эмбеддингов и генеративные модели — это две разные вещи: первые только преобразуют текст в векторы для поиска и вычисления сходства и не выводят текстовые ответы. При построении базы знаний нужны обе; не путайте их.


Сопоставление размера с оборудованием

Метод исключения полезнее заучивания: сначала используйте грубое правило, чтобы определить, сможет ли оно запуститься, затем уточните.

Грубое правило: размер загружаемой модели примерно равен минимальному требованию к RAM/VRAM. Для реальной работы зарезервируйте дополнительно 1-2GB на накладные расходы; чем больше окно контекста, тем больше нужно добавить.

Ваша доступная RAM / VRAMМаксимальный размер, который можно запуститьРекомендация
8GBqwen3.5:0.8b ~ 2bОриентировано на опыт, примите потолок возможностей
16GBqwen3.5:4b ~ 9bЗолотая середина для повседневного использования
8GB VRAM (выделенная GPU)qwen3.5:9bОставить 100% GPU для скорости
24GB VRAMqwen3.5:27b / qwen3-coderПродвинутые задачи разработки и программирования
48GB VRAM или больше35b+ и комбинации из нескольких GPUКонтекст по умолчанию также увеличивается автоматически

После запуска используйтеollama psПроверка: Если в столбце PROCESSOR указано 100% GPU, это означает, что всё находится в VRAM; если отображается смешанное соотношение CPU/GPU, это означает, что VRAM недостаточно и модель разделена, что вызывает заметное падение скорости. В этом случае следует переключиться на модель меньшего размера, а не терпеть.


Облачные модели и механизм вывода из эксплуатации

Когда локальных вычислительных ресурсов недостаточно, но вы всё ещё хотите использовать очень большие модели, Ollama предлагает третий путь: облачные модели с тегом cloud.

Примеры

# Вход в аккаунт Ollama (требуется для облачных моделей)
ollama signin

# Запускайте облачные модели как локальные, без необходимости скачивать веса
ollama run qwen3.5:cloud

Облачные модели используются точно так же, как локальные модели: те же команды, тот же API, те же интеграции с инструментами, за исключением того, что инференс выполняется на серверах Ollama.

Обратите внимание, что для облачных моделей действует механизм вывода из эксплуатации: официальная команда периодически удаляет старые модели и предлагает рекомендуемые замены, уведомляя пользователей по электронной почте и через объявления на официальном сайте. Автоматизированным рабочим процессам, которые зависят от облачной модели, следует обращать внимание на такие уведомления.

Локальные модели совершенно не подвержены механизму вывода из эксплуатации. Веса, загруженные на диск, всегда можно использовать, и это также особенность, которая делает чисто локальные решения наиболее надёжными для команд.

Другие расширения