Параметры чата и генерации Ollama

В этой главе подробно рассматривается использование Ollama в режиме диалога: несколько режимов чата, параметры генерации, управляющие «характером» модели, контекстные окна, режим размышления и многое другое.


Три режима чата: интерактивный, однократный и конвейерный

Одна и та же команда run имеет варианты использования и применяется в разных сценариях

Интерактивный режим: многоходовой чат

Запустите напрямую, чтобы войти в диалог; модель запоминает контекст текущей сессии, что делает её подходящей для уточняющих вопросов:

Пример

# Войти в многоходовой интерактивный диалог
ollama run qwen3.5

Однократный вопрос-ответ: один вопрос — один ответ

Добавьте вопрос непосредственно как аргумент; выход сразу после получения ответа. Подходит для разовых задач:

Пример

# Однократный вопрос-ответ без входа в интерактивный интерфейс
ollama run qwen3.5 "Опиши Python одним предложением"

Конвейерный ввод: встраивание в скрипты

Передавайте текст модели через конвейер, что упрощает комбинирование с другими командами:

Пример

# Передайте содержимое файла модели для суммаризации
cat README.md | ollama run qwen3.5 "Суммируй это содержимое"

Кроме того, ввод трёх двойных кавычек в диалоге оборачивает многострочный текст; нажатие Enter для новой строки не считается отправкой.


Параметры генерации: управление «личностью» модели

Каждый раз, когда модель генерирует слово (токен), оно проходит через один и тот же внутренний конвейер; параметры генерации вмешиваются на разных этапах этого конвейера.

token 采样流程:概率分布、temperature 调整、截断过滤、采样输出

temperature делает распределение вероятностей более крутым или более пологим; top_k / top_p / min_p удаляют низкокачественные кандидаты; наконец, случайная выборка выбирает следующий токен.

Ниже приведены общие параметры (значения по умолчанию из официальной документации):

ПараметрЗначение по умолчаниюЭффектТипичное использование
temperature0.8Чем выше, тем креативнее; чем ниже, тем строже.Используйте 0~0.3 для написания кода и извлечения информации; около 1.0 — для креативного письма.
top_k40Выбирать только из k лучших кандидатов по вероятности.Понизьте его, чтобы сделать вывод более консервативным.
top_p0.9Выбирайте только из кандидатов, совокупная вероятность которых достигает p.Используйте как альтернативу top_k для тонкой настройки.
min_p0.0Установите минимальный порог для кандидатов на основе доли от максимальной вероятности.0.05 часто используется в качестве замены top_p.
repeat_penalty1.0Штрафовать повторяющееся содержимое.1.1 смягчает повторяющееся многословие.
seed0Зафиксируйте случайное зерно, чтобы обеспечить воспроизводимость.Фиксируйте результаты во время тестирования и отладки.
stopОтсутствуетНемедленно останавливайте генерацию при обнаружении заданной строки.Убирает лишние любезности или фиксированное форматирование.
num_predict-1Максимальное количество генерируемых токенов; -1 означает отсутствие ограничения.Ограничивает длину вывода длинных ответов.

Настраивайте в любое время с помощью встроенных команд в интерактивном режиме:

Пример

>>> /set parameter temperature 0.3
>>> /set parameter seed 42

Чтобы параметры действовали постоянно, запишите их в Modelfile, чтобы создать «предварительно настроенную» модель. Это основное использование Modelfile в следующей статье.

Небольшой эксперимент для проверки эффекта seed: зафиксируйте seed и задайте один и тот же вопрос дважды; выходные данные будут идентичными. Снимите фиксацию seed, и каждый ответ будет отличаться.


Контекстное окно num_ctx: рабочая память модели

Контекстное окно определяет, сколько содержимого модель может «видеть» одновременно, включая системную подсказку, историю диалога и ваш вопрос; этот объём измеряется в токенах.

Содержимое, не помещающееся в окно, обрезается; это основная причина того, что модель «забывает начало по мере продолжения диалога».

Ollama автоматически выбирает длину контекста по умолчанию на основе VRAM: менее 24GiB — по умолчанию 4K, 24-48GiB — по умолчанию 32K, а выше 48GiB — по умолчанию 256K. Облачные модели по умолчанию используют максимальный контекст.

Настроить это вручную можно тремя способами:

Пример

# Способ 1: Настроить текущую сессию в интерактивном режиме
/set parameter num_ctx 8192

# Способ 2: Задать глобальное значение по умолчанию при запуске сервиса
OLLAMA_CONTEXT_LENGTH=8192 ollama serve

# Способ 3: Указывать по требованию в API-запросах (options.num_ctx, см. главу об API)

Стоимость увеличения окна — более высокое потребление памяти; используйте ollama ps из предыдущей главы, чтобы проверить столбец CONTEXT и подтвердить текущее значение.

При интеграции Ollama в агенты, инструменты для программирования или сценарии веб-поиска официальная рекомендация — задавать контекст не менее 64K; иначе большой объём контента, возвращаемого инструментами, вытеснит пространство диалога.


Режим размышления: пусть модель подумает перед ответом

Модели рассуждений (например, qwen3.5, deepseek-r1) поддерживают сначала вывод процесса размышления, а затем ответ; подходят для математических и логических задач.

Ollama включает режим размышления по умолчанию, а также предоставляет переключатели для полного управления им:

Пример

# Принудительно включить размышление
ollama run qwen3.5 --think "Сколько будет 17 умножить на 23?"

# Отключить мышление и дать ответ напрямую
ollama run qwen3.5 --think=false "Расскажи о Python в одном предложении"

# Думать как обычно, но не отображать процесс размышлений в терминале
ollama run qwen3.5 --hidethinking "Что больше, 9.9 или 9.11?"

В интерактивном режиме используйте/set thinkи/set nothinkчтобы переключаться в любое время.

Некоторые модели поддерживают уровни усилий для размышлений; например, gpt-oss принимает только три уровня: low, medium и high. Используйте--think=mediumчтобы указать это в такой форме.

Отключение размышлений может значительно сократить время ответа, но точность задач на рассуждение может упасть. Сценарии, где приоритет отдается скорости ответа, например ассистенты для программирования, часто выбирают hidethinking — сохраняя качество размышлений и не позволяя процессу засорять терминал.


Мультимодальность: позвольте модели видеть изображения

qwen3.5 нативно поддерживает ввод изображений; в командной строке просто укажите путь к изображению после вопроса:

Пример

# Путь к изображению + вопрос, выполнить вопрос-ответ по изображению в одной строке
ollama run qwen3.5 ./screenshot.png Какая страница на этом скриншоте?

Использование API и SDK немного сложнее (кодирование base64) и демонстрируется в главе о возможностях зрения. Его также можно комбинировать со структурированным выводом, чтобы делать "изображение в структурированные данные".


Структурированный вывод: превращаем ответы в надёжный JSON

Когда программа разбирает ответы модели, самый большой страх — что формат каждый раз отличается. Ollama поддерживает принудительный вывод модели в соответствии с JSON Schema.

Пример

curl http://localhost:11434/api/chat -d '{
  "model": "qwen3.5",
"messages": [{ "role": "user", "content": "Introduce Python" }],
  "format": {
    "type": "object",
    "properties": {
      "name": { "type": "string" },
      "category": { "type": "string" },
      "free": { "type": "boolean" }
    },
    "required": ["name", "category", "free"]
  },
  "stream": false
}'

Возвращаемое содержимое — это строка JSON, которая строго соответствует схеме и может быть напрямую десериализована в объект программы.

В Python использование Pydantic для определения схемы и последующей проверки результата — это самое удобное сочетание; полная практика — в главе о возможностях модели.

Две практические детали: при структурированном выводе понижение temperature до 0 даёт более стабильный результат; если вы только укажете format, не объясняя требования в промпте, эффект может снизиться. Лучше также описать смысл полей в промпте.


Управление контекстом и распространённые подводные камни в многоходовых диалогах

В интерактивном режиме для каждого раунда разговора Ollama объединяет всю историю в контекстное окно и отправляет её модели. Это имеет два следствия, которые вы должны знать.

Во-первых, в рамках сеанса модель обладает памятью; после выхода (/bye) память очищается. Повторный запуск начинает совершенно новый сеанс; она не помнит, что вы говорили в прошлый раз.

Во-вторых, когда история становится слишком длинной, самое старое содержимое первым вытесняется из окна, что выглядит так, будто модель внезапно «забывает» договорённости с самого начала.

Соответствующие практические стратегии:

СимптомПричинаКонтрмера
Модель полностью забывает после повторного открытия разговораКонтекст сеанса не сохраняется между процессамиЗаписывайте важные договорённости в поле SYSTEM файла Modelfile или управляйте историей сообщений самостоятельно через API
Во второй половине длинного разговора начинает «теряться память»Контекстное окно заполнено; старое содержимое усекаетсяУвеличьте num_ctx; или периодически начинайте новый сеанс, перенося только ключевые выводы
Ответы становятся медленнее и хуже после вставки длинного документаДлинный контент вытесняет контекстВставляйте только релевантные фрагменты; передайте весь документ решению на основе базы знаний RAG

Чтобы обойти эти ограничения для постоянной памяти, необходимо использовать API, чтобы самостоятельно поддерживать массив messages; именно на этом сосредоточена глава об API.


Краткий справочник по встроенным командам в интерактивном режиме

Встроенные команды, доступные непосредственно в приглашении диалога, перечислены ниже. Введите /? в любой момент, чтобы увидеть актуальный список для текущей версии.

КомандаОписание
/?Показать справку и все доступные команды
/set parameter <name> <value>Настроить параметры генерации, такие как temperature, num_ctx
/set system "<prompt>"Временно изменить системный промпт
/set think / /set nothinkВключить / отключить режим размышления
/clearОчистить контекст текущей сессии и начать заново
/load <model>Переключиться на другую модель, не выходя из терминала
/save <name>Сохранить текущую сессию (включая системный промпт и параметры) как новую модель
/show info / /show parametersПросмотреть информацию о текущей модели / текущие активные параметры
/byeВыйти из диалога

/save заслуживает особого упоминания: он замораживает беседу с настроенными параметрами непосредственно в новую модель, что эквивалентно быстрой настройке без написания Modelfile. В следующей главе мы сравним его с подходом с использованием Modelfile.

Другие расширения