Параметры чата и генерации Ollama
В этой главе подробно рассматривается использование Ollama в режиме диалога: несколько режимов чата, параметры генерации, управляющие «характером» модели, контекстные окна, режим размышления и многое другое.
Три режима чата: интерактивный, однократный и конвейерный
Одна и та же команда run имеет варианты использования и применяется в разных сценариях
Интерактивный режим: многоходовой чат
Запустите напрямую, чтобы войти в диалог; модель запоминает контекст текущей сессии, что делает её подходящей для уточняющих вопросов:
Пример
ollama run qwen3.5
Однократный вопрос-ответ: один вопрос — один ответ
Добавьте вопрос непосредственно как аргумент; выход сразу после получения ответа. Подходит для разовых задач:
Пример
ollama run qwen3.5 "Опиши Python одним предложением"
Конвейерный ввод: встраивание в скрипты
Передавайте текст модели через конвейер, что упрощает комбинирование с другими командами:
Пример
cat README.md | ollama run qwen3.5 "Суммируй это содержимое"
Кроме того, ввод трёх двойных кавычек в диалоге оборачивает многострочный текст; нажатие Enter для новой строки не считается отправкой.
Параметры генерации: управление «личностью» модели
Каждый раз, когда модель генерирует слово (токен), оно проходит через один и тот же внутренний конвейер; параметры генерации вмешиваются на разных этапах этого конвейера.
temperature делает распределение вероятностей более крутым или более пологим; top_k / top_p / min_p удаляют низкокачественные кандидаты; наконец, случайная выборка выбирает следующий токен.
Ниже приведены общие параметры (значения по умолчанию из официальной документации):
| Параметр | Значение по умолчанию | Эффект | Типичное использование |
|---|---|---|---|
| temperature | 0.8 | Чем выше, тем креативнее; чем ниже, тем строже. | Используйте 0~0.3 для написания кода и извлечения информации; около 1.0 — для креативного письма. |
| top_k | 40 | Выбирать только из k лучших кандидатов по вероятности. | Понизьте его, чтобы сделать вывод более консервативным. |
| top_p | 0.9 | Выбирайте только из кандидатов, совокупная вероятность которых достигает p. | Используйте как альтернативу top_k для тонкой настройки. |
| min_p | 0.0 | Установите минимальный порог для кандидатов на основе доли от максимальной вероятности. | 0.05 часто используется в качестве замены top_p. |
| repeat_penalty | 1.0 | Штрафовать повторяющееся содержимое. | 1.1 смягчает повторяющееся многословие. |
| seed | 0 | Зафиксируйте случайное зерно, чтобы обеспечить воспроизводимость. | Фиксируйте результаты во время тестирования и отладки. |
| stop | Отсутствует | Немедленно останавливайте генерацию при обнаружении заданной строки. | Убирает лишние любезности или фиксированное форматирование. |
| num_predict | -1 | Максимальное количество генерируемых токенов; -1 означает отсутствие ограничения. | Ограничивает длину вывода длинных ответов. |
Настраивайте в любое время с помощью встроенных команд в интерактивном режиме:
Пример
>>> /set parameter seed 42
Чтобы параметры действовали постоянно, запишите их в Modelfile, чтобы создать «предварительно настроенную» модель. Это основное использование Modelfile в следующей статье.
Небольшой эксперимент для проверки эффекта seed: зафиксируйте seed и задайте один и тот же вопрос дважды; выходные данные будут идентичными. Снимите фиксацию seed, и каждый ответ будет отличаться.
Контекстное окно num_ctx: рабочая память модели
Контекстное окно определяет, сколько содержимого модель может «видеть» одновременно, включая системную подсказку, историю диалога и ваш вопрос; этот объём измеряется в токенах.
Содержимое, не помещающееся в окно, обрезается; это основная причина того, что модель «забывает начало по мере продолжения диалога».
Ollama автоматически выбирает длину контекста по умолчанию на основе VRAM: менее 24GiB — по умолчанию 4K, 24-48GiB — по умолчанию 32K, а выше 48GiB — по умолчанию 256K. Облачные модели по умолчанию используют максимальный контекст.
Настроить это вручную можно тремя способами:
Пример
/set parameter num_ctx 8192
# Способ 2: Задать глобальное значение по умолчанию при запуске сервиса
OLLAMA_CONTEXT_LENGTH=8192 ollama serve
# Способ 3: Указывать по требованию в API-запросах (options.num_ctx, см. главу об API)
Стоимость увеличения окна — более высокое потребление памяти; используйте ollama ps из предыдущей главы, чтобы проверить столбец CONTEXT и подтвердить текущее значение.
При интеграции Ollama в агенты, инструменты для программирования или сценарии веб-поиска официальная рекомендация — задавать контекст не менее 64K; иначе большой объём контента, возвращаемого инструментами, вытеснит пространство диалога.
Режим размышления: пусть модель подумает перед ответом
Модели рассуждений (например, qwen3.5, deepseek-r1) поддерживают сначала вывод процесса размышления, а затем ответ; подходят для математических и логических задач.
Ollama включает режим размышления по умолчанию, а также предоставляет переключатели для полного управления им:
Пример
ollama run qwen3.5 --think "Сколько будет 17 умножить на 23?"
# Отключить мышление и дать ответ напрямую
ollama run qwen3.5 --think=false "Расскажи о Python в одном предложении"
# Думать как обычно, но не отображать процесс размышлений в терминале
ollama run qwen3.5 --hidethinking "Что больше, 9.9 или 9.11?"
В интерактивном режиме используйте/set thinkи/set nothinkчтобы переключаться в любое время.
Некоторые модели поддерживают уровни усилий для размышлений; например, gpt-oss принимает только три уровня: low, medium и high. Используйте--think=mediumчтобы указать это в такой форме.
Отключение размышлений может значительно сократить время ответа, но точность задач на рассуждение может упасть. Сценарии, где приоритет отдается скорости ответа, например ассистенты для программирования, часто выбирают hidethinking — сохраняя качество размышлений и не позволяя процессу засорять терминал.
Мультимодальность: позвольте модели видеть изображения
qwen3.5 нативно поддерживает ввод изображений; в командной строке просто укажите путь к изображению после вопроса:
Пример
ollama run qwen3.5 ./screenshot.png Какая страница на этом скриншоте?
Использование API и SDK немного сложнее (кодирование base64) и демонстрируется в главе о возможностях зрения. Его также можно комбинировать со структурированным выводом, чтобы делать "изображение в структурированные данные".
Структурированный вывод: превращаем ответы в надёжный JSON
Когда программа разбирает ответы модели, самый большой страх — что формат каждый раз отличается. Ollama поддерживает принудительный вывод модели в соответствии с JSON Schema.
Пример
"model": "qwen3.5",
"messages": [{ "role": "user", "content": "Introduce Python" }],
"format": {
"type": "object",
"properties": {
"name": { "type": "string" },
"category": { "type": "string" },
"free": { "type": "boolean" }
},
"required": ["name", "category", "free"]
},
"stream": false
}'
Возвращаемое содержимое — это строка JSON, которая строго соответствует схеме и может быть напрямую десериализована в объект программы.
В Python использование Pydantic для определения схемы и последующей проверки результата — это самое удобное сочетание; полная практика — в главе о возможностях модели.
Две практические детали: при структурированном выводе понижение temperature до 0 даёт более стабильный результат; если вы только укажете format, не объясняя требования в промпте, эффект может снизиться. Лучше также описать смысл полей в промпте.
Управление контекстом и распространённые подводные камни в многоходовых диалогах
В интерактивном режиме для каждого раунда разговора Ollama объединяет всю историю в контекстное окно и отправляет её модели. Это имеет два следствия, которые вы должны знать.
Во-первых, в рамках сеанса модель обладает памятью; после выхода (/bye) память очищается. Повторный запуск начинает совершенно новый сеанс; она не помнит, что вы говорили в прошлый раз.
Во-вторых, когда история становится слишком длинной, самое старое содержимое первым вытесняется из окна, что выглядит так, будто модель внезапно «забывает» договорённости с самого начала.
Соответствующие практические стратегии:
| Симптом | Причина | Контрмера |
|---|---|---|
| Модель полностью забывает после повторного открытия разговора | Контекст сеанса не сохраняется между процессами | Записывайте важные договорённости в поле SYSTEM файла Modelfile или управляйте историей сообщений самостоятельно через API |
| Во второй половине длинного разговора начинает «теряться память» | Контекстное окно заполнено; старое содержимое усекается | Увеличьте num_ctx; или периодически начинайте новый сеанс, перенося только ключевые выводы |
| Ответы становятся медленнее и хуже после вставки длинного документа | Длинный контент вытесняет контекст | Вставляйте только релевантные фрагменты; передайте весь документ решению на основе базы знаний RAG |
Чтобы обойти эти ограничения для постоянной памяти, необходимо использовать API, чтобы самостоятельно поддерживать массив messages; именно на этом сосредоточена глава об API.
Краткий справочник по встроенным командам в интерактивном режиме
Встроенные команды, доступные непосредственно в приглашении диалога, перечислены ниже. Введите /? в любой момент, чтобы увидеть актуальный список для текущей версии.
| Команда | Описание |
|---|---|
| /? | Показать справку и все доступные команды |
| /set parameter <name> <value> | Настроить параметры генерации, такие как temperature, num_ctx |
| /set system "<prompt>" | Временно изменить системный промпт |
| /set think / /set nothink | Включить / отключить режим размышления |
| /clear | Очистить контекст текущей сессии и начать заново |
| /load <model> | Переключиться на другую модель, не выходя из терминала |
| /save <name> | Сохранить текущую сессию (включая системный промпт и параметры) как новую модель |
| /show info / /show parameters | Просмотреть информацию о текущей модели / текущие активные параметры |
| /bye | Выйти из диалога |
Другие расширения/save заслуживает особого упоминания: он замораживает беседу с настроенными параметрами непосредственно в новую модель, что эквивалентно быстрой настройке без написания Modelfile. В следующей главе мы сравним его с подходом с использованием Modelfile.