Запуск моделей Ollama

Чтобы запустить модель с помощью Ollama, используйте командуollama run.

Например, чтобы запустить qwen3.5:0.8b и пообщаться с этой моделью, можно использовать следующую команду:

При первом запуске она автоматически скачивается, объемом около 1.0GB:

ollama run qwen3.5:0.8b

После выполнения команды вы сначала увидите прогресс загрузки. Когда загрузка завершится, вы сразу попадете в диалог:

$ ollama run qwen3.5:0.8b
pulling manifest
pulling 87497c5f0e8f... 100% |████████████████████| 1.0GB
pulling 5e2ad5... 100% |████████████████████|  11KB
verifying sha256 digest
writing manifest
success
>>> 你好,你是什么模型?

>>> /bye

Появление>>>приглашения означает, что модель завершила загрузку. Введите вопрос и нажмите Enter, чтобы начать чат.

Если сеть отключается во время загрузки, не нужно начинать заново. Ollama поддерживает возобновление загрузки. Повторный запуск той же команды продолжит загрузку с предыдущего места.


Выберите модель с помощью интерактивного меню

Помимо ввода команд напрямую, простой ввод ollama без аргументов откроет интерактивное меню. В новой версии оно стало единой точкой входа.

$ ollama
Chat, Code, & Work
    Chat with models, code, search the web, and delegate real work

  Launch Claude Code
    Anthropic's coding tool with subagents

  Launch OpenCode
    Anomaly's open-source coding agent

  Launch Hermes Agent
    Self-improving AI agent built by Nous Research

  Launch OpenClaw
    Personal AI with 100+ skills

  More...
    Show additional integrations

Выберите Chat, Code, & Work, чтобы выбрать загруженную модель и начать чат. Эффект точно такой же, как при ollama run.

Здесь можно выбрать модель:

Пункт Launch в меню используется для запуска интегрированных инструментов, таких как VS Code, Claude Code и т. д. Это продвинутая функция, о которой расскажут позже в руководстве.


Выберите свою первую модель: выбирайте в зависимости от объема памяти

Более крупные модели не обязательно лучше. Модель, которую не потянет ваша машина, только заставит вентиляторы компьютера бешено крутиться, а ответы будут измеряться секундами или даже минутами.

Принцип для начинающих прост: сначала начните с небольшой модели, а затем постепенно увеличивайте, когда она будет работать стабильно. Выбирайте в зависимости от памяти и VRAM вашего компьютера:

Конфигурация вашего компьютераРекомендуемый тегРазмер загрузкиОжидаемый опыт
8GB RAM, без дискретного GPUqwen3.5:0.8b / 2b1.0 ~ 2.7GBЛёгкий и плавный для общения
16GB RAM, без дискретного GPUqwen3.5:4b / 9b3.4 ~ 6.6GBКонфигурация по умолчанию, сбалансированное качество и скорость
GPU с 8GB или более VRAMqwen3.5:9b или qwen3.5:latestОколо 6.6GBУскорение на GPU, значительно выше скорость
GPU с 16 ГБ видеопамяти или большеqwen3.5:27bОколо 17GBБолее высокое качество длинных текстов и кода
Недостаточная конфигурацияqwen3.5:cloudНе требует загрузкиОблачный инференс, требуется вход в аккаунт Ollama

Разные спецификации одной и той же модели имеют реальные различия в возможностях. 0.8b подходит для сред проверки. Для повседневного использования рекомендуется начинать как минимум с 4b.


Понимание соглашения об именовании model:tag

Имя, которое вы пишете в команде, состоит из двух частей: имя модели + тег. Это определяет, что именно вы загружаете.

model:tag 命名规则解剖图

Имя модели: название семейства

Имя модели соответствует семейству в официальной библиотеке моделей, например qwen3.5, gemma4, deepseek-r1.

В рамках одного семейства может быть несколько спецификаций, и они используют одно и то же имя модели.

Тег: спецификация и версия

Тег определяет, какой именно файл будет загружен. Обычные теги — это спецификации параметров, например 0.8b, 9b, 27b.

Когда тег не указан, Ollama автоматически добавляетlatest— спецификацию по умолчанию, установленную официально для этой модели.

Для qwen3.5,ollama run qwen3.5эквивалентноollama run qwen3.5:latest, в настоящее время указывает на спецификацию 9b.

Пространство имён: кто опубликовал

Имена со слэшем указывают на модели, опубликованные третьими сторонами. Часть до слэша — это имя пользователя издателя.

У моделей в официальной библиотеке моделей нет пространства имён. У моделей, опубликованных отдельными людьми или командами (например, в формате example/my-model:4b), оно есть. Совместное использование и распространение моделей демонстрируются в главе о приватном развёртывании.

Просмотреть загруженные модели

Если вы не уверены, какие модели доступны локально и сколько места занимает каждая, используйте команду list для проверки:

Пример

# Список всех локальных моделей
ollama list
$ ollama list
NAME               ID            SIZE      MODIFIED
qwen3.5:0.8b       9e3f4b3a1c2d  1.0GB     5 minutes ago
qwen3.5:latest     a8b2c9d3e4f5  6.6GB     2 hours ago

В следующей главе будут подробно рассмотрены команды управления моделями, такие как list, show и rm.


Выход, повторный вход и переключение моделей

В беседе введите/bye, чтобы выйти и вернуться в обычный терминал.

Пример

# Введите /bye, чтобы выйти из беседы и вернуться в обычный терминал
/bye

Повторный запуск той же команды ollama run снова откроет беседу. Поскольку модель уже скачана, на этот раз она запускается почти мгновенно.

Чтобы переключиться на другую модель для чата, просто запустите другую модель. Вы можете переключаться между двумя моделями туда и обратно:

Пример

# Переключение с маленькой модели на спецификацию по умолчанию
ollama run qwen3.5:4b

# Обратное переключение выполняется так же
ollama run qwen3.5:0.8b

После переключения предыдущая модель остаётся в памяти около 5 минут и автоматически выгружается, если нет новых запросов. Этот механизм называется keep-alive. В следующей главе будет объяснено, как его настроить.

При вводе многострочного текста в беседе заключайте его в три двойные кавычки:

Пример

>>> """Переведите следующий текст на английский:
... EXAMPLE — это сайт с обучающими материалами.
... Спасибо.
... "
""

Использование модели через Python SDK

Если вы хотите интегрировать Ollama с кодом на Python, вы можете использовать Python SDK Ollama для загрузки и запуска моделей.

1. Установка Python SDK

Сначала вам нужно установить Python SDK Ollama. Откройте терминал и выполните следующую команду:

pip install ollama

2. Написание скрипта на Python

Затем вы можете использовать код на Python для загрузки модели и взаимодействия с ней.

Ниже приведён простой пример скрипта на Python, демонстрирующий, как использовать модель qwen3.5 для генерации текста:

Пример

import ollama
response = ollama.generate(
    model="qwen3.5",  # Имя модели
    prompt="Who are you."  # Текст запроса
)
print(response)

3. Запустите скрипт Python

Запустите ваш скрипт Python в терминале:

python test.py

Вы увидите ответ модели на основе вашего ввода.

4. Режим чата

Пример

from ollama import chat
response = chat(
    model="qwen3.5",
    messages=[
        {"role": "user", "content": "Почему небо синее?"}
    ]
)
print(response.message.content)

Этот код проведёт беседу с моделью и выведет ответ модели.

5. Потоковые ответы

Пример

from ollama import chat
stream = chat(
    model="qwen3.5",
    messages=[{"role": "user", "content": "Почему небо синее?"}],
    stream=True
)
for chunk in stream:
    print(chunk["message"]["content"], end="", flush=True)

Этот код получает ответ модели в потоковом режиме, что подходит для обработки больших объёмов данных.

Другие расширения