Совместная работа нескольких моделей и рабочий процесс агентов в Ollama
Одна модель не должна делать всё: пусть небольшие модели занимаются маршрутизацией, специализированные модели выполняют задачи, а подключённые модели ищут информацию. Используйте структурированный вывод как протокол планирования, чтобы объединять быстрые и экономичные интеллектуальные приложения.
В этой главе реализуется система маршрутизации нескольких моделей, которая затем улучшается до рабочего процесса агента с возможностью доступа в интернет.
Проектирование архитектуры: маршрутизация малой модели + экспертное выполнение
Основная идея — разделение труда: определить, «что хочет сделать пользователь», просто, и с этим может справиться самая маленькая модель; затем фактические задачи передаются подходящим специализированным моделям.
У этого дизайна три преимущества: маршрутизация малой модели занимает всего десятки миллисекунд, поэтому большие модели больше не обрабатывают малоценные запросы; параметры каждой экспертной модели можно независимо настраивать по мере необходимости; новые типы задач требуют лишь добавления ветки, не влияя на существующие цепочки.
Реализация 1: структурированный вывод для маршрутизации намерений
Ключ к маршрутизации — сделать результаты классификации «машиночитаемыми»; здесь структурированный вывод служит протоколом планирования.
Пример
from ollama import chat
from pydantic import BaseModel, Field
# Структурированное определение результатов маршрутизации
class Route(BaseModel):
category: str = Field(description=Категория вопроса: чат / программирование / поиск)
reason: str = Field(description=Основание классификации в одном предложении)
def classify(question: str) -> Route:
response = chat(
model='qwen3.5:4b', # Для маршрутизации достаточно небольшой модели
messages=[{'role': 'user', 'content': question}],
format=Route.model_json_schema(),
options={'temperature': 0}, # Классификация должна быть стабильной
)
return Route.model_validate_json(response.message.content)
# Быстрая самопроверка
for q in ['Как удалить дубликаты из списка Python?', 'Какие новости об ИИ есть сегодня?', 'Расскажи шутку']:
r = classify(q)
print(r.category, '|', r.reason)
$ python router.py coding | 询问 Python 列表去重的编程方法 search | 询问当天的最新新闻,需要联网 chat | 闲聊类请求,直接回答即可
Реализация 2: Три экспертных обработчика
Одна функция-обработчик на каждый путь с единой сигнатурой для удобной диспетчеризации.
Пример
from ollama import chat, web_search, web_fetch
def handle_chat(question):
"""Ежедневные вопросы и ответы: отвечает напрямую маленькая модель"""
r = chat(model='qwen3.5:4b',
messages=[{'role': 'user', 'content': question}])
return r.message.content
def handle_coding(question):
"""Задачи по программированию: передаются специализированной модели для кода"""
r = chat(model='example-coder',
messages=[{'role': 'user', 'content': question}],
options={'temperature': 0.2, 'num_ctx': 65536})
return r.message.content
def handle_search(question):
"""Задачи, связанные с вебом: цикл агента небольшой модели + инструмент поиска"""
tools = {'web_search': web_search, 'web_fetch': web_fetch}
messages = [{'role': 'user', 'content': question}]
while True:
r = chat(model='qwen3.5:4b', messages=messages,
tools=[web_search, web_fetch])
messages.append(r.message)
if not r.message.tool_calls:
return r.message.content
for call in r.message.tool_calls:
func = tools.get(call.function.name)
# Обрезать результаты инструмента, чтобы защитить контекстное окно
result = str(func(**call.function.arguments))[:2000]
messages.append({'role': 'tool',
'tool_name': call.function.name,
'content': result})
HANDLERS = {'chat': handle_chat,
'coding': handle_coding,
'search': handle_search}
def ask(question):
route = classify(question)
print(f'[Route -> {route.category}] {route.reason}')
return HANDLERS[route.category](question)
Сам маршрутизатор не генерирует ответы, поэтому его риск галлюцинаций ограничивается «ошибочной классификацией»; стоимость ошибочной классификации — всего одна дополнительная коррекция, и она не загрязняет итоговый ответ.
Реализация 3: Гибридная оркестрация локальных и облачных моделей
У каждого пути может быть «уровень облачного апгрейда»: для задач, с которыми не справляются локальные модели, достаточно просто изменить имя модели в той же структуре кода.
Пример
def ask_with_fallback(question, force_cloud=False):
"""Планирование с облачным фолбэком: сначала локальные, сложные задачи переводятся в облако"""
route = classify(question).category
if force_cloud or route == 'coding':
# Тяжёлые задачи, такие как программирование, сразу направляются в облачные флагманские спецификации
model = 'qwen3.5:cloud'
else:
model = 'qwen3.5:4b'
print(f'[Route -> {route}] Используется модель {model}')
r = chat(model=model,
messages=[{'role': 'user', 'content': question}])
return r.message.content
Обратите внимание на различие в возможностях: облачные модели пока не поддерживают структурированный вывод, поэтому маршрутизатор должен обрабатываться локальной моделью, что идеально соответствует концепции «маленькая модель для маршрутизации».
Комплексная оценка затрат и задержки
Экономическую эффективность стратегии с несколькими моделями необходимо рассчитывать одновременно по трём измерениям:
| Измерение | Локальная маленькая модель | Локальная большая модель | Облачная модель |
|---|---|---|---|
| Время до первого токена | Наименьшее (загрузка на уровне миллисекунд) | Средняя | Включает сетевой обмен запросом и ответом |
| Предельные затраты | Приблизительно стоимость электроэнергии | Электроэнергия + использование VRAM | Оплата по факту использования |
| Качество ответов | Достаточно для простых задач | Близко к флагману | Флагманского уровня |
| Возможность параллельной обработки | Ограничено локальной машиной | Ограничено объёмом VRAM | Наилучшая эластичность |
Это даёт практичную базовую стратегию: использовать локальные малые модели как основу для маршрутизации и лёгких задач; направлять задачи, чувствительные к качеству, на локальные большие модели; переключать тяжёлые или слишком большие задачи на облако; имена моделей всех трёх категорий задаются в файле конфигурации и могут быть изменены в любое время на основе объявлений о снятии с поддержки или изменений оборудования.
Другие расширения