Совместная работа нескольких моделей и рабочий процесс агентов в Ollama

Одна модель не должна делать всё: пусть небольшие модели занимаются маршрутизацией, специализированные модели выполняют задачи, а подключённые модели ищут информацию. Используйте структурированный вывод как протокол планирования, чтобы объединять быстрые и экономичные интеллектуальные приложения.

В этой главе реализуется система маршрутизации нескольких моделей, которая затем улучшается до рабочего процесса агента с возможностью доступа в интернет.


Проектирование архитектуры: маршрутизация малой модели + экспертное выполнение

Основная идея — разделение труда: определить, «что хочет сделать пользователь», просто, и с этим может справиться самая маленькая модель; затем фактические задачи передаются подходящим специализированным моделям.

多模型路由架构:路由器分类,三个专家模型执行

У этого дизайна три преимущества: маршрутизация малой модели занимает всего десятки миллисекунд, поэтому большие модели больше не обрабатывают малоценные запросы; параметры каждой экспертной модели можно независимо настраивать по мере необходимости; новые типы задач требуют лишь добавления ветки, не влияя на существующие цепочки.


Реализация 1: структурированный вывод для маршрутизации намерений

Ключ к маршрутизации — сделать результаты классификации «машиночитаемыми»; здесь структурированный вывод служит протоколом планирования.

Пример

# Путь к файлу: router.py
from ollama import chat
from pydantic import BaseModel, Field

# Структурированное определение результатов маршрутизации
class Route(BaseModel):
    category: str = Field(description=Категория вопроса: чат / программирование / поиск)
    reason: str = Field(description=Основание классификации в одном предложении)

def classify(question: str) -> Route:
    response = chat(
        model='qwen3.5:4b',          # Для маршрутизации достаточно небольшой модели
        messages=[{'role': 'user', 'content': question}],
        format=Route.model_json_schema(),
        options={'temperature': 0},   # Классификация должна быть стабильной
    )
    return Route.model_validate_json(response.message.content)

# Быстрая самопроверка
for q in ['Как удалить дубликаты из списка Python?', 'Какие новости об ИИ есть сегодня?', 'Расскажи шутку']:
    r = classify(q)
    print(r.category, '|', r.reason)
$ python router.py
coding | 询问 Python 列表去重的编程方法
search | 询问当天的最新新闻,需要联网
chat   | 闲聊类请求,直接回答即可

Реализация 2: Три экспертных обработчика

Одна функция-обработчик на каждый путь с единой сигнатурой для удобной диспетчеризации.

Пример

# Добавить в router.py
from ollama import chat, web_search, web_fetch

def handle_chat(question):
    """Ежедневные вопросы и ответы: отвечает напрямую маленькая модель"""
    r = chat(model='qwen3.5:4b',
             messages=[{'role': 'user', 'content': question}])
    return r.message.content

def handle_coding(question):
    """Задачи по программированию: передаются специализированной модели для кода"""
    r = chat(model='example-coder',
             messages=[{'role': 'user', 'content': question}],
             options={'temperature': 0.2, 'num_ctx': 65536})
    return r.message.content

def handle_search(question):
    """Задачи, связанные с вебом: цикл агента небольшой модели + инструмент поиска"""
    tools = {'web_search': web_search, 'web_fetch': web_fetch}
    messages = [{'role': 'user', 'content': question}]
    while True:
        r = chat(model='qwen3.5:4b', messages=messages,
                 tools=[web_search, web_fetch])
        messages.append(r.message)
        if not r.message.tool_calls:
            return r.message.content
        for call in r.message.tool_calls:
            func = tools.get(call.function.name)
            # Обрезать результаты инструмента, чтобы защитить контекстное окно
            result = str(func(**call.function.arguments))[:2000]
            messages.append({'role': 'tool',
                             'tool_name': call.function.name,
                             'content': result})

HANDLERS = {'chat': handle_chat,
            'coding': handle_coding,
            'search': handle_search}

def ask(question):
    route = classify(question)
    print(f'[Route -> {route.category}] {route.reason}')
    return HANDLERS[route.category](question)

Сам маршрутизатор не генерирует ответы, поэтому его риск галлюцинаций ограничивается «ошибочной классификацией»; стоимость ошибочной классификации — всего одна дополнительная коррекция, и она не загрязняет итоговый ответ.


Реализация 3: Гибридная оркестрация локальных и облачных моделей

У каждого пути может быть «уровень облачного апгрейда»: для задач, с которыми не справляются локальные модели, достаточно просто изменить имя модели в той же структуре кода.

Пример

# Добавить в router.py
def ask_with_fallback(question, force_cloud=False):
    """Планирование с облачным фолбэком: сначала локальные, сложные задачи переводятся в облако"""
    route = classify(question).category

    if force_cloud or route == 'coding':
        # Тяжёлые задачи, такие как программирование, сразу направляются в облачные флагманские спецификации
        model = 'qwen3.5:cloud'
    else:
        model = 'qwen3.5:4b'

    print(f'[Route -> {route}] Используется модель {model}')
    r = chat(model=model,
             messages=[{'role': 'user', 'content': question}])
    return r.message.content

Обратите внимание на различие в возможностях: облачные модели пока не поддерживают структурированный вывод, поэтому маршрутизатор должен обрабатываться локальной моделью, что идеально соответствует концепции «маленькая модель для маршрутизации».


Комплексная оценка затрат и задержки

Экономическую эффективность стратегии с несколькими моделями необходимо рассчитывать одновременно по трём измерениям:

ИзмерениеЛокальная маленькая модельЛокальная большая модельОблачная модель
Время до первого токенаНаименьшее (загрузка на уровне миллисекунд)СредняяВключает сетевой обмен запросом и ответом
Предельные затратыПриблизительно стоимость электроэнергииЭлектроэнергия + использование VRAMОплата по факту использования
Качество ответовДостаточно для простых задачБлизко к флагмануФлагманского уровня
Возможность параллельной обработкиОграничено локальной машинойОграничено объёмом VRAMНаилучшая эластичность

Это даёт практичную базовую стратегию: использовать локальные малые модели как основу для маршрутизации и лёгких задач; направлять задачи, чувствительные к качеству, на локальные большие модели; переключать тяжёлые или слишком большие задачи на облако; имена моделей всех трёх категорий задаются в файле конфигурации и могут быть изменены в любое время на основе объявлений о снятии с поддержки или изменений оборудования.

Другие расширения