Colaboración multi-modelo de Ollama y flujo de trabajo de Agent

Un solo modelo no tiene que hacerlo todo: deja que el modelo pequeño haga el enrutamiento, el modelo especializado realice las tareas y el modelo conectado a Internet busque información; con la salida estructurada como protocolo de orquestación, se pueden crear aplicaciones inteligentes rápidas y económicas.

Este capítulo implementa un sistema de enrutamiento multi-modelo y lo actualiza a un flujo de trabajo de Agent con capacidad de conexión a Internet.


Diseño de arquitectura: enrutamiento con modelo pequeño + ejecución experta

La idea central es la división del trabajo: determinar «qué quiere hacer el usuario» es muy simple y se puede hacer con el modelo más pequeño; las tareas que realmente requieren trabajo se asignan al modelo especializado correspondiente.

多模型路由架构:路由器分类,三个专家模型执行

Este diseño tiene tres ventajas: el enrutamiento con el modelo pequeño solo toma decenas de milisegundos y el modelo grande ya no procesa solicitudes de bajo valor; los parámetros de cada modelo experto se pueden ajustar de forma independiente según sea necesario; un nuevo tipo de tarea solo requiere agregar una rama sin afectar las rutas existentes.


Implementación 1: Salida estructurada para enrutamiento de intención

La clave del enrutamiento es hacer que el resultado de la clasificación sea «legible por máquina»; la salida estructurada actúa aquí como protocolo de orquestación.

Ejemplo

# Ruta de archivo: router.py
from ollama import chat
from pydantic import BaseModel, Field

# Definición estructurada del resultado de enrutamiento
class Route(BaseModel):
    category: str = Field(description=Categoría del problema: chat / coding / search)
    reason: str = Field(description=Criterio de clasificación en una frase)

def classify(question: str) -> Route:
    response = chat(
        model='qwen3.5:4b',          # Para el enrutamiento basta con un modelo pequeño
        messages=[{'role': 'user', 'content': question}],
        format=Route.model_json_schema(),
        options={'temperature': 0},   # La clasificación debe ser estable
    )
    return Route.model_validate_json(response.message.content)

# Autocomprobación rápida
for q in [«¿Cómo eliminar duplicados de una lista de Python?», «¿Qué noticias de IA hay hoy?», «Cuenta un chiste»]:
    r = classify(q)
    print(r.category, '|', r.reason)
$ python router.py
coding | 询问 Python 列表去重的编程方法
search | 询问当天的最新新闻,需要联网
chat   | 闲聊类请求,直接回答即可

Implementación 2: Tres procesadores expertos

Cada ruta tiene una función de procesador; la firma unificada facilita el despacho.

Ejemplo

# Añadir a router.py
from ollama import chat, web_search, web_fetch

def handle_chat(question):
    """Preguntas y respuestas cotidianas: el modelo pequeño responde directamente"""
    r = chat(model='qwen3.5:4b',
             messages=[{'role': 'user', 'content': question}])
    return r.message.content

def handle_coding(question):
    """Tareas de programación: asignar al modelo de código especializado"""
    r = chat(model='ejemplo-coder',
             messages=[{'role': 'user', 'content': question}],
             options={'temperature': 0.2, 'num_ctx': 65536})
    return r.message.content

def handle_search(question):
    """Tareas en línea: bucle de Agent con modelo pequeño + herramienta de búsqueda"""
    tools = {'web_search': web_search, 'web_fetch': web_fetch}
    messages = [{'role': 'user', 'content': question}]
    while True:
        r = chat(model='qwen3.5:4b', messages=messages,
                 tools=[web_search, web_fetch])
        messages.append(r.message)
        if not r.message.tool_calls:
            return r.message.content
        for call in r.message.tool_calls:
            func = tools.get(call.function.name)
            # Truncar los resultados de la herramienta para proteger la ventana de contexto
            result = str(func(**call.function.arguments))[:2000]
            messages.append({'role': 'tool',
                             'tool_name': call.function.name,
                             'content': result})

HANDLERS = {'chat': handle_chat,
            'coding': handle_coding,
            'search': handle_search}

def ask(question):
    route = classify(question)
    print(f«[Ruta -> {route.category}] {route.reason}»)
    return HANDLERS[route.category](question)

El enrutador en sí no genera respuestas, por lo que su riesgo de alucinación se limita a «clasificar incorrectamente»; el costo de una clasificación incorrecta es solo una corrección adicional, sin contaminar la respuesta final.


Implementación 3: Orquestación híbrida local y Cloud

Cada ruta puede tener una «opción de escalado a la nube»: para las tareas que el modelo local no puede resolver, basta con cambiar el nombre del modelo en la misma estructura de código.

Ejemplo

# Añadir a router.py
def ask_with_fallback(question, force_cloud=False):
    """Programación con respaldo en la nube: primero local, las tareas complejas se escalan a la nube"""
    route = classify(question).category

    if force_cloud or route == 'coding':
        # Las tareas pesadas como la codificación van directamente a la especificación insignia de la nube
        model = 'qwen3.5:cloud'
    else:
        model = 'qwen3.5:4b'

    print(f«[Ruta -> {route}] usando el modelo {model}»)
    r = chat(model=model,
             messages=[{'role': 'user', 'content': question}])
    return r.message.content

Ten en cuenta una diferencia de capacidades: el modelo Cloud actualmente no admite salida estructurada, por lo que el enrutador debe ser asumido por el modelo local, lo que también coincide con el diseño de «usar un modelo pequeño para el enrutamiento».


Evaluación integral de costos y latencia

El balance de la estrategia multi-modelo se debe calcular desde tres dimensiones:

DimensiónModelo local pequeñoModelo local grandeModelo en la nube
Latencia hasta la primera palabraMínima (carga en milisegundos)MediaIncluye ida y vuelta de red
Costo marginalAproximadamente el costo de electricidadElectricidad + uso de VRAMFacturación por uso
Calidad de respuestaSuficiente para tareas simplesCercano al nivel insigniaNivel insignia
Capacidad de concurrenciaLimitada por la máquina localLimitada por la VRAMMayor elasticidad

De esto se obtiene una estrategia base práctica: el enrutador y las tareas ligeras usan el modelo local pequeño como base; las tareas sensibles a la calidad se asignan al modelo local grande; las tareas de alta carga o fuera de especificaciones cambian a la nube; los nombres de los tres tipos de modelos se configuran en el archivo de configuración y se ajustan en cualquier momento según los anuncios de retiro o cambios de hardware.

Otras extensiones