Colaboración multi-modelo de Ollama y flujo de trabajo de Agent
Un solo modelo no tiene que hacerlo todo: deja que el modelo pequeño haga el enrutamiento, el modelo especializado realice las tareas y el modelo conectado a Internet busque información; con la salida estructurada como protocolo de orquestación, se pueden crear aplicaciones inteligentes rápidas y económicas.
Este capítulo implementa un sistema de enrutamiento multi-modelo y lo actualiza a un flujo de trabajo de Agent con capacidad de conexión a Internet.
Diseño de arquitectura: enrutamiento con modelo pequeño + ejecución experta
La idea central es la división del trabajo: determinar «qué quiere hacer el usuario» es muy simple y se puede hacer con el modelo más pequeño; las tareas que realmente requieren trabajo se asignan al modelo especializado correspondiente.
Este diseño tiene tres ventajas: el enrutamiento con el modelo pequeño solo toma decenas de milisegundos y el modelo grande ya no procesa solicitudes de bajo valor; los parámetros de cada modelo experto se pueden ajustar de forma independiente según sea necesario; un nuevo tipo de tarea solo requiere agregar una rama sin afectar las rutas existentes.
Implementación 1: Salida estructurada para enrutamiento de intención
La clave del enrutamiento es hacer que el resultado de la clasificación sea «legible por máquina»; la salida estructurada actúa aquí como protocolo de orquestación.
Ejemplo
from ollama import chat
from pydantic import BaseModel, Field
# Definición estructurada del resultado de enrutamiento
class Route(BaseModel):
category: str = Field(description=Categoría del problema: chat / coding / search)
reason: str = Field(description=Criterio de clasificación en una frase)
def classify(question: str) -> Route:
response = chat(
model='qwen3.5:4b', # Para el enrutamiento basta con un modelo pequeño
messages=[{'role': 'user', 'content': question}],
format=Route.model_json_schema(),
options={'temperature': 0}, # La clasificación debe ser estable
)
return Route.model_validate_json(response.message.content)
# Autocomprobación rápida
for q in [«¿Cómo eliminar duplicados de una lista de Python?», «¿Qué noticias de IA hay hoy?», «Cuenta un chiste»]:
r = classify(q)
print(r.category, '|', r.reason)
$ python router.py coding | 询问 Python 列表去重的编程方法 search | 询问当天的最新新闻,需要联网 chat | 闲聊类请求,直接回答即可
Implementación 2: Tres procesadores expertos
Cada ruta tiene una función de procesador; la firma unificada facilita el despacho.
Ejemplo
from ollama import chat, web_search, web_fetch
def handle_chat(question):
"""Preguntas y respuestas cotidianas: el modelo pequeño responde directamente"""
r = chat(model='qwen3.5:4b',
messages=[{'role': 'user', 'content': question}])
return r.message.content
def handle_coding(question):
"""Tareas de programación: asignar al modelo de código especializado"""
r = chat(model='ejemplo-coder',
messages=[{'role': 'user', 'content': question}],
options={'temperature': 0.2, 'num_ctx': 65536})
return r.message.content
def handle_search(question):
"""Tareas en línea: bucle de Agent con modelo pequeño + herramienta de búsqueda"""
tools = {'web_search': web_search, 'web_fetch': web_fetch}
messages = [{'role': 'user', 'content': question}]
while True:
r = chat(model='qwen3.5:4b', messages=messages,
tools=[web_search, web_fetch])
messages.append(r.message)
if not r.message.tool_calls:
return r.message.content
for call in r.message.tool_calls:
func = tools.get(call.function.name)
# Truncar los resultados de la herramienta para proteger la ventana de contexto
result = str(func(**call.function.arguments))[:2000]
messages.append({'role': 'tool',
'tool_name': call.function.name,
'content': result})
HANDLERS = {'chat': handle_chat,
'coding': handle_coding,
'search': handle_search}
def ask(question):
route = classify(question)
print(f«[Ruta -> {route.category}] {route.reason}»)
return HANDLERS[route.category](question)
El enrutador en sí no genera respuestas, por lo que su riesgo de alucinación se limita a «clasificar incorrectamente»; el costo de una clasificación incorrecta es solo una corrección adicional, sin contaminar la respuesta final.
Implementación 3: Orquestación híbrida local y Cloud
Cada ruta puede tener una «opción de escalado a la nube»: para las tareas que el modelo local no puede resolver, basta con cambiar el nombre del modelo en la misma estructura de código.
Ejemplo
def ask_with_fallback(question, force_cloud=False):
"""Programación con respaldo en la nube: primero local, las tareas complejas se escalan a la nube"""
route = classify(question).category
if force_cloud or route == 'coding':
# Las tareas pesadas como la codificación van directamente a la especificación insignia de la nube
model = 'qwen3.5:cloud'
else:
model = 'qwen3.5:4b'
print(f«[Ruta -> {route}] usando el modelo {model}»)
r = chat(model=model,
messages=[{'role': 'user', 'content': question}])
return r.message.content
Ten en cuenta una diferencia de capacidades: el modelo Cloud actualmente no admite salida estructurada, por lo que el enrutador debe ser asumido por el modelo local, lo que también coincide con el diseño de «usar un modelo pequeño para el enrutamiento».
Evaluación integral de costos y latencia
El balance de la estrategia multi-modelo se debe calcular desde tres dimensiones:
| Dimensión | Modelo local pequeño | Modelo local grande | Modelo en la nube |
|---|---|---|---|
| Latencia hasta la primera palabra | Mínima (carga en milisegundos) | Media | Incluye ida y vuelta de red |
| Costo marginal | Aproximadamente el costo de electricidad | Electricidad + uso de VRAM | Facturación por uso |
| Calidad de respuesta | Suficiente para tareas simples | Cercano al nivel insignia | Nivel insignia |
| Capacidad de concurrencia | Limitada por la máquina local | Limitada por la VRAM | Mayor elasticidad |
De esto se obtiene una estrategia base práctica: el enrutador y las tareas ligeras usan el modelo local pequeño como base; las tareas sensibles a la calidad se asignan al modelo local grande; las tareas de alta carga o fuera de especificaciones cambian a la nube; los nombres de los tres tipos de modelos se configuran en el archivo de configuración y se ajustan en cualquier momento según los anuncios de retiro o cambios de hardware.
Otras extensiones