Privatisation d'Ollama et déploiement en équipe

Un serveur doté d'un GPU peut devenir un service de modèles partagé pour toute l'équipe : orchestration conteneurisée, partage sur réseau local, proxy inverse et distribution de modèles. Cet article assemble ces éléments en une solution complète de déploiement en équipe.

Établissez d'abord la compréhension essentielle : Ollama lui-même n'a aucun mécanisme d'authentification ; le périmètre de sécurité doit être construit avec un proxy inverse et des politiques réseau.


Aperçu de la topologie de déploiement en équipe

La topologie standard recommandée est à trois niveaux : le trafic des membres atteint d'abord le proxy inverse, et après que le proxy a terminé l'authentification, il le transfère vers le service Ollama qui n'écoute que sur la boucle locale.

团队部署拓扑:客户端、Nginx 反代、Ollama 服务与模型库

La conception clé de cette structure est qu'Ollama n'écoute que sur 127.0.0.1, donc tout accès externe doit passer par le proxy, ce qui rend le point d'entrée d'authentification unique et contrôlable.


Orchestration Docker et Compose

Préférez Docker pour le déploiement serveur, et utilisez Compose pour figer la configuration dans les scénarios d'équipe :

# 文件路径:docker-compose.yml
services:
  ollama:
    image: ollama/ollama          # AMD 显卡改用 ollama/ollama:rocm
    container_name: ollama
    restart: unless-stopped
    volumes:
      - ollama:/root/.ollama      # 模型持久化,升级镜像不丢模型
    ports:
      - "127.0.0.1:11434:11434"   # 只暴露给本机,交给 Nginx 对外
    # NVIDIA GPU 直通(需要先装好 NVIDIA Container Toolkit)
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

volumes:
  ollama:

Commandes liées à Docker :

# 启动 / 查看日志 / 升级
docker compose up -d
docker compose logs -f ollama
docker compose pull && docker compose up -d

Notez que le mappage des ports est écrit sous la forme 127.0.0.1:11434:11434 plutôt que 11434:11434 : le premier restreint le port à la boucle locale, de sorte que l'accès externe ne peut passer que par Nginx ; le second équivaut à exposer directement le service non authentifié à l'interface réseau, ce qui est la source la plus courante d'incidents de sécurité en équipe.


Partage d'un serveur de modèles unique sur un LAN

Lorsqu'une petite équipe ne souhaite pas mettre en place de proxy, la méthode de partage la moins coûteuse consiste à laisser Ollama écouter directement sur l'intranet :

# 服务器端:监听所有网卡
OLLAMA_HOST=0.0.0.0:11434 ollama serve

Sur les machines des membres, faites pointer OLLAMA_HOST vers le serveur, et la commande ollama locale pilotera le service distant :

# 成员电脑:CLI 与 SDK 都认这个变量
export OLLAMA_HOST=http://192.168.1.100:11434

# 之后所有命令都作用在服务器上
ollama run qwen3.5

Pour le dimensionnement dans le partage multi-utilisateurs, référez-vous directement à la formule de la section de configuration : le nombre de requêtes simultanées multiplié par la longueur du contexte détermine l'utilisation de la VRAM. Pour une équipe de 10, il n'est pas recommandé de définir NUM_PARALLEL sur 10 ; la mise en file d'attente est souvent plus élégante que l'épuisement de la VRAM.


Proxy inverse et tunnels

Proxy inverse Nginx (recommandé)

# 文件路径:/etc/nginx/conf.d/ollama.conf
server {
    listen 80;
    server_name model.example.com;   # 换成你的域名或内网 IP

    location / {
        proxy_pass http://localhost:11434;
        proxy_set_header Host localhost:11434;
        # Ollama 流式响应为 NDJSON,建议关闭缓冲避免"卡顿"
        proxy_buffering off;
    }
}

Tunnels temporaires : ngrok et Cloudflare Tunnel

Pour les démos ou le débogage conjoint à distance, vous pouvez utiliser des tunnels pour exposer temporairement le service local sur l'Internet public :

# ngrok
ngrok http 11434 --host-header="localhost:11434"

# Cloudflare Tunnel
cloudflared tunnel --url http://localhost:11434 --http-host-header="localhost:11434"

Un tunnel équivaut à exposer le service non authentifié sur l'Internet public. Il est recommandé uniquement pour des démos à court terme et doit être arrêté immédiatement après utilisation. Pour un accès externe à long terme, utilisez la solution Nginx authentifiée.


Authentification : construire votre propre périmètre de sécurité

Ollama n'a pas de système de comptes intégré. Le déploiement en équipe doit mettre en place sa propre authentification. Il existe trois approches courantes :

SolutionApprocheApplicable à
Authentification de base Nginxhtpasswd génère un fichier de mots de passe, vérification unifiée au niveau du proxyPetites équipes, peut être mis en place en dix minutes
Passerelle APIPasserelles telles que Kong, APISIX pour l'émission de clés API, la limitation de débit et l'auditPartage multi-équipes, nécessite une mesure de consommation
Isolation réseauOllama ne passe que par l'intranet ou le sous-réseau VPN, sans être exposé à l'Internet publicEnvironnements avec contrôle du réseau d'entreprise

Prenons comme exemple l'authentification Basic Nginx la plus courante :

# 生成密码文件
sudo htpasswd -c /etc/nginx/.htpasswd zhangsan

# Nginx location 块中追加两行:
# auth_basic "Ollama API";
# auth_basic_user_file /etc/nginx/.htpasswd;

Les solutions d'authentification ci-dessus proviennent de pratiques courantes de la communauté plutôt que de fonctionnalités officielles d'Ollama. Lors du choix, suivez l'infrastructure existante de l'équipe. Il n'y a qu'un seul principe : ne pas exposer 11434 directement sur un réseau non fiable.


Distribution de modèles privés et gestion des versions

Les bons modèles personnalisés par l'équipe ont besoin d'un mécanisme de distribution. L'approche d'Ollama repose sur les namespaces et le push.

Le processus comporte quatre étapes : créer un compte sur ollama.com ; associer la clé publique locale (~/.ollama/id_ed25519.pub) dans la page des paramètres du site officiel ; copier le modèle vers un nom contenant le nom d'utilisateur ; push.

# 复制成带命名空间的名字,用 tag 标版本
ollama cp example-helper myteam/example-helper:v1

# 推送到 ollama.com
ollama push myteam/example-helper:v1

# 成员拉取使用(私有模型需登录授权账号)
ollama run myteam/example-helper:v1

La gestion des versions s'exprime avec des tags : v1, v2 sont indépendants l'un de l'autre, et un retour en arrière consiste simplement à repasser à l'ancien tag.

Une alternative entièrement hors ligne sur intranet existe aussi : placer le Modelfile personnalisé et les fichiers de poids dans un dépôt de code interne ou un service de fichiers, et les membres exécutent create localement pour construire. Ollama ne fournit actuellement pas de serveur pour des registres privés auto-hébergés, donc la distribution inter-réseaux prend principalement ces deux formes.


Surveillance et exploitation

L'exploitation quotidienne des services auto-hébergés s'articule autour de trois choses : le service est vivant, les ressources sont suffisantes et les erreurs sont traçables.

Les points d'appui officiels sont ollama ps (chargement du modèle et VRAM), les logs (emplacements dans le tableau récapitulatif de la section de configuration) et le champ usage de l'API (statistiques temporelles au niveau des tokens).

Les solutions communautaires comblent le vide en matière de surveillance basée sur les métriques : l'exportateur Ollama open source peut exposer des métriques telles que le nombre de requêtes et le débit de tokens à Prometheus, et utiliser Grafana pour les tableaux de bord. Lorsque les besoins sont simples, un script qui interroge périodiquement /api/ps et déclenche des alertes sur des mots-clés de log suffit également.

La plupart des solutions de supervision sont maintenues par la communauté ; confirmez la version d'Ollama prise en charge avant de faire votre choix. Cet article ne fixe pas de noms de projets précis ; vous pouvez également créer la vôtre en suivant l'approche du trio « exposition des métriques - base de données de séries temporelles - tableau de bord ».


Introduction au Deployment Kubernetes

Les équipes disposant déjà d'une infrastructure K8s peuvent exécuter Ollama dans un cluster à l'aide d'un Deployment. Trois points clés : utiliser un PVC pour la persistance des données de modèle, utiliser des déclarations d'ordonnancement des ressources pour les nœuds GPU, et exposer le service via un Service interne au cluster.

# 骨架示意:Deployment + GPU 资源声明
apiVersion: apps/v1
kind: Deployment
metadata:
  name: ollama
spec:
  replicas: 1
  template:
    spec:
      containers:
        - name: ollama
          image: ollama/ollama
          ports:
            - containerPort: 11434
          volumeMounts:
            - name: models          # 模型持久化,避免 Pod 重建重新拉取
              mountPath: /root/.ollama
          resources:
            limits:
              nvidia.com/gpu: 1    # 声明 GPU,配合集群 GPU 调度
      volumes:
        - name: models
          persistentVolumeClaim:
            claimName: ollama-models

Ollama n'a pas publié de Helm Chart officiel ; le déploiement en cluster repose principalement sur des Charts communautaires ou des manifests développés en interne. Les avantages du passage à K8s résident principalement dans l'ordonnancement et l'auto-réparation. Si vous ne disposez que d'un seul serveur GPU, Docker Compose est généralement un choix plus tranquille.