Ollama プライベート化とチーム展開
GPUを搭載した1台のサーバーがあれば、チーム全体で共有するモデルサービスにできる:コンテナ化オーケストレーション、イントラネット共有、リバースプロキシ、モデル配布。本記事ではこれらを組み合わせて、完全なチーム展開ソリューションを構成する。
まず核となる認識を確立する:Ollama 自体には認証機構がなく、セキュリティ境界はリバースプロキシとネットワークポリシーで構築する必要がある。
チーム展開トポロジー概要
推奨する標準トポロジーは3段階方式:メンバーのトラフィックはまずリバースプロキシに到達し、プロキシが認証を完了した後、ローカルループバックのみをリッスンする Ollama サービスに転送する。
この構造の重要設計は、Ollama が 127.0.0.1 のみをリッスンし、すべての外部アクセスがプロキシを経由しなければならないことだ。これにより認証入口は唯一かつ制御可能になる。
Docker と Compose オーケストレーション
サーバー展開では Docker が第一候補であり、チームの場面では Compose で設定を固定する:
# 文件路径:docker-compose.yml
services:
ollama:
image: ollama/ollama # AMD 显卡改用 ollama/ollama:rocm
container_name: ollama
restart: unless-stopped
volumes:
- ollama:/root/.ollama # 模型持久化,升级镜像不丢模型
ports:
- "127.0.0.1:11434:11434" # 只暴露给本机,交给 Nginx 对外
# NVIDIA GPU 直通(需要先装好 NVIDIA Container Toolkit)
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
volumes:
ollama:
docker 関連コマンド:
# 启动 / 查看日志 / 升级 docker compose up -d docker compose logs -f ollama docker compose pull && docker compose up -d
ports マッピングが 11434:11434 ではなく 127.0.0.1:11434:11434 であることに注意。前者はポートをローカルループバックに制限し、外部からは Nginx 経由でのみアクセスできる。後者は認証なしのサービスをネットワークインターフェースに直接さらすことに等しく、最も一般的なチームのセキュリティ事故の原因である。
ローカルネットワークで1台のモデルサーバーを共有
小規模チームがプロキシを構築したくない場合、最も低コストな共有方法は Ollama に直接イントラネットをリッスンさせることだ:
# 服务器端:监听所有网卡 OLLAMA_HOST=0.0.0.0:11434 ollama serve
メンバーのマシンで OLLAMA_HOST をサーバーに向けると、ローカルの ollama コマンドがリモートサービスを操作するようになる:
# 成员电脑:CLI 与 SDK 都认这个变量 export OLLAMA_HOST=http://192.168.1.100:11434 # 之后所有命令都作用在服务器上 ollama run qwen3.5
多人で共有する場合の容量計画は、設定章の公式をそのまま引用する:並行リクエスト数×コンテキスト長がVRAM使用量を決定する。10人チームでは NUM_PARALLEL を 10 に設定することは推奨しない。待ち行列の方が、VRAMを溢れさせるよりはるかに体裁が良い。
リバースプロキシとトンネル
Nginx リバースプロキシ(推奨)
# 文件路径:/etc/nginx/conf.d/ollama.conf
server {
listen 80;
server_name model.example.com; # 换成你的域名或内网 IP
location / {
proxy_pass http://localhost:11434;
proxy_set_header Host localhost:11434;
# Ollama 流式响应为 NDJSON,建议关闭缓冲避免"卡顿"
proxy_buffering off;
}
}
一時トンネル:ngrok と Cloudflare Tunnel
デモやリモート共同デバッグの場面では、トンネルを使ってローカルサービスを一時的にパブリックネットワークに公開できる:
# ngrok ngrok http 11434 --host-header="localhost:11434" # Cloudflare Tunnel cloudflared tunnel --url http://localhost:11434 --http-host-header="localhost:11434"
トンネルは認証なしサービスをパブリックネットワークに公開するのと同じであり、短期間のデモのみを推奨し、使い終わったらすぐに閉じること。長期的な外部アクセスには認証付きの Nginx ソリューションを利用してください。
認証:自前でセキュリティ境界を補完する
Ollama には組み込みのアカウントシステムがないため、チーム展開では認証を自前で構築する必要がある。よくある3つの方法:
| 方法 | 実装方法 | 適用場面 |
|---|---|---|
| Nginx Basic Auth | htpasswd でパスワードファイルを生成し、プロキシ層で一括検証 | 小規模チーム、10分で導入可能 |
| API ゲートウェイ | Kong、APISIX などのゲートウェイで API Key の発行、レート制限、監査を行う | 複数チームで共有し、計量が必要な場合 |
| ネットワーク分離 | Ollama をイントラネットまたは VPN ネットワークセグメントのみに配置し、パブリックネットワークに公開しない | 企業ネットワーク管理が存在する環境 |
最も一般的な Nginx Basic Auth を例にする:
# 生成密码文件 sudo htpasswd -c /etc/nginx/.htpasswd zhangsan # Nginx location 块中追加两行: # auth_basic "Ollama API"; # auth_basic_user_file /etc/nginx/.htpasswd;
上記の認証方法は Ollama の公式機能ではなくコミュニティの一般的な実践に基づいている。選択時はチームの既存インフラに従うこと。原則はただ1つ:11434 を信頼できないネットワークに直接公開しないこと。
プライベートモデルの配布とバージョン管理
チームがカスタマイズした良いモデルには配布メカニズムが必要だ。Ollama の方法は名前空間とプッシュである。
手順は4ステップ:ollama.com のアカウントを登録する;公式サイトの設定ページでローカルマシンの公開鍵(~/.ollama/id_ed25519.pub)をバインドする;モデルをユーザー名付きの名前にコピーする;プッシュする。
# 复制成带命名空间的名字,用 tag 标版本 ollama cp サンプル-helper myteam/サンプル-helper:v1 # 推送到 ollama.com ollama push myteam/サンプル-helper:v1 # 成员拉取使用(私有模型需登录授权账号) ollama run myteam/サンプル-helper:v1
バージョン管理は tag で表現する:v1、v2 はそれぞれ独立しており、ロールバックは古い tag に戻すだけである。
完全オフラインのイントラネット代替案も存在する:カスタマイズした Modelfile と重みファイルを内部コードリポジトリまたはファイルサービスに置き、メンバーがローカルで create してビルドする。Ollama 公式は現在、自前のプライベートリポジトリのサーバーを提供しておらず、ネットワークを跨ぐ配布は主にこの2つの形態である。
監視と運用
自前サービスの日常運用は3つのこと中心に回る:サービスが生きているか、リソースが十分か、エラーが確認できるか。
公式が提供する手がかりは、ollama ps(モデルロードとVRAM)、ログ(場所は設定章の集計表を参照)、API の usage フィールド(トークンレベルの所要時間統計)である。
コミュニティのソリューションは指標化された監視を補完する:オープンソースの Ollama exporter はリクエスト数、token スループットなどの指標を Prometheus に公開でき、Grafana でダッシュボードを表示できる。要件が単純な場合は、/api/ps を定期的にポーリングし、ログのキーワードでアラートを出すスクリプトでも十分だ。
監視ソリューションはほとんどがコミュニティ保守であり、選定前にサポートされている Ollama バージョンを確認すること。本記事では具体的なプロジェクト名を限定せず、「指標公開 - 時系列DB - ダッシュボード」の3点セットの考え方で自前構築してもよい。
Kubernetes デプロイ概要
既存の K8s インフラを持つチームは、Deployment で Ollama をクラスター内で実行できる。要点は3つ:モデルデータは PVC で永続化、GPU ノードはリソーススケジューリングで宣言、サービス公開はクラスター内 Service を使用。
# 骨架示意:Deployment + GPU 资源声明
apiVersion: apps/v1
kind: Deployment
metadata:
name: ollama
spec:
replicas: 1
template:
spec:
containers:
- name: ollama
image: ollama/ollama
ports:
- containerPort: 11434
volumeMounts:
- name: models # 模型持久化,避免 Pod 重建重新拉取
mountPath: /root/.ollama
resources:
limits:
nvidia.com/gpu: 1 # 声明 GPU,配合集群 GPU 调度
volumes:
- name: models
persistentVolumeClaim:
claimName: ollama-models
Ollama 公式は Helm Chart を公開しておらず、クラスター展開はコミュニティの Chart や自前のマニフェストに依存することが多い。K8s を導入する利点は主にスケジューリングと自己修復であり、GPU サーバーが1台しかない場合は、通常 Docker Compose の方が手間がかからない選択肢である。