Optimisation du GPU et des performances d'Ollama
Si un modèle s'exécute lentement, des indices pour neuf causes sur dix peuvent être trouvés dans une seule ligne d'ollama ps. Ce chapitre passe des méthodes de dépannage au support matériel et à l'allocation multi-GPU, puis à deux options avancées : Flash Attention et la quantification du cache KV.
Il n'y a qu'un seul objectif : tirer le meilleur parti de votre GPU.
La première étape est toujours : confirmer où le modèle s'exécute.
Lors du diagnostic de performances, la première action consiste à examiner la colonne PROCESSOR. Elle indique directement où les poids du modèle sont chargés.
$ ollama ps NAME ID SIZE PROCESSOR CONTEXT UNTIL qwen3.5:27b a8b2c9d3e4f5 20.4GB 52%/48% CPU/GPU 4 minutes from now
Les trois formes correspondent à des situations complètement différentes :
| PROCESSOR affiche | Signification | Vitesse attendue |
|---|---|---|
| 100% GPU | Tous les poids chargés dans la VRAM | Vitesse GPU complète |
| 100% CPU | La VRAM ne peut pas du tout le contenir, inférence purement en mémoire | Un à deux ordres de grandeur plus lent |
| 52%/48% CPU/GPU | VRAM insuffisante, les poids sont répartis | Baisse notable, goulot d'étranglement au niveau du transfert inter-appareils |
Il est plus intuitif de l'examiner avec la vitesse de génération : eval_count / eval_duration * 10^9 à la fin de la réponse de l'API vous donne des token/s (voir la partie ultérieure du chapitre API pour l'utilisation). Utilisez ce nombre comme référence quantitative pour chaque optimisation.
Lorsque vous rencontrez un modèle lent, suivez le chemin de décision ci-dessous :
Prise en charge de l'accélération GPU par plateforme
Ollama prend en charge quatre principaux backends d'accélération, et l'installation du bon pilote est un prérequis.
| Plateforme | Backend | Exigence |
|---|---|---|
| NVIDIA | CUDA | Capacité de calcul 5.0+, pilote 550+ (les anciennes cartes avec 5.0~6.2 nécessitent 570+) |
| AMD(Linux) | ROCm v7 | Nécessite le pilote ROCm v7 ; les anciens pilotes peuvent provoquer un délai d'expiration de la découverte et un repli sur le CPU |
| AMD(Windows) | ROCm v7 / Vulkan | Pile de pilotes ROCm v7 ou HIP7 ; certaines séries RX 6000 utilisent Vulkan comme solution de repli |
| Apple Silicon | Metal | Fonctionne immédiatement, aucune configuration nécessaire |
| Intel / Autres | Vulkan | Backend supplémentaire activé par défaut, prenant en charge les anciennes cartes AMD et les GPU Intel |
Pour diagnostiquer si le GPU est reconnu, les enregistrements de découverte dans les journaux sont les plus convaincants ; les utilisateurs NVIDIA peuvent aussi utiliser docker run --gpus all ubuntu nvidia-smi pour vérifier le passthrough dans les scénarios de conteneur.
Pour limiter Ollama à certains GPU uniquement, ou forcer le mode CPU pur, chaque backend dispose d’options correspondantes :
Exemple
CUDA_VISIBLE_DEVICES=GPU-xxxx ollama serve
# AMD : utilisez de la même manière la liste des périphériques ROCr
ROCR_VISIBLE_DEVICES=0 ollama serve
# Vulkan : indiquez l’index du périphérique
GGML_VK_VISIBLE_DEVICES=1 ollama serve
# Pour les trois syntaxes, « -1 » signifie désactiver le GPU et forcer le CPU pur
CUDA_VISIBLE_DEVICES=-1 ollama serve
Répartition de la charge multi-GPU
La stratégie d’allocation sur les machines multi-GPU est automatique, avec une seule règle : privilégier un seul GPU et ne fractionner que si cela ne tient pas.
Lorsque le modèle peut tenir entièrement dans n’importe quelle carte unique, Ollama en choisira une pour le charger — l’usage d’un seul GPU évite les transferts de données via PCIe et constitue généralement la solution optimale en termes de débit.
Lorsqu’un seul GPU ne peut pas contenir le modèle, il est réparti sur tous les GPU disponibles ; à ce stade, vous devez également réserver de la marge pour le cache KV et le contexte. C’est aussi une raison courante pour laquelle les modèles à grand nombre de paramètres « se retrouvent répartis alors que la VRAM totale semble suffisante ».
Lorsque plusieurs GPU AMD sont mélangés sous Linux, certaines versions de pilote peuvent produire une sortie corrompue. Ces problèmes sont documentés dans la documentation officielle des problèmes connus multi-GPU d’AMD ; donnez la priorité à la mise à niveau du pilote ROCm.
Marge d’optimisation de l’inférence CPU
Il peut fonctionner sans GPU dédié, mais plusieurs points méritent d'être optimisés.
Ollama est livré avec plusieurs bibliothèques d'inférence CPU, classées par performance : cpu_avx2 > cpu_avx > cpu. Elle est sélectionnée automatiquement par défaut ; vous pouvez la spécifier de force lorsque la détection automatique échoue :
Exemple
OLLAMA_LLM_LIBRARY=cpu_avx2 ollama serve
# Vérifier quels jeux d'instructions votre CPU prend en charge
cat /proc/cpuinfo | grep flags | head -1
Deux faits supplémentaires : l'environnement de traduction Rosetta de macOS ne peut utiliser que la bibliothèque cpu de base ; le nombre de threads est contrôlé par num_thread dans les options, qui vaut par défaut le nombre de cœurs physiques. L'augmenter aveuglément peut en réalité ralentir les choses en raison de la contention liée à l'hyper-threading.
Le principal facteur caché de l'inférence CPU est la longueur du contexte : avec le même modèle, la différence de vitesse d'inférence CPU entre un contexte de 4K et de 32K est très significative. Lors de la configuration de modèles pour des scénarios CPU, ne définissez pas num_ctx très grand à la légère.
Flash Attention et quantification du cache KV
Ces deux éléments sont les optimisations de VRAM les plus importantes pour les scénarios à long contexte. Elles ne ciblent pas les poids du modèle, mais le cache KV qui croît avec le contexte.
Les versions récentes d'Ollama activent automatiquement Flash Attention lorsque le backend le prend en charge, et vous pouvez aussi le forcer activé/désactivé avec des variables d'environnement :
Exemple
OLLAMA_FLASH_ATTENTION=1 ollama serve
# Quantifier le cache KV en 8 bits : VRAM réduite de moitié, presque aucune perte de précision (recommandé)
OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve
| Type de cache KV | Utilisation de la VRAM | Impact sur la qualité | Recommandation |
|---|---|---|---|
| f16 (par défaut) | Référence | Sans perte | Conserver la valeur par défaut lorsque la VRAM est abondante |
| q8_0 | Environ la moitié | Quasiment imperceptible | Choix recommandé pour les scénarios à long contexte |
| q4_0 | Environ un quart | Perceptible en contexte long | À envisager uniquement lorsqu’on cherche à maximiser les économies de VRAM |
Deux points à noter : le type de cache KV est une configuration globale qui s’applique à tous les modèles chargés ; l’impact de la quantification sur la qualité varie selon le modèle, et certains modèles avec des structures GQA élevées y sont plus sensibles. Après le changement, il est recommandé de comparer et de vérifier à l’aide d’invites avec une graine fixe.
Compromis de qualité entre la précision de quantification et la vitesse
Le chapitre sur la sélection des modèles a couvert les avantages de la quantification en termes de taille ; nous ajoutons ici plusieurs conclusions du point de vue de la vitesse.
| Precision | Size | Vitesse | Qualité | Applicabilité |
|---|---|---|---|---|
| q8_0 | Environ la moitié de fp16 | Proche de fp16 | Quasiment sans perte | Choix privilégié lorsque la VRAM est abondante |
| q4_K_M | Environ un quart de fp16 | Généralement plus rapide | Légère diminution | Niveau par défaut pour le déploiement local |
| q4_K_S et inférieur | Plus compact | Pas nécessairement plus rapide | Diminution plus marquée | Économies extrêmes de VRAM |
Un point contre-intuitif : une quantification plus faible n'est pas nécessairement plus rapide. La vitesse d'inférence est limitée par la bande passante mémoire, et certains formats à faible nombre de bits nécessitent des calculs supplémentaires de déquantification. En pratique, ils peuvent être identiques, voire plus lents. Ne vous fiez pas uniquement aux chiffres lorsque vous choisissez un niveau de quantification.
Méthode de comparaison recommandée : fixez la graine et utilisez le même ensemble de prompts, comparez la sortie et les token/s de deux niveaux de quantification à une température de 0.3, en considérant la qualité et la vitesse ensemble.
Réglage de la concurrence et du débit
Une fois que l'optimisation des requêtes uniques atteint ses limites, l'étape suivante consiste à faire en sorte que le service gère la concurrence.
La variable principale est OLLAMA_NUM_PARALLEL (nombre de requêtes parallèles par modèle). Il faut garder à l'esprit le coût : le traitement parallèle multiplie le cache de contexte, et la VRAM requise est approximativement égale à cette valeur multipliée par l'espace KV pour la longueur de contexte. La définir trop grande peut évincer le modèle du GPU.
La mise en file d'attente côté serveur est contrôlée par OLLAMA_MAX_QUEUE, valeur par défaut 512. La dépasser renvoie directement 503, et le client doit réessayer.
L'ordre opérationnel pour le réglage du débit :
Étape 1 : réglage pour une requête unique (specs, quantification, FA et cache KV) afin de confirmer la vitesse en flux unique.
Étape 2 : augmentez progressivement NUM_PARALLEL, et à chaque niveau utilisez ollama ps pour confirmer qu'il est toujours à 100 % GPU, en observant si le débit total augmente.
Étape 3 : lorsque la mise en file d'attente 503 ou un fractionnement mixte apparaît, revenez d'un niveau — c'est la ligne rouge de la VRAM.
Autres extensions