Utilisation d'Ollama avec Python

Ollama fournit un SDK Python qui nous permet d'interagir avec des modèles exécutés localement dans un environnement Python.

Avec le SDK Python d'Ollama, vous pouvez facilement intégrer des tâches de traitement du langage naturel dans des projets Python, effectuer diverses opérations telles que la génération de texte, la génération de conversation et la gestion de modèles, sans invoquer manuellement la ligne de commande.

Installer le SDK Python

Tout d'abord, nous devons installer le SDK Python d'Ollama.

Vous pouvez l'installer à l'aide de pip:

pip install ollama

Assurez-vous que votre environnement dispose de Python 3.x installé, et que votre environnement réseau peut accéder au service local Ollama.

Démarrer le service local

Avant d'utiliser le SDK Python, assurez-vous que le service local Ollama a été démarré.

Vous pouvez le démarrer à l'aide de l'outil en ligne de commande:

ollama serve

Après avoir démarré le service local, le SDK Python communiquera avec le service local pour effectuer des tâches telles que l'inférence de modèle.

Utilisation du SDK Python d'Ollama pour l'inférence

Après avoir installé le SDK et démarré le service local, nous pouvons interagir avec Ollama via du code Python.

Tout d'abord, importez chat et ChatResponse depuis la bibliothèque ollama:

from ollama import chat
from ollama import ChatResponse

Grâce au SDK Python, vous pouvez envoyer des requêtes à un modèle spécifié pour générer du texte ou des conversations :

Exemple

from ollama import chat
from ollama import ChatResponse

response: ChatResponse = chat(model='qwen3.5', messages=[
  {
    'role': 'user',
    'content': 'Qui êtes-vous ?',
  },
])
# Afficher le contenu de la réponse
print(response['message']['content'])

# Ou accéder directement aux champs de l'objet réponse
#print(response.message.content)

En exécutant le code ci-dessus, la sortie est :

你好!我是 Qwen3.5,是通义千问系列中最新推出的大语言模型。我具备强大的语言理解与生成能力,能协助你完成多种任务!

Le SDK Ollama prend également en charge les réponses en streaming. Lors de l'envoi d'une requête, nous pouvons définirstream=Truepour activer le streaming des réponses.

Exemple

from ollama import chat

stream = chat(
    model='qwen3.5',
    messages=[{'role': 'user', 'content': 'Qui êtes-vous ?'}],
    stream=True,
)

# Afficher le contenu de la réponse morceau par morceau
for chunk in stream:
    print(chunk['message']['content'], end='', flush=True)

Client personnalisé

Vous pouvez également créer un client personnalisé pour mieux contrôler la configuration des requêtes, par exemple en définissant des en-têtes personnalisés ou en spécifiant l'URL du service local.

Créer un client personnalisé

Via Client, vous pouvez personnaliser les paramètres de requête (tels que les en-têtes de requête, l'URL, etc.) et envoyer des requêtes.

Exemple

from ollama import Client

client = Client(
    host='http://localhost:11434',
    headers={'x-some-header': 'some-value'}
)

response = client.chat(model='qwen3.5', messages=[
    {
        'role': 'user',
        'content': 'Qui êtes-vous ?',
    },
])
print(response['message']['content'])

Client asynchrone

Si vous souhaitez exécuter des requêtes de manière asynchrone, vous pouvez utiliser la classe AsyncClient, qui convient aux scénarios nécessitant de la concurrence.

Exemple

import asyncio
from ollama import AsyncClient

async def chat():
    message = {'role': 'user', 'content': 'Qui êtes-vous ?'}
    response = await AsyncClient().chat(model='qwen3.5', messages=[message])
    print(response['message']['content'])

asyncio.run(chat())
différent

Le client asynchrone prend en charge les mêmes fonctionnalités que les requêtes synchrones traditionnelles ; la seule différence est que les requêtes sont exécutées de manière asynchrone, ce qui peut améliorer les performances, en particulier dans les scénarios à forte concurrence.

Réponse en streaming asynchrone

Si vous avez besoin de traiter des réponses en streaming de manière asynchrone, vous pouvez définirstream=Truepour l'utiliser comme générateur asynchrone afin d'implémenter cela.

Exemple

import asyncio
from ollama import AsyncClient

async def chat():
    message = {'role': 'user', 'content': 'Qui êtes-vous ?'}
    async for part in await AsyncClient().chat(model='qwen3.5', messages=[message], stream=True):
        print(part['message']['content'], end='', flush=True)

asyncio.run(chat())

Ici, la réponse est renvoyée de manière asynchrone en plusieurs parties, et chaque partie peut être traitée immédiatement.


Méthodes API courantes

Le SDK Python Ollama fournit quelques méthodes API courantes pour exploiter et gérer les modèles.

1. méthode chat

Effectue la génération de conversation avec le modèle, en envoyant des messages utilisateur et en récupérant les réponses du modèle :

ollama.chat(model='llama3.2', messages=[{'role': 'user', 'content': 'Why is the sky blue?'}])

2. méthode generate

Utilisée pour les tâches de génération de texte. Similaire à la méthode chat, mais elle ne nécessite qu'un paramètre prompt :

ollama.generate(model='llama3.2', prompt='Why is the sky blue?')

3. méthode list

Liste tous les modèles disponibles :

ollama.list()

4. méthode show

Affiche les informations détaillées du modèle spécifié :

ollama.show('llama3.2')

5. méthode create

Crée un nouveau modèle à partir d'un modèle existant :

ollama.create(model='example', from_='llama3.2', system="You are Mario from Super Mario Bros.")

6. méthode copy

Copie un modèle vers un autre emplacement :

ollama.copy('llama3.2', 'user/llama3.2')

7. méthode delete

Supprime le modèle spécifié :

ollama.delete('llama3.2')

8. méthode pull

Récupère un modèle depuis un dépôt distant :

ollama.pull('llama3.2')

9. méthode push

Envoie un modèle local vers un dépôt distant :

ollama.push('user/llama3.2')

10. méthode embed

Génère des plongements de texte :

ollama.embed(model='llama3.2', input='The sky is blue because of rayleigh scattering')

11. méthode ps

Affiche la liste des modèles en cours d'exécution :

ollama.ps()

Gestion des erreurs

Le SDK Ollama lève des erreurs lorsqu'une requête échoue ou lorsque des problèmes surviennent pendant le streaming de la réponse.

Nous pouvons utiliser des instructions try-except pour intercepter ces erreurs et les gérer selon les besoins.

Exemple

model = 'does-not-yet-exist'

try:
    response = ollama.chat(model)
except ollama.ResponseError as e:
    print('Error:', e.error)
    if e.status_code == 404:
        ollama.pull(model)

Dans l'exemple ci-dessus, si le modèle does-not-yet-exist n'existe pas, une ResponseError est levée. Après l'avoir interceptée, vous pouvez choisir de faire un pull du modèle ou d'effectuer un autre traitement.

Autres extensions