Utilisation d'Ollama avec Python
Ollama fournit un SDK Python qui nous permet d'interagir avec des modèles exécutés localement dans un environnement Python.
Avec le SDK Python d'Ollama, vous pouvez facilement intégrer des tâches de traitement du langage naturel dans des projets Python, effectuer diverses opérations telles que la génération de texte, la génération de conversation et la gestion de modèles, sans invoquer manuellement la ligne de commande.
Installer le SDK Python
Tout d'abord, nous devons installer le SDK Python d'Ollama.
Vous pouvez l'installer à l'aide de pip:
pip install ollama
Assurez-vous que votre environnement dispose de Python 3.x installé, et que votre environnement réseau peut accéder au service local Ollama.
Démarrer le service local
Avant d'utiliser le SDK Python, assurez-vous que le service local Ollama a été démarré.
Vous pouvez le démarrer à l'aide de l'outil en ligne de commande:
ollama serve
Après avoir démarré le service local, le SDK Python communiquera avec le service local pour effectuer des tâches telles que l'inférence de modèle.
Utilisation du SDK Python d'Ollama pour l'inférence
Après avoir installé le SDK et démarré le service local, nous pouvons interagir avec Ollama via du code Python.
Tout d'abord, importez chat et ChatResponse depuis la bibliothèque ollama:
from ollama import chat from ollama import ChatResponse
Grâce au SDK Python, vous pouvez envoyer des requêtes à un modèle spécifié pour générer du texte ou des conversations :
Exemple
from ollama import ChatResponse
response: ChatResponse = chat(model='qwen3.5', messages=[
{
'role': 'user',
'content': 'Qui êtes-vous ?',
},
])
# Afficher le contenu de la réponse
print(response['message']['content'])
# Ou accéder directement aux champs de l'objet réponse
#print(response.message.content)
En exécutant le code ci-dessus, la sortie est :
你好!我是 Qwen3.5,是通义千问系列中最新推出的大语言模型。我具备强大的语言理解与生成能力,能协助你完成多种任务!
Le SDK Ollama prend également en charge les réponses en streaming. Lors de l'envoi d'une requête, nous pouvons définirstream=Truepour activer le streaming des réponses.
Exemple
stream = chat(
model='qwen3.5',
messages=[{'role': 'user', 'content': 'Qui êtes-vous ?'}],
stream=True,
)
# Afficher le contenu de la réponse morceau par morceau
for chunk in stream:
print(chunk['message']['content'], end='', flush=True)
Client personnalisé
Vous pouvez également créer un client personnalisé pour mieux contrôler la configuration des requêtes, par exemple en définissant des en-têtes personnalisés ou en spécifiant l'URL du service local.
Créer un client personnalisé
Via Client, vous pouvez personnaliser les paramètres de requête (tels que les en-têtes de requête, l'URL, etc.) et envoyer des requêtes.
Exemple
client = Client(
host='http://localhost:11434',
headers={'x-some-header': 'some-value'}
)
response = client.chat(model='qwen3.5', messages=[
{
'role': 'user',
'content': 'Qui êtes-vous ?',
},
])
print(response['message']['content'])
Client asynchrone
Si vous souhaitez exécuter des requêtes de manière asynchrone, vous pouvez utiliser la classe AsyncClient, qui convient aux scénarios nécessitant de la concurrence.
Exemple
from ollama import AsyncClient
async def chat():
message = {'role': 'user', 'content': 'Qui êtes-vous ?'}
response = await AsyncClient().chat(model='qwen3.5', messages=[message])
print(response['message']['content'])
asyncio.run(chat())
Le client asynchrone prend en charge les mêmes fonctionnalités que les requêtes synchrones traditionnelles ; la seule différence est que les requêtes sont exécutées de manière asynchrone, ce qui peut améliorer les performances, en particulier dans les scénarios à forte concurrence.
Réponse en streaming asynchrone
Si vous avez besoin de traiter des réponses en streaming de manière asynchrone, vous pouvez définirstream=Truepour l'utiliser comme générateur asynchrone afin d'implémenter cela.
Exemple
from ollama import AsyncClient
async def chat():
message = {'role': 'user', 'content': 'Qui êtes-vous ?'}
async for part in await AsyncClient().chat(model='qwen3.5', messages=[message], stream=True):
print(part['message']['content'], end='', flush=True)
asyncio.run(chat())
Ici, la réponse est renvoyée de manière asynchrone en plusieurs parties, et chaque partie peut être traitée immédiatement.
Méthodes API courantes
Le SDK Python Ollama fournit quelques méthodes API courantes pour exploiter et gérer les modèles.
1. méthode chat
Effectue la génération de conversation avec le modèle, en envoyant des messages utilisateur et en récupérant les réponses du modèle :
ollama.chat(model='llama3.2', messages=[{'role': 'user', 'content': 'Why is the sky blue?'}])
2. méthode generate
Utilisée pour les tâches de génération de texte. Similaire à la méthode chat, mais elle ne nécessite qu'un paramètre prompt :
ollama.generate(model='llama3.2', prompt='Why is the sky blue?')
3. méthode list
Liste tous les modèles disponibles :
ollama.list()
4. méthode show
Affiche les informations détaillées du modèle spécifié :
ollama.show('llama3.2')5. méthode create
Crée un nouveau modèle à partir d'un modèle existant :
ollama.create(model='example', from_='llama3.2', system="You are Mario from Super Mario Bros.")
6. méthode copy
Copie un modèle vers un autre emplacement :
ollama.copy('llama3.2', 'user/llama3.2')
7. méthode delete
Supprime le modèle spécifié :
ollama.delete('llama3.2')
8. méthode pull
Récupère un modèle depuis un dépôt distant :
ollama.pull('llama3.2')
9. méthode push
Envoie un modèle local vers un dépôt distant :
ollama.push('user/llama3.2')
10. méthode embed
Génère des plongements de texte :
ollama.embed(model='llama3.2', input='The sky is blue because of rayleigh scattering')
11. méthode ps
Affiche la liste des modèles en cours d'exécution :
ollama.ps()
Gestion des erreurs
Le SDK Ollama lève des erreurs lorsqu'une requête échoue ou lorsque des problèmes surviennent pendant le streaming de la réponse.
Nous pouvons utiliser des instructions try-except pour intercepter ces erreurs et les gérer selon les besoins.
Exemple
try:
response = ollama.chat(model)
except ollama.ResponseError as e:
print('Error:', e.error)
if e.status_code == 404:
ollama.pull(model)
Dans l'exemple ci-dessus, si le modèle does-not-yet-exist n'existe pas, une ResponseError est levée. Après l'avoir interceptée, vous pouvez choisir de faire un pull du modèle ou d'effectuer un autre traitement.
Autres extensions