Ollama Python の使用
Ollama は Python SDK を提供しており、Python 環境でローカルで実行されているモデルと対話することができます。
Ollama の Python SDK を使用すると、自然言語処理タスクを Python プロジェクトに簡単に統合でき、テキスト生成、対話生成、モデル管理などのさまざまな操作を、コマンドラインを手動で呼び出さずに実行できます。
Python SDK のインストール
まず、Ollama の Python SDK をインストールする必要があります。
pip を使用してインストールできます:
pip install ollama
お使いの環境に Python 3.x がインストールされていること、およびネットワーク環境から Ollama ローカルサービスにアクセスできることを確認してください。
ローカルサービスの起動
Python SDK を使用する前に、Ollama ローカルサービスが起動していることを確認してください。
コマンドラインツールを使用して起動できます:
ollama serve
ローカルサービスを起動すると、Python SDK はローカルサービスと通信し、モデル推論などのタスクを実行します。
Ollama の Python SDK を使用した推論
SDK をインストールしてローカルサービスを起動すれば、Python コードで Ollama と対話できるようになります。
まず、ollama ライブラリから chat と ChatResponse をインポートします:
from ollama import chat from ollama import ChatResponse
Python SDK を使用すると、指定したモデルにリクエストを送信して、テキストや対話を生成できます:
例
from ollama import ChatResponse
response: ChatResponse = chat(model='qwen3.5', messages=[
{
'role': 'user',
'content': 'あなたは誰ですか?',
},
])
# 打印响应内容
print(response['message']['content'])
# または、レスポンスオブジェクトのフィールドに直接アクセスする
#print(response.message.content)
上記のコードを実行すると、出力結果は次のようになります:
你好!我是 Qwen3.5,是通义千问系列中最新推出的大语言模型。我具备强大的语言理解与生成能力,能协助你完成多种任务!
Ollama SDK はストリーミングレスポンスもサポートしており、リクエスト送信時に設定することで、stream=Trueレスポンスのストリーミングを有効にすることができます。
例
stream = chat(
model='qwen3.5',
messages=[{'role': 'user', 'content': 'あなたは誰ですか?'}],
stream=True,
)
# 逐块打印响应内容
for chunk in stream:
print(chunk['message']['content'], end='', flush=True)
カスタムクライアント
カスタムクライアントを作成して、リクエスト設定をさらに制御することもできます。たとえば、カスタムヘッダーを設定したり、ローカルサービスの URL を指定したりできます。
カスタムクライアントの作成
Client を使用すると、リクエストの設定(リクエストヘッダー、URL など)をカスタマイズして、リクエストを送信できます。
例
client = Client(
host='http://localhost:11434',
headers={'x-some-header': 'some-value'}
)
response = client.chat(model='qwen3.5', messages=[
{
'role': 'user',
'content': 'あなたは誰?',
},
])
print(response['message']['content'])
非同期クライアント
リクエストを非同期で実行したい場合は、AsyncClient クラスを使用できます。これは並行処理が必要なシナリオに適しています。
例
from ollama import AsyncClient
async def chat():
message = {'role': 'user', 'content': 'あなたは誰?'}
response = await AsyncClient().chat(model='qwen3.5', messages=[message])
print(response['message']['content'])
asyncio.run(chat())
非同期クライアントは、従来の同期リクエストと同じ機能をサポートしています。唯一の違いは、リクエストが非同期で実行されることです。これにより、特に高同時実行のシナリオでパフォーマンスを向上させることができます。
非同期ストリーミングレスポンス
非同期ジェネレータに設定することで実現できます。stream=True例
例
from ollama import AsyncClient
async def chat():
message = {'role': 'user', 'content': ここでは、レスポンスは部分ごとに非同期で返され、各部分をすぐに処理できます。}
async for part in await AsyncClient().chat(model='qwen3.5', messages=[message], stream=True):
print(part['message']['content'], end='', flush=True)
asyncio.run(chat())
よく使う API メソッド
よく使う API メソッド
1. chat メソッド
モデルとの対話を生成し、ユーザーメッセージを送信してモデルの応答を取得します:
2. generate メソッド
ollama.chat(model='llama3.2', messages=[{'role': 'user', 'content': 'Why is the sky blue?'}])
テキスト生成タスクに使用します。chat メソッドと似ていますが、prompt パラメータのみが必要です:
3. list メソッド
ollama.generate(model='llama3.2', prompt='Why is the sky blue?')
利用可能なすべてのモデルを一覧表示します:
4. show メソッド
ollama.list()
指定したモデルの詳細情報を表示します:
5. create メソッド
ollama.show('llama3.2')既存のモデルから新しいモデルを作成します:
6. copy メソッド
ollama.create(model='example', from_='llama3.2', system="You are Mario from Super Mario Bros.")
モデルを別の場所にコピーします:
7. delete メソッド
ollama.copy('llama3.2', 'user/llama3.2')
指定したモデルを削除します:
8. pull メソッド
ollama.delete('llama3.2')
リモートリポジトリからモデルを取得(プル)します:
9. push メソッド
ollama.pull('llama3.2')
ローカルモデルをリモートリポジトリにプッシュします:
10. embed メソッド
ollama.push('user/llama3.2')
テキスト埋め込みを生成します:
11. ps メソッド
ollama.embed(model='llama3.2', input='The sky is blue because of rayleigh scattering')
実行中のモデルのリストを表示します:
エラーハンドリング
ollama.ps()
エラーハンドリング
try-except 文を使用してこれらのエラーをキャッチし、必要に応じて処理できます。
例
例
try:
response = ollama.chat(model)
except ollama.ResponseError as e:
print('Error:', e.error)
if e.status_code == 404:
ollama.pull(model)
その他の拡張
AI 思考中...