Skills 非同期と並行処理
Skill が複数の時間のかかる操作(ネットワークリクエスト、ファイル I/O など)を同時に待つ必要がある場合、非同期プログラミングは合計待機時間を大幅に短縮できます。
この記事では、Python asyncio の Skill スクリプトにおける適用シナリオと書き方を紹介します。
同期 vs 非同期:非同期を使うべき時
| シナリオ | 推奨方法 | 理由 |
|---|---|---|
| 単一ファイルの処理、単発 API 呼び出し | 同期 | 非同期の利点が目立たず、コードがよりシンプル |
| 複数の HTTP リクエストを同時に送信 | 非同期 | 並行待機により、合計時間 ≈ 最長の単発時間 |
| 複数のファイルを同時に読み取る | 非同期またはスレッドプール | I/O 待機中にタスクを切り替えられる |
| CPU 密集型の計算(画像処理など) | マルチプロセス | asyncio は GIL を回避しない |
非同期は並列ではありません。Python の asyncio はシングルスレッドのイベントループであり、I/O 密集型タスク(ネットワーク、ディスクの待機)に適しています。CPU 密集型タスクでは、マルチプロセスを使用すべきです。
ProcessPoolExecutor。
複数の HTTP リクエストを非同期で送信
Skill が 3 つの API を同時に呼び出す必要があると仮定します。同期方式の合計所要時間は 3 回のリクエストの合計ですが、非同期方式では最も遅い 1 回分にほぼ等しくなります。
例
# ファイルパス:scripts/async_requests.py
# 複数の API を非同期で並行呼び出しし、結果を集約する
import asyncio
import aiohttp # pip install aiohttp --break-system-packages
import json
import sys
import time
API_KEY = "your_api_key"
BASE_URL = "https://api.example.com/v1"
async def fetch_one(session: aiohttp.ClientSession,
endpoint: str, payload: dict) -> dict:
"""非同期で単一の POST リクエストを送信する"""
url = BASE_URL + endpoint
headers = {"Authorization": f"Bearer {API_KEY}"}
try:
async with session.post(url, json=payload,
headers=headers, timeout=aiohttp.ClientTimeout(total=30)) as resp:
resp.raise_for_status()
return {"endpoint": endpoint, "status": "ok", "data": await resp.json()}
except Exception as e:
return {"endpoint": endpoint, "status": "error", "message": str(e)}
async def fetch_all(requests: list) -> list:
"""
すべてのリクエストを並行送信し、全ての完了を待つ
パラメータ:
requests: リスト。各要素は (endpoint, payload) のタプル
"""
async with aiohttp.ClientSession() as session:
tasks = [
fetch_one(session, endpoint, payload)
for endpoint, payload in requests
]
# gather がすべての task を並行実行。return_exceptions=True は 1 つの失敗が他に影響するのを防ぐ
return await asyncio.gather(*tasks, return_exceptions=True)
def main():
# 並行呼び出しするリクエストのリストを定義
requests = [
("/summarize", {"text": "サンプル は技術学習プラットフォームです", "lang": "zh"}),
("/keywords", {"text": "サンプル は各種プログラミングチュートリアルを提供しています", "top_n": 5}),
("/sentiment", {"text": "このプラットフォームのチュートリアルは質が高いです"}),
]
t0 = time.perf_counter()
results = asyncio.run(fetch_all(requests))
elapsed = time.perf_counter() - t0
print(f並行して {len(results)} 件のリクエストを完了、合計所要時間 {elapsed:.2f} 秒)
print(json.dumps(results, ensure_ascii=False, indent=2))
if __name__ == "__main__":
main()
# 複数の API を非同期で並行呼び出しし、結果を集約する
import asyncio
import aiohttp # pip install aiohttp --break-system-packages
import json
import sys
import time
API_KEY = "your_api_key"
BASE_URL = "https://api.example.com/v1"
async def fetch_one(session: aiohttp.ClientSession,
endpoint: str, payload: dict) -> dict:
"""非同期で単一の POST リクエストを送信する"""
url = BASE_URL + endpoint
headers = {"Authorization": f"Bearer {API_KEY}"}
try:
async with session.post(url, json=payload,
headers=headers, timeout=aiohttp.ClientTimeout(total=30)) as resp:
resp.raise_for_status()
return {"endpoint": endpoint, "status": "ok", "data": await resp.json()}
except Exception as e:
return {"endpoint": endpoint, "status": "error", "message": str(e)}
async def fetch_all(requests: list) -> list:
"""
すべてのリクエストを並行送信し、全ての完了を待つ
パラメータ:
requests: リスト。各要素は (endpoint, payload) のタプル
"""
async with aiohttp.ClientSession() as session:
tasks = [
fetch_one(session, endpoint, payload)
for endpoint, payload in requests
]
# gather がすべての task を並行実行。return_exceptions=True は 1 つの失敗が他に影響するのを防ぐ
return await asyncio.gather(*tasks, return_exceptions=True)
def main():
# 並行呼び出しするリクエストのリストを定義
requests = [
("/summarize", {"text": "サンプル は技術学習プラットフォームです", "lang": "zh"}),
("/keywords", {"text": "サンプル は各種プログラミングチュートリアルを提供しています", "top_n": 5}),
("/sentiment", {"text": "このプラットフォームのチュートリアルは質が高いです"}),
]
t0 = time.perf_counter()
results = asyncio.run(fetch_all(requests))
elapsed = time.perf_counter() - t0
print(f並行して {len(results)} 件のリクエストを完了、合計所要時間 {elapsed:.2f} 秒)
print(json.dumps(results, ensure_ascii=False, indent=2))
if __name__ == "__main__":
main()
并发完成 3 个请求,总耗时 1.23 秒 (同步串行约需 3.5 秒,并发节省约 65% 时间)
複数のファイルを非同期で読み取る
複数のファイルを同時に読み取る必要があるシナリオでは、aiofilesファイル I/O の非同期バージョンが提供されています。
例
# ファイルパス:scripts/async_file_reader.py
import asyncio
import aiofiles # pip install aiofiles --break-system-packages
import os
async def read_file(file_path: str) -> dict:
"""非同期で単一のファイルを読み取る"""
try:
async with aiofiles.open(file_path, encoding="utf-8") as f:
content = await f.read()
return {
"file": os.path.basename(file_path),
"chars": len(content),
"lines": content.count("\n"),
"status": "ok"
}
except Exception as e:
return {"file": file_path, "status": "error", "message": str(e)}
async def read_all_files(file_paths: list) -> list:
"""すべてのファイルを並行して読み取る"""
tasks = [read_file(fp) for fp in file_paths]
return await asyncio.gather(*tasks)
if __name__ == "__main__":
import glob, json
# アップロードディレクトリ内のすべての .txt ファイルを読み取る
files = glob.glob("/mnt/user-data/uploads/*.txt")
if not files:
print(".txt ファイルが見つかりません")
else:
results = asyncio.run(read_all_files(files))
print(json.dumps(results, ensure_ascii=False, indent=2))
import asyncio
import aiofiles # pip install aiofiles --break-system-packages
import os
async def read_file(file_path: str) -> dict:
"""非同期で単一のファイルを読み取る"""
try:
async with aiofiles.open(file_path, encoding="utf-8") as f:
content = await f.read()
return {
"file": os.path.basename(file_path),
"chars": len(content),
"lines": content.count("\n"),
"status": "ok"
}
except Exception as e:
return {"file": file_path, "status": "error", "message": str(e)}
async def read_all_files(file_paths: list) -> list:
"""すべてのファイルを並行して読み取る"""
tasks = [read_file(fp) for fp in file_paths]
return await asyncio.gather(*tasks)
if __name__ == "__main__":
import glob, json
# アップロードディレクトリ内のすべての .txt ファイルを読み取る
files = glob.glob("/mnt/user-data/uploads/*.txt")
if not files:
print(".txt ファイルが見つかりません")
else:
results = asyncio.run(read_all_files(files))
print(json.dumps(results, ensure_ascii=False, indent=2))
タイムアウト制御とタスクキャンセル
非同期タスクでは、タイムアウト制御が特に重要です。asyncio.wait_for単一のタスクに最大待機時間を設定できます。
例
# ファイルパス:scripts/async_timeout.py
import asyncio
async def slow_task(name: str, delay: float) -> str:
"""時間のかかるタスクをシミュレートする"""
await asyncio.sleep(delay)
return f{name} 完了
async def run_with_timeout():
tasks = {
"高速タスク": slow_task("高速タスク", 0.5),
"低速タスク": slow_task("低速タスク", 5.0),
}
results = {}
for name, coro in tasks.items():
try:
# 各タスクの最大待機時間は 2 秒
result = await asyncio.wait_for(coro, timeout=2.0)
results[name] = {"status": "ok", "result": result}
except asyncio.TimeoutError:
results[name] = {"status": "timeout", "message": "2 秒を超えても完了していません"}
return results
if __name__ == "__main__":
import json
output = asyncio.run(run_with_timeout())
print(json.dumps(output, ensure_ascii=False, indent=2))
import asyncio
async def slow_task(name: str, delay: float) -> str:
"""時間のかかるタスクをシミュレートする"""
await asyncio.sleep(delay)
return f{name} 完了
async def run_with_timeout():
tasks = {
"高速タスク": slow_task("高速タスク", 0.5),
"低速タスク": slow_task("低速タスク", 5.0),
}
results = {}
for name, coro in tasks.items():
try:
# 各タスクの最大待機時間は 2 秒
result = await asyncio.wait_for(coro, timeout=2.0)
results[name] = {"status": "ok", "result": result}
except asyncio.TimeoutError:
results[name] = {"status": "timeout", "message": "2 秒を超えても完了していません"}
return results
if __name__ == "__main__":
import json
output = asyncio.run(run_with_timeout())
print(json.dumps(output, ensure_ascii=False, indent=2))
{
"快速任务": {"status": "ok", "result": "快速任务 完成"},
"慢速任务": {"status": "timeout", "message": "超过 2 秒未完成"}
}
SKILL.md で非同期スクリプトの呼び出し方法を説明する
## 并发 API 调用 当用户提供多个文本需要同时分析时,运行异步脚本以提升速度: ```bash python scripts/async_requests.py ``` 该脚本会并发发出所有请求,总耗时约等于最慢的单次请求, 而非所有请求的时间之和。その他の拡張