Навыки: асинхронная и конкурентная обработка
Когда навыку нужно одновременно ожидать несколько длительных операций (таких как сетевые запросы, файловый ввод-вывод), асинхронное программирование может значительно сократить общее время ожидания.
В этой статье описываются сценарии применения и шаблоны кодирования Python asyncio в скриптах навыков.
Синхронный vs асинхронный: когда использовать асинхронность
| Сценарий | Рекомендуемый подход | Причина |
|---|---|---|
| Обработка одного файла, один вызов API | Синхронный | Преимущества асинхронности не очевидны; код проще |
| Отправлять несколько HTTP-запросов одновременно | Асинхронный | Одновременное ожидание, общее время ≈ время самого длинного одиночного запроса |
| Читать несколько файлов одновременно | Асинхронность или пул потоков | Задачи могут переключаться во время ожидания ввода-вывода |
| Вычисления, интенсивно использующие CPU (например, обработка изображений) | Многопроцессорность | asyncio не обходит GIL |
Асинхронность не равна параллелизму. asyncio в Python — однопоточный цикл событий, подходит для задач, интенсивно использующих ввод-вывод (ожидание сети, диска). Для задач, интенсивно использующих CPU, следует использовать
ProcessPoolExecutor。
Асинхронная отправка нескольких HTTP-запросов
Предположим, навыку нужно одновременно вызвать 3 конечные точки API. В синхронном режиме общее время равно сумме трёх запросов; в асинхронном режиме общее время примерно равно времени самого медленного запроса.
Пример
# Асинхронно и параллельно вызывать несколько API и агрегировать результаты
import asyncio
import aiohttp # pip install aiohttp --break-system-packages
import json
import sys
import time
API_KEY = "your_api_key"
BASE_URL = "https://api.example.com/v1"
async def fetch_one(session: aiohttp.ClientSession,
endpoint: str, payload: dict) -> dict:
"""Асинхронно отправить один POST-запрос"""
url = BASE_URL + endpoint
headers = {"Authorization": f"Bearer {API_KEY}"}
try:
async with session.post(url, json=payload,
headers=headers, timeout=aiohttp.ClientTimeout(total=30)) as resp:
resp.raise_for_status()
return {"endpoint": endpoint, "status": "ok", "data": await resp.json()}
except Exception as e:
return {"endpoint": endpoint, "status": "error", "message": str(e)}
async def fetch_all(requests: list) -> list:
"""
Отправить все запросы одновременно и дождаться завершения всех
Параметры:
requests: list, каждый элемент — кортеж (endpoint, payload)
"""
async with aiohttp.ClientSession() as session:
tasks = [
fetch_one(session, endpoint, payload)
for endpoint, payload in requests
]
# gather одновременно выполняет все задачи; return_exceptions=True предотвращает влияние одного сбоя на другие
return await asyncio.gather(*tasks, return_exceptions=True)
def main():
# Определить список запросов, которые будут вызваны параллельно
requests = [
("/summarize", {"text": "Пример — это платформа для изучения технологий", "lang": "zh"}),
("/keywords", {"text": "EXAMPLE предоставляет различные учебные пособия по программированию", "top_n": 5}),
("/sentiment", {"text": "Учебные пособия на этой платформе отличаются высоким качеством"}),
]
t0 = time.perf_counter()
results = asyncio.run(fetch_all(requests))
elapsed = time.perf_counter() - t0
print(f"Завершено {len(results)} запросов параллельно, общее время {elapsed:.2f} секунд")
print(json.dumps(results, ensure_ascii=False, indent=2))
if __name__ == "__main__":
main()
并发完成 3 个请求,总耗时 1.23 秒 (同步串行约需 3.5 秒,并发节省约 65% 时间)
Асинхронное чтение нескольких файлов
Для сценариев, где необходимо одновременно читать несколько файлов,aiofilesпредоставляет асинхронную версию файлового ввода-вывода.
Пример
import asyncio
import aiofiles # pip install aiofiles --break-system-packages
import os
async def read_file(file_path: str) -> dict:
"""Асинхронно прочитать один файл"""
try:
async with aiofiles.open(file_path, encoding="utf-8") as f:
content = await f.read()
return {
"file": os.path.basename(file_path),
"chars": len(content),
"lines": content.count("\n"),
"status": "ok"
}
except Exception as e:
return {"file": file_path, "status": "error", "message": str(e)}
async def read_all_files(file_paths: list) -> list:
"""Одновременно прочитать все файлы"""
tasks = [read_file(fp) for fp in file_paths]
return await asyncio.gather(*tasks)
if __name__ == "__main__":
import glob, json
# Прочитать все файлы .txt в каталоге загрузки
files = glob.glob("/mnt/user-data/uploads/*.txt")
if not files:
print("Файлы .txt не найдены")
else:
results = asyncio.run(read_all_files(files))
print(json.dumps(results, ensure_ascii=False, indent=2))
Управление тайм-аутами и отмена задач
В асинхронных задачах особенно важен контроль тайм-аутов.asyncio.wait_forМожно задать максимальное время ожидания для одной задачи.
Пример
import asyncio
async def slow_task(name: str, delay: float) -> str:
"""Имитировать длительную задачу"""
await asyncio.sleep(delay)
return f"{name} завершена"
async def run_with_timeout():
tasks = {
"Быстрая задача": slow_task("Быстрая задача", 0.5),
"Медленная задача": slow_task("Медленная задача", 5.0),
}
results = {}
for name, coro in tasks.items():
try:
# Ожидать не более 2 секунд для каждой задачи
result = await asyncio.wait_for(coro, timeout=2.0)
results[name] = {"status": "ok", "result": result}
except asyncio.TimeoutError:
results[name] = {"status": "timeout", "message": "Не завершено за 2 секунды"}
return results
if __name__ == "__main__":
import json
output = asyncio.run(run_with_timeout())
print(json.dumps(output, ensure_ascii=False, indent=2))
{
"快速任务": {"status": "ok", "result": "快速任务 完成"},
"慢速任务": {"status": "timeout", "message": "超过 2 秒未完成"}
}
Как вызывать асинхронные скрипты в SKILL.md
## 并发 API 调用 当用户提供多个文本需要同时分析时,运行异步脚本以提升速度: ```bash python scripts/async_requests.py ``` 该脚本会并发发出所有请求,总耗时约等于最慢的单次请求, 而非所有请求的时间之和。Другие расширения