Навыки: асинхронная и конкурентная обработка

Когда навыку нужно одновременно ожидать несколько длительных операций (таких как сетевые запросы, файловый ввод-вывод), асинхронное программирование может значительно сократить общее время ожидания.

В этой статье описываются сценарии применения и шаблоны кодирования Python asyncio в скриптах навыков.


Синхронный vs асинхронный: когда использовать асинхронность

СценарийРекомендуемый подходПричина
Обработка одного файла, один вызов APIСинхронныйПреимущества асинхронности не очевидны; код проще
Отправлять несколько HTTP-запросов одновременноАсинхронныйОдновременное ожидание, общее время ≈ время самого длинного одиночного запроса
Читать несколько файлов одновременноАсинхронность или пул потоковЗадачи могут переключаться во время ожидания ввода-вывода
Вычисления, интенсивно использующие CPU (например, обработка изображений)Многопроцессорностьasyncio не обходит GIL

Асинхронность не равна параллелизму. asyncio в Python — однопоточный цикл событий, подходит для задач, интенсивно использующих ввод-вывод (ожидание сети, диска). Для задач, интенсивно использующих CPU, следует использоватьProcessPoolExecutor。


Асинхронная отправка нескольких HTTP-запросов

Предположим, навыку нужно одновременно вызвать 3 конечные точки API. В синхронном режиме общее время равно сумме трёх запросов; в асинхронном режиме общее время примерно равно времени самого медленного запроса.

Пример

# Путь к файлу: scripts/async_requests.py
# Асинхронно и параллельно вызывать несколько API и агрегировать результаты

import asyncio
import aiohttp      # pip install aiohttp --break-system-packages
import json
import sys
import time

API_KEY  = "your_api_key"
BASE_URL = "https://api.example.com/v1"

async def fetch_one(session: aiohttp.ClientSession,
                    endpoint: str, payload: dict) -> dict:
    """Асинхронно отправить один POST-запрос"""
    url     = BASE_URL + endpoint
    headers = {"Authorization": f"Bearer {API_KEY}"}
    try:
        async with session.post(url, json=payload,
                                headers=headers, timeout=aiohttp.ClientTimeout(total=30)) as resp:
            resp.raise_for_status()
            return {"endpoint": endpoint, "status": "ok", "data": await resp.json()}
    except Exception as e:
        return {"endpoint": endpoint, "status": "error", "message": str(e)}

async def fetch_all(requests: list) -> list:
    """
Отправить все запросы одновременно и дождаться завершения всех

Параметры:
requests: list, каждый элемент — кортеж (endpoint, payload)
    """

    async with aiohttp.ClientSession() as session:
        tasks = [
            fetch_one(session, endpoint, payload)
            for endpoint, payload in requests
        ]
        # gather одновременно выполняет все задачи; return_exceptions=True предотвращает влияние одного сбоя на другие
        return await asyncio.gather(*tasks, return_exceptions=True)

def main():
    # Определить список запросов, которые будут вызваны параллельно
    requests = [
        ("/summarize", {"text": "Пример — это платформа для изучения технологий", "lang": "zh"}),
        ("/keywords",  {"text": "EXAMPLE предоставляет различные учебные пособия по программированию", "top_n": 5}),
        ("/sentiment", {"text": "Учебные пособия на этой платформе отличаются высоким качеством"}),
    ]

    t0      = time.perf_counter()
    results = asyncio.run(fetch_all(requests))
    elapsed = time.perf_counter() - t0

    print(f"Завершено {len(results)} запросов параллельно, общее время {elapsed:.2f} секунд")
    print(json.dumps(results, ensure_ascii=False, indent=2))

if __name__ == "__main__":
    main()
并发完成 3 个请求,总耗时 1.23 秒
(同步串行约需 3.5 秒,并发节省约 65% 时间)

Асинхронное чтение нескольких файлов

Для сценариев, где необходимо одновременно читать несколько файлов,aiofilesпредоставляет асинхронную версию файлового ввода-вывода.

Пример

# Путь к файлу: scripts/async_file_reader.py
import asyncio
import aiofiles   # pip install aiofiles --break-system-packages
import os

async def read_file(file_path: str) -> dict:
    """Асинхронно прочитать один файл"""
    try:
        async with aiofiles.open(file_path, encoding="utf-8") as f:
            content = await f.read()
        return {
            "file":    os.path.basename(file_path),
            "chars":   len(content),
            "lines": content.count("\n"),
            "status":  "ok"
        }
    except Exception as e:
        return {"file": file_path, "status": "error", "message": str(e)}

async def read_all_files(file_paths: list) -> list:
    """Одновременно прочитать все файлы"""
    tasks = [read_file(fp) for fp in file_paths]
    return await asyncio.gather(*tasks)

if __name__ == "__main__":
    import glob, json
    # Прочитать все файлы .txt в каталоге загрузки
    files = glob.glob("/mnt/user-data/uploads/*.txt")
    if not files:
        print("Файлы .txt не найдены")
    else:
        results = asyncio.run(read_all_files(files))
        print(json.dumps(results, ensure_ascii=False, indent=2))

Управление тайм-аутами и отмена задач

В асинхронных задачах особенно важен контроль тайм-аутов.asyncio.wait_forМожно задать максимальное время ожидания для одной задачи.

Пример

# Путь к файлу: scripts/async_timeout.py
import asyncio

async def slow_task(name: str, delay: float) -> str:
    """Имитировать длительную задачу"""
    await asyncio.sleep(delay)
    return f"{name} завершена"

async def run_with_timeout():
    tasks = {
        "Быстрая задача": slow_task("Быстрая задача", 0.5),
        "Медленная задача": slow_task("Медленная задача", 5.0),
    }
    results = {}
    for name, coro in tasks.items():
        try:
            # Ожидать не более 2 секунд для каждой задачи
            result = await asyncio.wait_for(coro, timeout=2.0)
            results[name] = {"status": "ok", "result": result}
        except asyncio.TimeoutError:
            results[name] = {"status": "timeout", "message": "Не завершено за 2 секунды"}
    return results

if __name__ == "__main__":
    import json
    output = asyncio.run(run_with_timeout())
    print(json.dumps(output, ensure_ascii=False, indent=2))
{
  "快速任务": {"status": "ok",      "result": "快速任务 完成"},
  "慢速任务": {"status": "timeout", "message": "超过 2 秒未完成"}
}

Как вызывать асинхронные скрипты в SKILL.md

## 并发 API 调用

当用户提供多个文本需要同时分析时,运行异步脚本以提升速度:

```bash
python scripts/async_requests.py
```

该脚本会并发发出所有请求,总耗时约等于最慢的单次请求,
而非所有请求的时间之和。
Другие расширения