Skills パフォーマンス最適化

Skill が大ファイルを処理する場合や頻繁に呼び出される場合、パフォーマンス問題はユーザーエクスペリエンスに直接影響します。

この記事では、スクリプレベルで処理速度を向上させるための一般的なテクニックを紹介します。


パフォーマンス問題のよくある原因

原因典型的な症状最適化の方向性
大ファイルを一度にロードする100MBのCSV読み取りに数秒かかるチャンク読み取り(chunk)
同じ計算を繰り返し実行する呼び出しのたびに統計値を再計算する結果をキャッシュする
シングルスレッドでの直列処理1000個のファイルの処理に長い時間がかかる並列処理
頻繁なディスクI/Oループ内でファイルに1行ずつ書き込む一括書き込み
不要な依存関係のロードimportに2秒以上かかる遅延インポート

大ファイルのチャンク読み取り

pandas のchunksizeパラメータを使用すると、大ファイルを複数のバッチに分割してチャンクごとに処理でき、一度に過剰なメモリを占有することを回避できます。

実例

# ファイルパス: scripts/chunked_reader.py
import pandas as pd
import json
import sys

def process_large_csv(file_path: str, chunk_size: int = 10000) -> dict:
    """
大きなCSVファイルをチャンク読み取りして処理する

パラメータ:
file_path: CSVファイルのパス
chunk_size: 各チャンクの行数、デフォルトは10000

戻り値:
結合された統計結果
    """

    total_rows   = 0
    total_sum    = 0.0
    chunk_count  = 0

    # チャンクごとに読み取るため、ファイル全体を一度にメモリにロードしない
    for chunk in pd.read_csv(file_path, chunksize=chunk_size):
        chunk_count += 1
        total_rows  += len(chunk)

        # 各チャンクに対して統計を実行し、結果を累積する
        if "score" in chunk.columns:
            total_sum += chunk["score"].sum()

        # 進捗をリアルタイムで報告する
        print(f" {chunk_count} バッチ目を処理しました。累計 {total_rows} 行", flush=True)

    avg = total_sum / total_rows if total_rows > 0 else 0
    return {
        "status":      "success",
        "total_rows":  total_rows,
        "chunks":      chunk_count,
        "score_avg":   round(avg, 2)
    }

if __name__ == "__main__":
    file_path = sys.argv[1] if len(sys.argv) > 1 else ""
    result    = process_large_csv(file_path)
    print(json.dumps(result, ensure_ascii=False, indent=2))
  已处理第 1 批,累计 10000 行
  已处理第 2 批,累计 20000 行
  已处理第 3 批,累计 28456 行
{
  "status": "success",
  "total_rows": 28456,
  "chunks": 3,
  "score_avg": 82.37
}

結果キャッシュ

同じ入力に対して同じ結果を生成する操作では、結果をローカルファイルにキャッシュすることで、重複計算を回避します。

実例

# ファイルパス: scripts/file_cache.py
import hashlib
import json
import os
import time

CACHE_DIR = "/home/claude/.skill_cache"
os.makedirs(CACHE_DIR, exist_ok=True)

def _file_fingerprint(file_path: str) -> str:
    """
ファイルパス、サイズ、変更時刻に基づいてフィンガープリントを生成する
MD5でファイル内容をハッシュ化するよりはるかに高速で、大ファイルに適している
    """

    stat = os.stat(file_path)
    raw  = f"{file_path}|{stat.st_size}|{stat.st_mtime}"
    return hashlib.md5(raw.encode()).hexdigest()

def get_cached(file_path: str, operation: str):
    キャッシュを取得し、存在しない場合はNoneを返す
    key        = _file_fingerprint(file_path) + "_" + operation
    cache_file = os.path.join(CACHE_DIR, f"{key}.json")
    if os.path.exists(cache_file):
        with open(cache_file) as f:
            return json.load(f)
    return None

def set_cached(file_path: str, operation: str, result: dict):
    キャッシュを書き込む
    key        = _file_fingerprint(file_path) + "_" + operation
    cache_file = os.path.join(CACHE_DIR, f"{key}.json")
    with open(cache_file, "w") as f:
        json.dump(result, f, ensure_ascii=False)

# 使用例
def get_stats(file_path: str) -> dict:
    # まずキャッシュを確認する
    cached = get_cached(file_path, "stats")
    if cached:
        print(キャッシュヒット、重複計算をスキップします)
        return cached

    # キャッシュミスのため、計算を実行する
    import pandas as pd
    t0 = time.time()
    df = pd.read_csv(file_path)
    result = {
        "rows":    len(df),
        "cols":    len(df.columns),
        "elapsed": round(time.time() - t0, 3)
    }

    # 次回使用のためにキャッシュに書き込む
    set_cached(file_path, "stats", result)
    return result

複数ファイルの並列処理

複数のファイルを処理する必要がある場合は、使用してconcurrent.futures並列実行すると、速度を数倍に向上できます。

実例

# ファイルパス: scripts/parallel_process.py
import concurrent.futures
import os
import json
import sys

def process_single_file(file_path: str) -> dict:
    単一のファイルを処理する(並列で呼び出される)
    try:
        size = os.path.getsize(file_path)
        # 実際の処理ロジックをシミュレートする
        return {"file": os.path.basename(file_path),
                "size_kb": size // 1024, "status": "ok"}
    except Exception as e:
        return {"file": file_path, "status": "error", "message": str(e)}

def process_files_parallel(file_paths: list, max_workers: int = 4) -> list:
    """
複数ファイルの並列処理

パラメータ:
file_paths: ファイルパスのリスト
max_workers: 最大並列数、デフォルトは4(過剰なプロセスによるリソース競合を回避)
    """

    results = []
    with concurrent.futures.ThreadPoolExecutor(max_workers=max_workers) as executor:
        # すべてのタスクを送信する
        future_map = {
            executor.submit(process_single_file, fp): fp
            for fp in file_paths
        }
        # 完了順に結果を収集する
        for future in concurrent.futures.as_completed(future_map):
            result = future.result()
            results.append(result)
            print(f" 完了: {result['file']}")
    return results

if __name__ == "__main__":
    # シミュレーション: アップロードディレクトリ内のすべてのCSVファイルを処理する
    upload_dir = "/mnt/user-data/uploads"
    csv_files  = [
        os.path.join(upload_dir, f)
        for f in os.listdir(upload_dir)
        if f.endswith(".csv")
    ]

    if not csv_files:
        print(CSVファイルが見つかりません)
        sys.exit(0)

    print(f"{len(csv_files)} 個のファイルの並列処理を開始します...")
    results = process_files_parallel(csv_files)
    print(json.dumps(results, ensure_ascii=False, indent=2))
开始并行处理 3 个文件...
  完成:サンプル_jan.csv
  完成:サンプル_mar.csv
  完成:サンプル_feb.csv
[{"file": "サンプル_jan.csv", "size_kb": 128, "status": "ok"}, ...]

パフォーマンス最適化チェックリスト

チェック項目最適化前最適化後
大ファイルの読み取りpd.read_csv(file)pd.read_csv(file, chunksize=10000)
同じファイルの統計を繰り返す毎回再計算するファイルフィンガープリントを使用して結果をキャッシュする
複数ファイルの処理forループで直列処理ThreadPoolExecutor で並列処理
ファイルに1行ずつ書き込むfor row: f.write(row)一括収集して一度に書き込む
不要なimportスクリプトの先頭で全てimportする必要なときにimportする(遅延インポート)

最適化する前にまず測定し、勘で最適化しないでください。使用するtime.perf_counter() 或 @timeitデコレータで真のボトルネックを見つけ、的を絞って最適化し、時期尚早な最適化による不要なコードの複雑さを避けます。

その他の拡張