Skills パフォーマンス最適化
Skill が大ファイルを処理する場合や頻繁に呼び出される場合、パフォーマンス問題はユーザーエクスペリエンスに直接影響します。
この記事では、スクリプレベルで処理速度を向上させるための一般的なテクニックを紹介します。
パフォーマンス問題のよくある原因
| 原因 | 典型的な症状 | 最適化の方向性 |
|---|---|---|
| 大ファイルを一度にロードする | 100MBのCSV読み取りに数秒かかる | チャンク読み取り(chunk) |
| 同じ計算を繰り返し実行する | 呼び出しのたびに統計値を再計算する | 結果をキャッシュする |
| シングルスレッドでの直列処理 | 1000個のファイルの処理に長い時間がかかる | 並列処理 |
| 頻繁なディスクI/O | ループ内でファイルに1行ずつ書き込む | 一括書き込み |
| 不要な依存関係のロード | importに2秒以上かかる | 遅延インポート |
大ファイルのチャンク読み取り
pandas のchunksizeパラメータを使用すると、大ファイルを複数のバッチに分割してチャンクごとに処理でき、一度に過剰なメモリを占有することを回避できます。
実例
# ファイルパス: scripts/chunked_reader.py
import pandas as pd
import json
import sys
def process_large_csv(file_path: str, chunk_size: int = 10000) -> dict:
"""
大きなCSVファイルをチャンク読み取りして処理する
パラメータ:
file_path: CSVファイルのパス
chunk_size: 各チャンクの行数、デフォルトは10000
戻り値:
結合された統計結果
"""
total_rows = 0
total_sum = 0.0
chunk_count = 0
# チャンクごとに読み取るため、ファイル全体を一度にメモリにロードしない
for chunk in pd.read_csv(file_path, chunksize=chunk_size):
chunk_count += 1
total_rows += len(chunk)
# 各チャンクに対して統計を実行し、結果を累積する
if "score" in chunk.columns:
total_sum += chunk["score"].sum()
# 進捗をリアルタイムで報告する
print(f" {chunk_count} バッチ目を処理しました。累計 {total_rows} 行", flush=True)
avg = total_sum / total_rows if total_rows > 0 else 0
return {
"status": "success",
"total_rows": total_rows,
"chunks": chunk_count,
"score_avg": round(avg, 2)
}
if __name__ == "__main__":
file_path = sys.argv[1] if len(sys.argv) > 1 else ""
result = process_large_csv(file_path)
print(json.dumps(result, ensure_ascii=False, indent=2))
import pandas as pd
import json
import sys
def process_large_csv(file_path: str, chunk_size: int = 10000) -> dict:
"""
大きなCSVファイルをチャンク読み取りして処理する
パラメータ:
file_path: CSVファイルのパス
chunk_size: 各チャンクの行数、デフォルトは10000
戻り値:
結合された統計結果
"""
total_rows = 0
total_sum = 0.0
chunk_count = 0
# チャンクごとに読み取るため、ファイル全体を一度にメモリにロードしない
for chunk in pd.read_csv(file_path, chunksize=chunk_size):
chunk_count += 1
total_rows += len(chunk)
# 各チャンクに対して統計を実行し、結果を累積する
if "score" in chunk.columns:
total_sum += chunk["score"].sum()
# 進捗をリアルタイムで報告する
print(f" {chunk_count} バッチ目を処理しました。累計 {total_rows} 行", flush=True)
avg = total_sum / total_rows if total_rows > 0 else 0
return {
"status": "success",
"total_rows": total_rows,
"chunks": chunk_count,
"score_avg": round(avg, 2)
}
if __name__ == "__main__":
file_path = sys.argv[1] if len(sys.argv) > 1 else ""
result = process_large_csv(file_path)
print(json.dumps(result, ensure_ascii=False, indent=2))
已处理第 1 批,累计 10000 行
已处理第 2 批,累计 20000 行
已处理第 3 批,累计 28456 行
{
"status": "success",
"total_rows": 28456,
"chunks": 3,
"score_avg": 82.37
}
結果キャッシュ
同じ入力に対して同じ結果を生成する操作では、結果をローカルファイルにキャッシュすることで、重複計算を回避します。
実例
# ファイルパス: scripts/file_cache.py
import hashlib
import json
import os
import time
CACHE_DIR = "/home/claude/.skill_cache"
os.makedirs(CACHE_DIR, exist_ok=True)
def _file_fingerprint(file_path: str) -> str:
"""
ファイルパス、サイズ、変更時刻に基づいてフィンガープリントを生成する
MD5でファイル内容をハッシュ化するよりはるかに高速で、大ファイルに適している
"""
stat = os.stat(file_path)
raw = f"{file_path}|{stat.st_size}|{stat.st_mtime}"
return hashlib.md5(raw.encode()).hexdigest()
def get_cached(file_path: str, operation: str):
キャッシュを取得し、存在しない場合はNoneを返す
key = _file_fingerprint(file_path) + "_" + operation
cache_file = os.path.join(CACHE_DIR, f"{key}.json")
if os.path.exists(cache_file):
with open(cache_file) as f:
return json.load(f)
return None
def set_cached(file_path: str, operation: str, result: dict):
キャッシュを書き込む
key = _file_fingerprint(file_path) + "_" + operation
cache_file = os.path.join(CACHE_DIR, f"{key}.json")
with open(cache_file, "w") as f:
json.dump(result, f, ensure_ascii=False)
# 使用例
def get_stats(file_path: str) -> dict:
# まずキャッシュを確認する
cached = get_cached(file_path, "stats")
if cached:
print(キャッシュヒット、重複計算をスキップします)
return cached
# キャッシュミスのため、計算を実行する
import pandas as pd
t0 = time.time()
df = pd.read_csv(file_path)
result = {
"rows": len(df),
"cols": len(df.columns),
"elapsed": round(time.time() - t0, 3)
}
# 次回使用のためにキャッシュに書き込む
set_cached(file_path, "stats", result)
return result
import hashlib
import json
import os
import time
CACHE_DIR = "/home/claude/.skill_cache"
os.makedirs(CACHE_DIR, exist_ok=True)
def _file_fingerprint(file_path: str) -> str:
"""
ファイルパス、サイズ、変更時刻に基づいてフィンガープリントを生成する
MD5でファイル内容をハッシュ化するよりはるかに高速で、大ファイルに適している
"""
stat = os.stat(file_path)
raw = f"{file_path}|{stat.st_size}|{stat.st_mtime}"
return hashlib.md5(raw.encode()).hexdigest()
def get_cached(file_path: str, operation: str):
キャッシュを取得し、存在しない場合はNoneを返す
key = _file_fingerprint(file_path) + "_" + operation
cache_file = os.path.join(CACHE_DIR, f"{key}.json")
if os.path.exists(cache_file):
with open(cache_file) as f:
return json.load(f)
return None
def set_cached(file_path: str, operation: str, result: dict):
キャッシュを書き込む
key = _file_fingerprint(file_path) + "_" + operation
cache_file = os.path.join(CACHE_DIR, f"{key}.json")
with open(cache_file, "w") as f:
json.dump(result, f, ensure_ascii=False)
# 使用例
def get_stats(file_path: str) -> dict:
# まずキャッシュを確認する
cached = get_cached(file_path, "stats")
if cached:
print(キャッシュヒット、重複計算をスキップします)
return cached
# キャッシュミスのため、計算を実行する
import pandas as pd
t0 = time.time()
df = pd.read_csv(file_path)
result = {
"rows": len(df),
"cols": len(df.columns),
"elapsed": round(time.time() - t0, 3)
}
# 次回使用のためにキャッシュに書き込む
set_cached(file_path, "stats", result)
return result
複数ファイルの並列処理
複数のファイルを処理する必要がある場合は、使用してconcurrent.futures並列実行すると、速度を数倍に向上できます。
実例
# ファイルパス: scripts/parallel_process.py
import concurrent.futures
import os
import json
import sys
def process_single_file(file_path: str) -> dict:
単一のファイルを処理する(並列で呼び出される)
try:
size = os.path.getsize(file_path)
# 実際の処理ロジックをシミュレートする
return {"file": os.path.basename(file_path),
"size_kb": size // 1024, "status": "ok"}
except Exception as e:
return {"file": file_path, "status": "error", "message": str(e)}
def process_files_parallel(file_paths: list, max_workers: int = 4) -> list:
"""
複数ファイルの並列処理
パラメータ:
file_paths: ファイルパスのリスト
max_workers: 最大並列数、デフォルトは4(過剰なプロセスによるリソース競合を回避)
"""
results = []
with concurrent.futures.ThreadPoolExecutor(max_workers=max_workers) as executor:
# すべてのタスクを送信する
future_map = {
executor.submit(process_single_file, fp): fp
for fp in file_paths
}
# 完了順に結果を収集する
for future in concurrent.futures.as_completed(future_map):
result = future.result()
results.append(result)
print(f" 完了: {result['file']}")
return results
if __name__ == "__main__":
# シミュレーション: アップロードディレクトリ内のすべてのCSVファイルを処理する
upload_dir = "/mnt/user-data/uploads"
csv_files = [
os.path.join(upload_dir, f)
for f in os.listdir(upload_dir)
if f.endswith(".csv")
]
if not csv_files:
print(CSVファイルが見つかりません)
sys.exit(0)
print(f"{len(csv_files)} 個のファイルの並列処理を開始します...")
results = process_files_parallel(csv_files)
print(json.dumps(results, ensure_ascii=False, indent=2))
import concurrent.futures
import os
import json
import sys
def process_single_file(file_path: str) -> dict:
単一のファイルを処理する(並列で呼び出される)
try:
size = os.path.getsize(file_path)
# 実際の処理ロジックをシミュレートする
return {"file": os.path.basename(file_path),
"size_kb": size // 1024, "status": "ok"}
except Exception as e:
return {"file": file_path, "status": "error", "message": str(e)}
def process_files_parallel(file_paths: list, max_workers: int = 4) -> list:
"""
複数ファイルの並列処理
パラメータ:
file_paths: ファイルパスのリスト
max_workers: 最大並列数、デフォルトは4(過剰なプロセスによるリソース競合を回避)
"""
results = []
with concurrent.futures.ThreadPoolExecutor(max_workers=max_workers) as executor:
# すべてのタスクを送信する
future_map = {
executor.submit(process_single_file, fp): fp
for fp in file_paths
}
# 完了順に結果を収集する
for future in concurrent.futures.as_completed(future_map):
result = future.result()
results.append(result)
print(f" 完了: {result['file']}")
return results
if __name__ == "__main__":
# シミュレーション: アップロードディレクトリ内のすべてのCSVファイルを処理する
upload_dir = "/mnt/user-data/uploads"
csv_files = [
os.path.join(upload_dir, f)
for f in os.listdir(upload_dir)
if f.endswith(".csv")
]
if not csv_files:
print(CSVファイルが見つかりません)
sys.exit(0)
print(f"{len(csv_files)} 個のファイルの並列処理を開始します...")
results = process_files_parallel(csv_files)
print(json.dumps(results, ensure_ascii=False, indent=2))
开始并行处理 3 个文件...
完成:サンプル_jan.csv
完成:サンプル_mar.csv
完成:サンプル_feb.csv
[{"file": "サンプル_jan.csv", "size_kb": 128, "status": "ok"}, ...]
パフォーマンス最適化チェックリスト
| チェック項目 | 最適化前 | 最適化後 |
|---|---|---|
| 大ファイルの読み取り | pd.read_csv(file) | pd.read_csv(file, chunksize=10000) |
| 同じファイルの統計を繰り返す | 毎回再計算する | ファイルフィンガープリントを使用して結果をキャッシュする |
| 複数ファイルの処理 | forループで直列処理 | ThreadPoolExecutor で並列処理 |
| ファイルに1行ずつ書き込む | for row: f.write(row) | 一括収集して一度に書き込む |
| 不要なimport | スクリプトの先頭で全てimportする | 必要なときにimportする(遅延インポート) |
その他の拡張最適化する前にまず測定し、勘で最適化しないでください。使用する
time.perf_counter()或@timeitデコレータで真のボトルネックを見つけ、的を絞って最適化し、時期尚早な最適化による不要なコードの複雑さを避けます。