Pandas データエクスポート
Pandas は豊富なエクスポート機能を提供しており、DataFrame を CSV、Excel、SQL データベース、JSON など、さまざまな一般的な形式にエクスポートできます。このセクションでは、各種エクスポート方法の使い方と注意事項を詳しく説明します。
CSV としてエクスポート
CSV は最も汎用的なデータ交換形式ですが、エクスポートは環境のデフォルトエンコーディングの影響を受けるため、中国語のエンコーディング問題に注意する必要があります。
基本エクスポート
例
# テストデータを準備
df = pd.DataFrame({
"姓名": ["张三", "李四", "王五", "赵六"],
"年龄": [25, 30, 28, 35],
"城市": ["北京", "上海", "广州", "深圳"],
"薪资": [12000, 15000, 11000, 18000]
})
# 最も基本的なエクスポート(インデックスを含む)
df.to_csv("output.csv")
# インデックスを含まない
df.to_csv("output.csv", index=False)
中国語エンコーディング処理
例
df = pd.DataFrame({
"姓名": ["张三", "李四", "王五"],
"城市": ["北京", "上海", "广州"]
})
# UTF-8 エンコーディング(推奨)
df.to_csv("output_utf8.csv", encoding="utf-8")
# UTF-8 with BOM(Excel で開いても文字化けしない)
df.to_csv("output_utf8_bom.csv", encoding="utf-8-sig")
# GBK エンコーディング(古いシステム向け)
df.to_csv("output_gbk.csv", encoding="gbk")
# エンコーディングの確認
import os
print("ファイルサイズ比較:")
for f in ["output_utf8.csv", "output_utf8_bom.csv", "output_gbk.csv"]:
print(f"{f}: {os.path.getsize(f)} bytes")
エクスポートオプション詳細
例
df = pd.DataFrame({
"姓名": ["张三", "李四"],
"年龄": [25, 30]
})
# 区切り文字を指定(デフォルトはカンマ)
df.to_csv("output.tsv", sep="\t") # TSV 形式
# ヘッダーを書き出さない
df.to_csv("output.csv", header=False)
# 列名をカスタマイズ(header=False の場合)
df.to_csv("output.csv", header=False, columns=["姓名", "年龄"])
# 特定の列のみエクスポート
df.to_csv("output.csv", columns=["姓名"]) # '姓名'列のみエクスポート
# 欠損値の処理
import numpy as np
df_with_na = pd.DataFrame({
"A": [1, 2, np.nan, 4],
"B": ["a", None, "c", "d"]
})
df_with_na.to_csv("output.csv", na_rep="NULL") # 欠損値の表現形式を指定
# 浮動小数点の精度
df = pd.DataFrame({"value": [1.23456789, 2.3456789]})
df.to_csv("output.csv", float_format="%.2f") # 小数第2位まで保持
Excel としてエクスポート
Excel 形式は人が閲覧・編集するのに適していますが、大きなファイルのエクスポートは遅いです。
依存関係のインストール
pip install openpyxl xlwt
基本エクスポート
例
df = pd.DataFrame({
"姓名": ["张三", "李四", "王五"],
"年龄": [25, 30, 28],
"城市": ["北京", "上海", "广州"],
"薪资": [12000, 15000, 11000]
})
# Excel としてエクスポート(.xlsx 形式、openpyxl が必要)
df.to_excel("output.xlsx", index=False)
# 旧バージョンの .xls 形式としてエクスポート(xlwt が必要)
df.to_excel("output.xls", index=False)
複数シートのエクスポート
例
# 複数の DataFrame を作成
df1 = pd.DataFrame({"A": [1, 2, 3], "B": [4, 5, 6]})
df2 = pd.DataFrame({"C": [7, 8, 9], "D": [10, 11, 12]})
# 同じ Excel の異なるシートにエクスポート
with pd.ExcelWriter("output.xlsx", engine="openpyxl") as writer:
df1.to_excel(writer, sheet_name="Sheet1", index=False)
df2.to_excel(writer, sheet_name="Sheet2", index=False)
print("複数シートのエクスポートが成功しました")
フォーマット指定エクスポート
例
from openpyxl import Workbook
from openpyxl.styles import Font, PatternFill, Alignment
# DataFrame を作成
df = pd.DataFrame({
"姓名": ["张三", "李四", "王五"],
"年龄": [25, 30, 28],
"薪资": [12000, 15000, 11000]
})
# ExcelWriter を使用してより詳細に制御
with pd.ExcelWriter("output_formatted.xlsx", engine="openpyxl") as writer:
df.to_excel(writer, sheet_name="従業員情報", index=False)
# ワークシートを取得
worksheet = writer.sheets["従業員情報"]
# 列幅を設定
worksheet.column_dimensions["A"].width = 15
worksheet.column_dimensions["B"].width = 10
worksheet.column_dimensions["C"].width = 12
# 先頭行を固定
worksheet.freeze_panes = "A2"
print(フォーマット指定エクスポートが完了しました)
データベースへのエクスポート
DataFrame を SQL データベースに直接エクスポートできます。詳細は「Pandas で SQL データベースを読み取る」の章を参照してください。
例
from sqlalchemy import create_engine
# インメモリデータベースを作成
engine = create_engine("sqlite:///output.db")
# データを準備
df = pd.DataFrame({
"name": ["张三", "李四", "王五"],
"age": [25, 30, 28],
"city": ["北京", "上海", "广州"]
})
# データベースへエクスポート
# if_exists: 'fail'(デフォルト) / 'replace' / 'append'
df.to_sql("users", con=engine, if_exists="replace", index=False)
print("データベースへのエクスポートに成功しました")
JSON としてエクスポート
例
df = pd.DataFrame({
"姓名": ["张三", "李四", "王五"],
"年龄": [25, 30, 28]
})
# さまざまな orient 形式
df.to_json("records.json", orient="records", force_ascii=False, indent=2)
df.to_json("index.json", orient="index", force_ascii=False)
df.to_json("columns.json", orient="columns", force_ascii=False)
# JSON Lines 形式(1行に1つのJSONオブジェクト、ログに適しています)
df.to_json("lines.json", orient="records", lines=True, force_ascii=False)
その他の形式へのエクスポート
HTML としてエクスポート
例
df = pd.DataFrame({
"姓名": ["张三", "李四"],
"年龄": [25, 30]
})
# HTML テーブルとしてエクスポート
df.to_html("output.html", index=False)
# スタイルを追加
df.to_html(
"output_styled.html",
index=False,
border=2,
classes=["table", "table-striped"] # CSS クラスを追加
)
Markdown としてエクスポート
例
df = pd.DataFrame({
"姓名": ["张三", "李四", "王五"],
"年龄": [25, 30, 28]
})
# Markdown テーブルとしてエクスポート
print(df.to_markdown(index=False))
# 出力:
# | 姓名 | 年龄 |
# | ---- | ---- |
# | 张三 | 25 |
# | 李四 | 30 |
# | 王五 | 28 |
# ファイルに保存
with open("output.md", "w") as f:
f.write(df.to_markdown(index=False))
LaTeX としてエクスポート
例
df = pd.DataFrame({
"姓名": ["张三", "李四"],
"年龄": [25, 30]
})
# LaTeX テーブルとしてエクスポート
print(df.to_latex(index=False))
# LaTeX テーブルのコードを出力
Pickle としてエクスポート
例
df = pd.DataFrame({
"A": [1, 2, 3],
"B": ["a", "b", "c"]
})
# Pickle としてエクスポート(データ型を保持)
df.to_pickle("data.pkl")
# 圧縮形式
df.to_pickle("data.pkl.gz", compression="gzip")
print(Pickle のエクスポートが完了しました)
大容量データのエクスポート
大容量データをエクスポートする際は、メモリとパフォーマンスの問題に注意する必要があります。
例
# 大容量データのエクスポートに関する推奨事項:
# 1. chunksize を使用して分割書き込み
df = pd.DataFrame({"a": range(1000000), "b": range(1000000)})
# CSV を分割書き込み
csv_path = "large_output.csv"
df.to_csv(csv_path, index=False, chunksize=100000)
# 2. より効率的な形式を使用(Parquet)
df.to_parquet("large_output.parquet", index=False)
# 3. 圧縮形式を使用して IO を削減
df.to_csv("large_output.csv.gz", index=False, compression="gzip")
print("大容量データのエクスポートが完了しました")
よくある問題と注意事項
1、Excel で CSV ファイルを開くと文字化けする
使用するutf-8-sigエンコーディングでエクスポートすれば、Excel は中国語を正しく認識できます。
2、大容量データのエクスポート時にメモリ不足になる
使用するchunksizeパラメータをバッチ書き込みするか、CSVの代わりにParquet形式を使用します。
3、日時形式が失われる
CSVエクスポート時に文字列に変換されるため、指定できますdate_formatパラメータで形式を制御します。
4、データベースへのエクスポート時に型が一致しない
使用できますdtypeパラメータで列の型を明示的に指定します。
その他の拡張機能日常のデータ分析ではParquet形式の使用を推奨します。Parquetは高圧縮率、高速読み書き、データ型の保持などの利点があります。手動で確認したり共有したりする場合にのみExcelまたはCSV形式を使用してください。