Pandas データエクスポート

Pandas は豊富なエクスポート機能を提供しており、DataFrame を CSV、Excel、SQL データベース、JSON など、さまざまな一般的な形式にエクスポートできます。このセクションでは、各種エクスポート方法の使い方と注意事項を詳しく説明します。


CSV としてエクスポート

CSV は最も汎用的なデータ交換形式ですが、エクスポートは環境のデフォルトエンコーディングの影響を受けるため、中国語のエンコーディング問題に注意する必要があります。

基本エクスポート

例

import pandas as pd

# テストデータを準備
df = pd.DataFrame({
    "姓名": ["张三", "李四", "王五", "赵六"],
    "年龄": [25, 30, 28, 35],
    "城市": ["北京", "上海", "广州", "深圳"],
    "薪资": [12000, 15000, 11000, 18000]
})

# 最も基本的なエクスポート(インデックスを含む)
df.to_csv("output.csv")

# インデックスを含まない
df.to_csv("output.csv", index=False)

中国語エンコーディング処理

例

import pandas as pd

df = pd.DataFrame({
    "姓名": ["张三", "李四", "王五"],
    "城市": ["北京", "上海", "广州"]
})

# UTF-8 エンコーディング(推奨)
df.to_csv("output_utf8.csv", encoding="utf-8")

# UTF-8 with BOM(Excel で開いても文字化けしない)
df.to_csv("output_utf8_bom.csv", encoding="utf-8-sig")

# GBK エンコーディング(古いシステム向け)
df.to_csv("output_gbk.csv", encoding="gbk")

# エンコーディングの確認
import os
print("ファイルサイズ比較:")
for f in ["output_utf8.csv", "output_utf8_bom.csv", "output_gbk.csv"]:
    print(f"{f}: {os.path.getsize(f)} bytes")

エクスポートオプション詳細

例

import pandas as pd

df = pd.DataFrame({
    "姓名": ["张三", "李四"],
    "年龄": [25, 30]
})

# 区切り文字を指定(デフォルトはカンマ)
df.to_csv("output.tsv", sep="\t")  # TSV 形式

# ヘッダーを書き出さない
df.to_csv("output.csv", header=False)

# 列名をカスタマイズ(header=False の場合)
df.to_csv("output.csv", header=False, columns=["姓名", "年龄"])

# 特定の列のみエクスポート
df.to_csv("output.csv", columns=["姓名"])  # '姓名'列のみエクスポート

# 欠損値の処理
import numpy as np
df_with_na = pd.DataFrame({
    "A": [1, 2, np.nan, 4],
    "B": ["a", None, "c", "d"]
})
df_with_na.to_csv("output.csv", na_rep="NULL")  # 欠損値の表現形式を指定

# 浮動小数点の精度
df = pd.DataFrame({"value": [1.23456789, 2.3456789]})
df.to_csv("output.csv", float_format="%.2f")  # 小数第2位まで保持

Excel としてエクスポート

Excel 形式は人が閲覧・編集するのに適していますが、大きなファイルのエクスポートは遅いです。

依存関係のインストール

pip install openpyxl xlwt

基本エクスポート

例

import pandas as pd

df = pd.DataFrame({
    "姓名": ["张三", "李四", "王五"],
    "年龄": [25, 30, 28],
    "城市": ["北京", "上海", "广州"],
    "薪资": [12000, 15000, 11000]
})

# Excel としてエクスポート(.xlsx 形式、openpyxl が必要)
df.to_excel("output.xlsx", index=False)

# 旧バージョンの .xls 形式としてエクスポート(xlwt が必要)
df.to_excel("output.xls", index=False)

複数シートのエクスポート

例

import pandas as pd

# 複数の DataFrame を作成
df1 = pd.DataFrame({"A": [1, 2, 3], "B": [4, 5, 6]})
df2 = pd.DataFrame({"C": [7, 8, 9], "D": [10, 11, 12]})

# 同じ Excel の異なるシートにエクスポート
with pd.ExcelWriter("output.xlsx", engine="openpyxl") as writer:
    df1.to_excel(writer, sheet_name="Sheet1", index=False)
    df2.to_excel(writer, sheet_name="Sheet2", index=False)

print("複数シートのエクスポートが成功しました")

フォーマット指定エクスポート

例

import pandas as pd
from openpyxl import Workbook
from openpyxl.styles import Font, PatternFill, Alignment

# DataFrame を作成
df = pd.DataFrame({
    "姓名": ["张三", "李四", "王五"],
    "年龄": [25, 30, 28],
    "薪资": [12000, 15000, 11000]
})

# ExcelWriter を使用してより詳細に制御
with pd.ExcelWriter("output_formatted.xlsx", engine="openpyxl") as writer:
    df.to_excel(writer, sheet_name="従業員情報", index=False)

    # ワークシートを取得
    worksheet = writer.sheets["従業員情報"]

    # 列幅を設定
    worksheet.column_dimensions["A"].width = 15
    worksheet.column_dimensions["B"].width = 10
    worksheet.column_dimensions["C"].width = 12

    # 先頭行を固定
    worksheet.freeze_panes = "A2"

print(フォーマット指定エクスポートが完了しました)

データベースへのエクスポート

DataFrame を SQL データベースに直接エクスポートできます。詳細は「Pandas で SQL データベースを読み取る」の章を参照してください。

例

import pandas as pd
from sqlalchemy import create_engine

# インメモリデータベースを作成
engine = create_engine("sqlite:///output.db")

# データを準備
df = pd.DataFrame({
    "name": ["张三", "李四", "王五"],
    "age": [25, 30, 28],
    "city": ["北京", "上海", "广州"]
})

# データベースへエクスポート
# if_exists: 'fail'(デフォルト) / 'replace' / 'append'
df.to_sql("users", con=engine, if_exists="replace", index=False)

print("データベースへのエクスポートに成功しました")

JSON としてエクスポート

例

import pandas as pd

df = pd.DataFrame({
    "姓名": ["张三", "李四", "王五"],
    "年龄": [25, 30, 28]
})

# さまざまな orient 形式
df.to_json("records.json", orient="records", force_ascii=False, indent=2)
df.to_json("index.json", orient="index", force_ascii=False)
df.to_json("columns.json", orient="columns", force_ascii=False)

# JSON Lines 形式(1行に1つのJSONオブジェクト、ログに適しています)
df.to_json("lines.json", orient="records", lines=True, force_ascii=False)

その他の形式へのエクスポート

HTML としてエクスポート

例

import pandas as pd

df = pd.DataFrame({
    "姓名": ["张三", "李四"],
    "年龄": [25, 30]
})

# HTML テーブルとしてエクスポート
df.to_html("output.html", index=False)

# スタイルを追加
df.to_html(
    "output_styled.html",
    index=False,
    border=2,
    classes=["table", "table-striped"]  # CSS クラスを追加
)

Markdown としてエクスポート

例

import pandas as pd

df = pd.DataFrame({
    "姓名": ["张三", "李四", "王五"],
    "年龄": [25, 30, 28]
})

# Markdown テーブルとしてエクスポート
print(df.to_markdown(index=False))
# 出力:
# | 姓名 | 年龄 |
# | ---- | ---- |
# | 张三 | 25   |
# | 李四 | 30   |
# | 王五 | 28   |

# ファイルに保存
with open("output.md", "w") as f:
    f.write(df.to_markdown(index=False))

LaTeX としてエクスポート

例

import pandas as pd

df = pd.DataFrame({
    "姓名": ["张三", "李四"],
    "年龄": [25, 30]
})

# LaTeX テーブルとしてエクスポート
print(df.to_latex(index=False))
# LaTeX テーブルのコードを出力

Pickle としてエクスポート

例

import pandas as pd

df = pd.DataFrame({
    "A": [1, 2, 3],
    "B": ["a", "b", "c"]
})

# Pickle としてエクスポート(データ型を保持)
df.to_pickle("data.pkl")

# 圧縮形式
df.to_pickle("data.pkl.gz", compression="gzip")

print(Pickle のエクスポートが完了しました)

大容量データのエクスポート

大容量データをエクスポートする際は、メモリとパフォーマンスの問題に注意する必要があります。

例

import pandas as pd

# 大容量データのエクスポートに関する推奨事項:
# 1. chunksize を使用して分割書き込み
df = pd.DataFrame({"a": range(1000000), "b": range(1000000)})

# CSV を分割書き込み
csv_path = "large_output.csv"
df.to_csv(csv_path, index=False, chunksize=100000)

# 2. より効率的な形式を使用(Parquet)
df.to_parquet("large_output.parquet", index=False)

# 3. 圧縮形式を使用して IO を削減
df.to_csv("large_output.csv.gz", index=False, compression="gzip")

print("大容量データのエクスポートが完了しました")

よくある問題と注意事項

1、Excel で CSV ファイルを開くと文字化けする

使用するutf-8-sigエンコーディングでエクスポートすれば、Excel は中国語を正しく認識できます。

2、大容量データのエクスポート時にメモリ不足になる

使用するchunksizeパラメータをバッチ書き込みするか、CSVの代わりにParquet形式を使用します。

3、日時形式が失われる

CSVエクスポート時に文字列に変換されるため、指定できますdate_formatパラメータで形式を制御します。

4、データベースへのエクスポート時に型が一致しない

使用できますdtypeパラメータで列の型を明示的に指定します。

日常のデータ分析ではParquet形式の使用を推奨します。Parquetは高圧縮率、高速読み書き、データ型の保持などの利点があります。手動で確認したり共有したりする場合にのみExcelまたはCSV形式を使用してください。

その他の拡張機能