データ理解
住宅価格の予測、画像内の猫と犬の認識、好みの映画のレコメンドなど、機械学習プロジェクトを始める前に、私たちはまず最も基本的かつ重要な段階に直面する必要があります:データ理解。
データ理解は、探偵が事件を調査する前にすべての手がかりと資料を注意深く調べる過程に例えることができます。手がかり(データ)の経緯、真偽、意味を理解しなければ、その後のあらゆる推論(モデリング)は誤った基盤の上に構築されてしまう可能性があります。
データ理解は機械学習プロセス全体の基盤であり、その後のデータクリーニング方法やモデル選択を決定づけ、最終的にはモデルの成否に影響を与えます。
データ理解とは何か?
データ理解とは、その名の通り、手元のデータセットを深く知ることです。その核心的な目標は、次の質問に答えることです:
- どんなデータを持っているのか?(データの構造と型)
- データの品質はどうか?(データはクリーンで、完全で、信頼できるか)
- データは何を語っているのか?(データの中にどのようなパターン、関係、分布が隠れているか)
このプロセスには複雑なコードやアルゴリズムは関与せず、主に観察、統計、可視化を通じてデータへの理解を得ます。
データ理解の核心的なステップとツール
ここでは、Pythonで最も人気のあるデータ分析ライブラリを使用しますPandasおよび可視化ライブラリMatplotlib/Seabornを使ってデモを行います。
始める前に、以下の依存ライブラリをインストールしてください:
pip install pandas matplotlib seaborn
Python の主要な3つのデータ分析ライブラリの説明:
- pandas
データ処理の中核ライブラリ。表形式データの読み書き、クリーニング、フィルタリング、統計計算を専門に行い、Excel/CSVの読み込みをサポートし、DataFrameの表構造を提供します。 - matplotlib
低レベルの基本描画ライブラリであり、Python可視化の基盤です。折れ線、棒、散布図などの各種基本グラフを描画でき、自由度は高いものの、コードはやや煩雑です。 - seaborn
matplotlibをベースにカプセル化された高級描画ライブラリで、統計グラフ専用に設計されています。美しい配色が標準装備されており、1行のコードで分布図、ヒートマップ、箱ひげ図を描けます。
ステップ1: 初めまして——読み込みと概要
まず、データをプログラムに読み込み、全体像をすばやく確認する必要があります。
最初に、テストデータをPythonテストコードと同じディレクトリにダウンロードしましょう:
テストデータのダウンロードURL:https://raw.githubusercontent.com/uiuc-cse/data-fa14/gh-pages/data/iris.csv
githubusercontent からのダウンロードに失敗した場合は、リンクをクリックして直接ダウンロードできます:/static.jyshare.com/download/iris.csv。
例
import matplotlib.pyplot as plt
import seaborn as sns
# 1. データを読み込む(ここでは定番のIrisデータセットを例にします。自分のCSVファイルを読み込むこともできます)
# ローカルファイルからロード
df = pd.read_csv('iris.csv')
# ネットワークから読み込む
# url = "https://raw.githubusercontent.com/uiuc-cse/data-fa14/gh-pages/data/iris.csv"
# df = pd.read_csv(url)
# 2. データの最初の数行を確認 - 第一印象
print("データの最初の5行:")
print(df.head())
print("\n" + "="*50 + "\n")
# 3. データの全体像を確認:行数、列数、データ型、メモリ使用量
print("データセットの基本情報:")
print(df.info())
print("\n" + "="*50 + "\n")
# 4. データの形状(何行、何列)を確認する
print(f"数据集形状:{df.shape}") # 输出 (行数, 列数)
print(f"共有 {df.shape)
コードの解説:
df.head():本の目次をめくるように、データの最初の数行をすばやく表示して、データがどのようなものかを把握します。df.info():これはデータの「健康診断レポート」です。次のことを教えてくれます:- 各列の名前(
Column) - 非NULL値の数(
Non-Null Count)、データの欠損があるかどうかをすぐに発見できます - データ型(
Dtype)、例:int64(整数)、float64(小数)、object(テキストまたは混合型)
- 各列の名前(
df.shape:データテーブルの次元(形状)を直接取得します。
上記のコードを実行すると、次のような出力が得られます:
数据的前5行: sepal_length sepal_width petal_length petal_width species 0 5.1 3.5 1.4 0.2 setosa 1 4.9 3.0 1.4 0.2 setosa 2 4.7 3.2 1.3 0.2 setosa 3 4.6 3.1 1.5 0.2 setosa 4 5.0 3.6 1.4 0.2 setosa ================================================== 数据集的基本信息: <class 'pandas.DataFrame'>
ステップ2: 品質チェック——欠損と異常の発見
データが完璧であることはほとんどありません。よくある「データの病気」には、次のようなものがあります:欠損値(一部の位置が空である)と異常値(一部の数値が常識外れに大きい、または常識外れに小さい)。
例
print("各特征缺失值数量:")
print(df.isnull().sum())
print("\n" + "="*50 + "\n")
# 如果缺失值很多,可以计算缺失比例
missing_ratio = df.isnull().sum() / len(df) * 100
print("各特征缺失值比例(%):")
print(missing_ratio)
print("\n" + "="*50 + "\n")
# 2. 数値型特徴量の統計サマリーを確認 - 異常値の手がかりを発見できます
print(数値型特徴の統計の記述:)
print(df.describe())
コードの解説:
df.isnull().sum():各列のNULL値(NaN)の合計を計算します。df.describe():数値列の統計要約を生成します。内容は次のとおりです:count:数(欠損の再確認に使用できます)mean:平均値std:標準偏差(データのばらつきの大きさ)min:最小値25%,50%(中央値)75%:四分位数max:最大値- 観察することにより
minとmax、異常値があるかどうかを初歩的に判断できます(例えば、年齢列に200歳が現れるなど)。
ステップ3: 深い洞察——分布と関係の可視化
文字や数字は抽象的ですが、グラフを使うとデータを直感的に「見る」ことができます。これはデータ理解の中で最も面白い部分です。
例
sns.set(style="whitegrid")
# 1. 単変量分布 - 各特徴量自体の分布を理解する
fig, axes = plt.subplots(2, 2, figsize=(12, 8)) # 2x2のキャンバスを作成する
features = ['sepal_length', 'sepal_width', 'petal_length', 'petal_width']
colors = ['skyblue', 'lightgreen', 'salmon', 'gold']
for i, (ax, feature, color) in enumerate(zip(axes.flat, features, colors)):
# ヒストグラム(分布)とカーネル密度推定曲線を描画する
sns.histplot(df[feature], kde=True, ax=ax, color=color, bins=20)
ax.set_title(f'{feature} の分布', fontsize=14)
ax.set_xlabel(feature)
ax.set_ylabel('频数')
plt.tight_layout()
plt.show()
# 2. 箱ひげ図 - データ分布と外れ値を確認する(より直感的)
plt.figure(figsize=(10, 6))
# 选择数值列绘制箱线图
df_box = df.drop(columns=['species']) # 'species' はテキストラベル列なので、先に削除します
sns.boxplot(data=df_box)
plt.title(各数値特徴量の箱ひげ図(分布と外れ値の確認), fontsize=14)
plt.xticks(rotation=45)
plt.show()
# 3. 变量间关系 - 散点图矩阵
print("\n特徴間の関係を表す散布図行列...(これは、特徴間の関連性を発見するのに役立ちます))
# Seabornのpairplotを使用し、hueパラメータでカテゴリごとに色付けできる(例:アヤメの品種)
sns.pairplot(df, hue='species', height=2.5)
plt.suptitle('特徴関係散布図行列(種類別に色付け)', y=1.02, fontsize=16)
plt.show()
# 4. 相関ヒートマップ - 特徴量間の線形関係を定量化する
plt.figure(figsize=(8, 6))
# 数値特徴間の相関係数を計算する
numeric_df = df.select_dtypes(include=['float64', 'int64'])
correlation_matrix = numeric_df.corr()
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm', center=0, square=True)
plt.title('特征相关性热力图', fontsize=14)
plt.show()
グラフの解説:
- ヒストグラム:ある特徴量(花びらの長さなど)の値がどのように分布しているかを示します。特定の区間に集中しているのか、それとも分散しているのか?
- 箱ひげ図:
- 箱の中央の線は中央値。
- 箱の上下の境界線は第25百分位数(Q1)と第75百分位数(Q3)。
- 上下に伸びる「ひげ」は通常、妥当な範囲(Q1-1.5IQR から Q3+1.5IQR)を表します。
- 孤立した点おそらく異常値!
- 散布図行列:任意の2つの特徴量間の関係を同時に確認します。点が帯状に分布している場合は、関連している可能性があります。
- 相関ヒートマップ:色と数値(-1 から 1)で、2つの特徴量の線形相関の程度を正確に示します。
- 1:完全な正の相関(一方が大きくなると、もう一方も大きくなる)
- -1:完全な負の相関(一方が大きくなると、もう一方は小さくなる)
- 0:線形関係がない
データ理解の成果物:データ調査レポート
上記のステップを完了すると、現在のデータセットに関する明確なレポートをまとめることができるはずです。例:
その他の拡張アヤメデータセットに関する調査レポート
データ概要:合計150件のサンプル、5つの特徴量(4つの数値特徴量:がく片/花びらの長さと幅;1つのカテゴリラベル:品種)。
データ品質:欠損値なし。すべての数値特徴量は妥当な生物学的範囲内にあり、明らかな異常値は見つかりませんでした。
データの洞察:
- 花びらの長さ(
petal_length)と花びらの幅(petal_width)の相関は非常に高く(>0.96)、情報の冗長性がある可能性があります。- 異なる品種のアヤメは花びらのサイズで明確に区別され、散布図では明確にクラスタリングされています。
- がく片の幅(
sepal_width)の分布は正規分布に近似しています。