Linux split コマンド

Linux 命令大全Linux コマンド大全

splitsplit は Linux に組み込みのファイル分割ツールで、ファイルを行数、サイズ、または指定した数で切り分けることができます。

splitsplit コマンドは大きなファイルを複数の小さなファイルに分割するために使用され、転送、保存、並列処理に便利です。

分割後の小さなファイルは、catコマンドで再結合して元のファイルに復元できます。

ログファイルが大きすぎてエディタで開けない場合、大きなファイルを分割してアップロードする必要がある場合、またはデータを並列処理したい場合、splitsplit が第一の解決策です。

分割後のファイルはデフォルトでxaa、xab、xacなどのアルファベット列で命名されます。

splitsplit は元のファイルを削除または変更しないため、分割操作は安全です。ただし、大量の小さなファイルに分割する際は、ディスク容量が十分かどうかに注意してください。

コマンド構文

splitsplit の基本構文は次のとおりです:

split [选项] [输入文件] [输出文件前缀]

入力ファイルを指定しない場合、標準入力からデータを読み取ります。

出力ファイルの接頭辞を指定しない場合、デフォルトでxx が接頭辞として使用されます。

splitsplit のよく使うオプションは次のとおりです:

オプション機能例
-b, --bytes=大小指定したバイト数でファイルを分割split -b 100M large.log
-l, --lines=行数指定した行数でファイルを分割split -l 1000 data.txt
-n, --number=数量指定した数の小さなファイルに分割split -n 5 data.txt
-a, --suffix-length=N接尾辞の長さを指定(デフォルトは2)split -a 3 -l 100 data.txt
-d, --numeric-suffixesアルファベットの接尾辞の代わりに数字の接尾辞を使用split -d -l 100 data.txt
-C, --line-bytes=大小サイズで分割するが、各行を完全に保つsplit -C 10M log.txt
--verbose分割処理の詳細情報を表示split --verbose -b 10M file.bin

サイズ単位のサポート:K(KB)、M(MB)、G(GB)、T(TB)などの接尾辞。

-b と -C の違い:

オプション動作適用シーン
-b厳密にバイト数で切り分けるため、行の途中で切れる可能性があるバイナリファイル、改行を気にしないシーン
-Cサイズ上限に達したとき、できるだけ行の境界で切り分け、各行を完全に保証するテキストログ、CSVなど行の完全性を保つ必要があるシーン

テキストファイルを分割する場合は、優先的に-Cではなく-bを使用して、行データが2つのファイルに分断されるのを防ぎます。


詳細な使い方

行数で分割

行数での分割は最も直感的な方法で、ログファイルやCSVデータの処理に適しています。

# 生成一个包含 5000 行的测试文件
$ seq 1 5000 > data.txt

# 每 1000 行拆分为一个小文件
$ split -l 1000 data.txt part_

# 查看生成的文件
$ ls -lh part_*
-rw-r--r-- 1 サンプル サンプル 3.9K May 19 14:30 part_aa
-rw-r--r-- 1 サンプル サンプル 3.9K May 19 14:30 part_ab
-rw-r--r-- 1 サンプル サンプル 3.9K May 19 14:30 part_ac
-rw-r--r-- 1 サンプル サンプル 3.9K May 19 14:30 part_ad
-rw-r--r-- 1 サンプル サンプル 3.9K May 19 14:30 part_ae

実行すると5つのファイルが生成され、各ファイルはちょうど1000行で、ファイル名はpart_を接頭辞とします。

ファイルサイズで分割

サイズでの分割は、バイナリファイルの切断や、単一ファイルのサイズ上限を制御するのに適しています。

# 生成一个 10MB 的测试文件
$ dd if=/dev/urandom of=test.bin bs=1M count=10

# 按每 2MB 拆分
$ split -b 2M test.bin chunk_

# 查看拆分结果
$ ls -lh chunk_*
-rw-r--r-- 1 サンプル サンプル 2.0M May 19 14:32 chunk_aa
-rw-r--r-- 1 サンプル サンプル 2.0M May 19 14:32 chunk_ab
-rw-r--r-- 1 サンプル サンプル 2.0M May 19 14:32 chunk_ac
-rw-r--r-- 1 サンプル サンプル 2.0M May 19 14:32 chunk_ad
-rw-r--r-- 1 サンプル サンプル 2.0M May 19 14:32 chunk_ae

分割数の指定

使用すると、-nファイルを指定した数の小さなファイルに均等に分割できます。

# 将文件均分为 3 份
$ split -n 3 data.txt equal_

# 查看各文件行数
$ wc -l equal_*
  1667 equal_aa
  1667 equal_ab
  1666 equal_ac
  5000 total

ファイルができるだけ均等に分配されることがわかります。合計5000行のファイルは、約1667行ずつに分割されます。

ファイルの総行数が割り切れない場合、前のファイルが数行多く、後ろのファイルが数行少なくなります。

数字の接尾辞を使用

デフォルトのアルファベット接尾辞(aa、ab...)は直感的ではないため、-dを使用して数字に切り替えることができます。

# 使用数字后缀,并指定后缀长度为 3
$ split -d -a 3 -l 1000 data.txt サンプル_

# 生成的文件名
$ ls サンプル_*
サンプル_000  サンプル_001  サンプル_002  サンプル_003  サンプル_004

ここで接尾辞の長さが3の場合、最大1000ファイル(000から999)をサポートします。大量の小さなファイルに分割する場合は、-aの値を増やすことができます。

行の整合性を保ってテキストを分割

使用すると、-Cサイズで分割しながら、各行が途切れないことを保証できます。

# 生成一个包含不同长度行的测试日志
$ for i in $(seq 1 100); do echo "Line $i: サンプル testing data $(head -c $((RANDOM % 50 + 10)) /dev/urandom | base64)"; done > log.txt

# 按 1KB 拆分,同时保持行完整性
$ split -C 1K log.txt log_

# 检查每个文件的最后一行是否完整(都以换行符结尾)
$ for f in log_*; do echo "$f: $(tail -c 1 $f | xxd | grep -c '0a')"; done

-C各分割ファイルの最後の行が完全であることを保証し、行が半分に切断されることはありません。

分割したファイルを結合

分割したファイルは、損失なく結合して元に戻すことができます:

# 合并所有拆分文件,还原为原始文件
$ cat part_* > restored.txt

# 验证合并后的内容与原始文件一致
$ diff data.txt restored.txt && echo "文件一致,合并成功"
文件一致,合并成功

結合するとき、catシェルワイルドカードのアルファベット順に連結されます。これはsplitがファイルを生成する順序と一致します。


よくある質問

分割後のファイルは元のファイルと同じ合計ディスク容量を占有します(実際にはファイルシステムのメタデータのオーバーヘッドが少し増えます)。ディスクの空き容量が十分にあることを確認してください。

数字の接尾辞を使用する場合、分割ファイル数が接尾辞の長さで表せる最大値を超えると(例:-a 2最大100ファイル)、splitはエラーを出して終了します。-aパラメータの値を増やせば解決できます。

特定の内容で分割する必要がある場合(例:区切り文字で分割)、splitはサポートしていないため、csplitコマンドを使用してください。

標準入力からデータを読み取る場合、split総サイズを推定できないため、-nは指定数の分割機能を標準入力モードではサポートしません。


関連コマンド

コマンド機能
catファイルの結合またはファイル内容の出力
csplit内容(正規表現)でファイルを分割
wcファイルの行数、単語数、バイト数を統計
ddファイルの変換とコピー、ブロックサイズでデータを切り出す
headファイルの先頭部分を出力
tailファイルの末尾部分を出力

Linux 命令大全Linux コマンド大全

その他の拡張