Linux awk コマンド
awk はテキストファイルを処理する言語であり、強力なテキスト分析ツールです。
awk はテキストファイルを行単位で読み取り、プログラミング言語に似た機能を提供します。例えば:
- 変数の定義と計算
- 条件分岐とループ
- 文字列処理とフォーマット出力
これらの特性により、AWK は構造化テキスト(CSV、ログファイルなど)の処理において非常に効率的です。
awk と呼ばれるのは、3人の創設者 Alfred Aho、Peter Weinberger、Brian Kernighan の Family Name(姓)の頭文字を取ったためです。
構文
awk options 'pattern {action}' file
オプションとパラメータの説明:
options:は、いくつかのオプションであり、制御に使用されます。awkawk の動作。pattern:は入力データをマッチングするためのパターンです。省略した場合は、awkすべての行に対して操作を実行します。{action}:はパターンにマッチした行で実行するアクションです。省略した場合、デフォルトのアクションは行全体を出力することです。
options パラメータの説明:
-F <分隔符>或--field-separator=<分隔符>:入力フィールドの区切り文字を指定します。デフォルトはスペースです。このオプションを使用すると、デフォルトの区切り文字とは異なるフィールド区切り文字を指定できます。-v <变量名>=<值>:設定awkawk 内部の変数値。このオプションを使用して外部値をawkスクリプト内の変数に渡すことができます。-f <脚本文件>:含むファイルを指定しますawkスクリプトを含むファイルです。これにより、ファイル内に大きなawkスクリプトを作成し、その後-fオプションで読み込むことができます。-V或--version:表示しますawkawk のバージョン情報。-h或--help:表示しますawkawk のヘルプ情報。オプションと使用例を含みます。
以下は、よく使う awk コマンドの使用例です。
行全体を出力:
awk '{print}' file特定の列を出力:
awk '{print $1, $2}' file
区切り文字を使用して列を指定:
awk -F',' '{print $1, $2}' file
行番号を出力:
awk '{print NR, $0}' file
条件を満たす行番号の行を出力:
awk '/pattern/ {print NR, $0}' file
列の合計を計算:
awk '{sum += $1} END {print sum}' file
最大値を出力:
awk 'max < $1 {max = $1} END {print max}' fileフォーマット出力:
awk '{printf "%-10s %-10s\n", $1, $2}' file
基本的な使い方
log.txt のテキスト内容は次のとおりです:
2 this is a test 3 Do you like awk This's a test 10 There are orange,apple,mongo
使い方1:基本構文
awk '{ [pattern] action }' filenames
注意:awk のスクリプト部分はシングルクォートで' '囲む必要があります。
例1:各行の1列目と4列目を出力
awk '{print $1, $4}' log.txt
出力:
2 a 3 like This's 10 orange,apple,mongo
例2:フォーマット出力
printf は出力形式をカスタマイズできます(C言語の printf と似ています):
awk '{printf "%-8s %-10s\n", $1, $4}' log.txt
出力:
2 a 3 like This's 10 orange,apple,mongo
使い方2:区切り文字を指定 -F
-Fオプションは列間の区切り文字を指定するために使用され、組み込み変数 FS に相当します。FS (Field Separator)。
例1:カンマを,区切り文字として
awk -F, '{print $1, $2}' log.txt
出力:
2 this is a test 3 Do you like awk This's a test 10 There are orange apple
例2:組み込み変数 FS を使用して区切り文字を設定
awk 'BEGIN { FS="," } {print $1, $2}' log.txt
出力結果は同じです:
2 this is a test 3 Do you like awk This's a test 10 There are orange apple
例3:複数の区切り文字を使用(スペースまたはカンマ)
[ ,]スペースまたはカンマのどちらも区切り文字として扱うことを示します。
awk -F '[ ,]' '{print $1, $2, $5}' log.txt
出力:
2 this test 3 Do awk This's a 10 There apple
使い方3:-v で変数を設定
-vオプションは AWK スクリプトの実行前に外部変数を渡すために使用され、動的な代入によく使用されます。
構文形式:
awk -v 变量名=值 '{动作}' 文件名
例1:数値変数を定義して演算に参加させる
awk -va=1 '{print $1, $1+a}' log.txt
出力:
2 3 3 4 This's 1 10 11
説明:
- -v a=1 は変数 a=1 を定義することを示します;
- $1+a は1列目に変数 a を加えることを示します。
$1 が数字でない場合(例:This's)、結果は空になるかそのまま出力されます。
例2:複数の変数を同時に定義
awk -va=1 -vb=s '{print $1, $1+a, $1b}' log.txt
出力:
2 3 2s 3 4 3s This's 1 This'ss 10 11 10s
説明:
- -vb=s は文字列変数 b を定義します;
- $1b は1列目と変数 b を連結することを示します(例:2s、10s)。
使い方4:-f で外部 AWK スクリプトを呼び出す
AWK スクリプトが長い場合、ロジックを別のファイルに書き、-f パラメータで読み込むことができます。
構文形式:
awk -f 脚本文件 文件名
スクリプトファイル cal.awk があるとします。内容は次のとおりです:
{ print $1, $1 + 10 }
コマンドを実行:
awk -f cal.awk log.txt
出力:
2 12 3 13 This's 10 10 20
説明:
- -f cal.awk は外部スクリプト cal.awk を実行することを示します;
- AWK は log.txt の各行に対してスクリプトで定義されたアクションを実行します。
演算子
| 演算子 | 説明 |
|---|---|
| = += -= *= /= %= ^= **= | 代入 |
| ?: | C条件式 |
| || | 論理OR |
| && | 論理AND |
| ~ と !~ | 正規表現にマッチする、および正規表現にマッチしない |
| < <= > >= != == | 関係演算子 |
| スペース | 連結 |
| + - | 加算、減算 |
| * / % | 乗算、除算、剰余 |
| + - ! | 単項加算、減算、論理否定 |
| ^ *** | べき乗 |
| ++ -- | 増加または減少、前置または後置として |
| $ | フィールド参照 |
| in | 配列メンバー |
1列目が2より大きい行をフィルタリング
$ awk '$1>2' log.txt #命令 #输出 3 Do you like awk This's a test 10 There are orange,apple,mongo
1列目が2に等しい行をフィルタリング
$ awk '$1==2 {print $1,$3}' log.txt #命令
#输出
2 is
1列目が2より大きく、かつ2列目が'Are'に等しい行をフィルタリング
$ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt #命令
#输出
3 Are you
組み込み変数
| 変数 | 説明 |
|---|---|
| $n | 現在のレコードのn番目のフィールド。フィールド間はFSで区切られる |
| $0 | 入力レコード全体 |
| ARGC | コマンドライン引数の数 |
| ARGIND | コマンドライン中の現在のファイルの位置(0から数える) |
| ARGV | コマンドライン引数を含む配列 |
| CONVFMT | 数値変換形式(デフォルトは%.6g)ENVIRON 環境変数の連想配列 |
| ERRNO | 最後のシステムエラーの説明 |
| FIELDWIDTHS | フィールド幅のリスト(スペースキーで区切る) |
| FILENAME | 現在のファイル名 |
| FNR | ファイルごとに個別にカウントされた行番号 |
| FS | フィールド区切り文字(デフォルトは任意のスペース) |
| IGNORECASE | 真の場合、大文字と小文字を無視したマッチングを行う |
| NF | 1レコードのフィールド数 |
| NR | すでに読み出したレコード数、つまり行番号。1から始まる |
| OFMT | 数値の出力形式(デフォルトは%.6g) |
| OFS | 出力フィールド区切り文字。デフォルトは入力フィールド区切り文字と同じ。 |
| ORS | 出力レコード区切り文字(デフォルトは改行文字) |
| RLENGTH | match 関数によってマッチした文字列の長さ |
| RS | レコード区切り文字(デフォルトは改行文字) |
| RSTART | match 関数によってマッチした文字列の最初の位置 |
| SUBSEP | 配列の添字区切り文字(デフォルトは/034) |
$ awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' log.txt
FILENAME ARGC FNR FS NF NR OFS ORS RS
---------------------------------------------
log.txt 2 1 5 1
log.txt 2 2 5 2
log.txt 2 3 3 3
log.txt 2 4 4 4
$ awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' log.txt
FILENAME ARGC FNR FS NF NR OFS ORS RS
---------------------------------------------
log.txt 2 1 ' 1 1
log.txt 2 2 ' 1 2
log.txt 2 3 ' 2 3
log.txt 2 4 ' 1 4
# 输出顺序号 NR, 匹配文本行号
$ awk '{print NR,FNR,$1,$2,$3}' log.txt
---------------------------------------------
1 1 2 this is
2 2 3 Are you
3 3 This's a test
4 4 10 There are
# 指定输出分割符
$ awk '{print $1,$2,$5}' OFS=" $ " log.txt
---------------------------------------------
2 $ this $ test
3 $ Are $ awk
This's $ a $
10 $ There $
正規表現を使用、文字列マッチング
# 输出第二列包含 "th",并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a
~ はパターンの開始を表します。// の中がパターンです。
# 输出包含 "re" 的行 $ awk '/re/ ' log.txt --------------------------------------------- 3 Do you like awk 10 There are orange,apple,mongo
大文字と小文字を無視
$ awk 'BEGIN{IGNORECASE=1} /this/' log.txt
---------------------------------------------
2 this is a test
This's a test
パターンの否定
$ awk '$2 !~ /th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
$ awk '!/th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
awkスクリプト
awk スクリプトについては、BEGIN と END という2つのキーワードに注意する必要があります。
- BEGIN{ ここには実行前のステートメントを置きます }
- END {ここにはすべての行を処理した後に実行するステートメントを置きます }
- {ここには各行を処理するときに実行するステートメントを置きます}
次のようなファイル(学生の成績表)があるとします:
$ cat score.txt Marry 2143 78 84 77 Jack 2321 66 78 45 Tom 2122 48 77 71 Mike 2537 87 97 95 Bob 2415 40 57 62
私たちの awk スクリプトは次のとおりです:
$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
math = 0
english = 0
computer = 0
printf "NAME NO. MATH ENGLISH COMPUTER TOTAL\n"
printf "---------------------------------------------\n"
}
#运行中
{
math+=$3
english+=$4
computer+=$5
printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
printf "---------------------------------------------\n"
printf " TOTAL:%10d %8d %8d \n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}
実行結果を見てみましょう:
$ awk -f cal.awk score.txt NAME NO. MATH ENGLISH COMPUTER TOTAL --------------------------------------------- Marry 2143 78 84 77 239 Jack 2321 66 78 45 189 Tom 2122 48 77 71 196 Mike 2537 87 97 95 279 Bob 2415 40 57 62 159 --------------------------------------------- TOTAL: 319 393 350 AVERAGE: 63.80 78.60 70.00
その他の例
AWK の hello world プログラムは次のとおりです:
BEGIN { print "Hello, world!" }
ファイルサイズの計算
$ ls -l *.txt | awk '{sum+=$5} END {print sum}'
--------------------------------------------------
666581
ファイルから長さが80より大きい行を見つける:
awk 'length>80' log.txt
九九の表を出力する
seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'
その他の拡張詳細はこちら: