Linux awk コマンド

Linux コマンド大全

awk はテキストファイルを処理する言語であり、強力なテキスト分析ツールです。

awk はテキストファイルを行単位で読み取り、プログラミング言語に似た機能を提供します。例えば:

  • 変数の定義と計算
  • 条件分岐とループ
  • 文字列処理とフォーマット出力

これらの特性により、AWK は構造化テキスト(CSV、ログファイルなど)の処理において非常に効率的です。

awk と呼ばれるのは、3人の創設者 Alfred Aho、Peter Weinberger、Brian Kernighan の Family Name(姓)の頭文字を取ったためです。

構文

awk options 'pattern {action}' file

オプションとパラメータの説明:

  • options:は、いくつかのオプションであり、制御に使用されます。awkawk の動作。
  • pattern:は入力データをマッチングするためのパターンです。省略した場合は、awkすべての行に対して操作を実行します。
  • {action}:はパターンにマッチした行で実行するアクションです。省略した場合、デフォルトのアクションは行全体を出力することです。

options パラメータの説明:

  • -F <分隔符> 或 --field-separator=<分隔符>:入力フィールドの区切り文字を指定します。デフォルトはスペースです。このオプションを使用すると、デフォルトの区切り文字とは異なるフィールド区切り文字を指定できます。

  • -v <变量名>=<值>:設定awkawk 内部の変数値。このオプションを使用して外部値をawkスクリプト内の変数に渡すことができます。

  • -f <脚本文件>:含むファイルを指定しますawkスクリプトを含むファイルです。これにより、ファイル内に大きなawkスクリプトを作成し、その後-fオプションで読み込むことができます。

  • -V 或 --version:表示しますawkawk のバージョン情報。

  • -h 或 --help:表示しますawkawk のヘルプ情報。オプションと使用例を含みます。

以下は、よく使う awk コマンドの使用例です。

行全体を出力:

awk '{print}' file

特定の列を出力:

awk '{print $1, $2}' file

区切り文字を使用して列を指定:

awk -F',' '{print $1, $2}' file

行番号を出力:

awk '{print NR, $0}' file

条件を満たす行番号の行を出力:

awk '/pattern/ {print NR, $0}' file

列の合計を計算:

awk '{sum += $1} END {print sum}' file

最大値を出力:

awk 'max < $1 {max = $1} END {print max}' file

フォーマット出力:

awk '{printf "%-10s %-10s\n", $1, $2}' file

基本的な使い方

log.txt のテキスト内容は次のとおりです:

2 this is a test
3 Do you like awk
This's a test
10 There are orange,apple,mongo

使い方1:基本構文

awk '{ [pattern] action }' filenames

注意:awk のスクリプト部分はシングルクォートで' '囲む必要があります。

例1:各行の1列目と4列目を出力

awk '{print $1, $4}' log.txt

出力:

2 a
3 like
This's
10 orange,apple,mongo

例2:フォーマット出力

printf は出力形式をカスタマイズできます(C言語の printf と似ています):

awk '{printf "%-8s %-10s\n", $1, $4}' log.txt

出力:

2        a
3        like
This's
10       orange,apple,mongo

使い方2:区切り文字を指定 -F

-Fオプションは列間の区切り文字を指定するために使用され、組み込み変数 FS に相当します。FS (Field Separator)。

例1:カンマを,区切り文字として

awk -F, '{print $1, $2}' log.txt

出力:

2 this is a test
3 Do you like awk
This's a test
10 There are orange apple

例2:組み込み変数 FS を使用して区切り文字を設定

awk 'BEGIN { FS="," } {print $1, $2}' log.txt

出力結果は同じです:

2 this is a test
3 Do you like awk
This's a test
10 There are orange apple

例3:複数の区切り文字を使用(スペースまたはカンマ)

[ ,]スペースまたはカンマのどちらも区切り文字として扱うことを示します。

awk -F '[ ,]' '{print $1, $2, $5}' log.txt

出力:

2 this test
3 Do awk
This's a
10 There apple

使い方3:-v で変数を設定

-vオプションは AWK スクリプトの実行前に外部変数を渡すために使用され、動的な代入によく使用されます。

構文形式:

awk -v 变量名=值 '{动作}' 文件名

例1:数値変数を定義して演算に参加させる

awk -va=1 '{print $1, $1+a}' log.txt

出力:

2 3
3 4
This's 1
10 11

説明:

  • -v a=1 は変数 a=1 を定義することを示します;
  • $1+a は1列目に変数 a を加えることを示します。

$1 が数字でない場合(例:This's)、結果は空になるかそのまま出力されます。

例2:複数の変数を同時に定義

awk -va=1 -vb=s '{print $1, $1+a, $1b}' log.txt

出力:

2 3 2s
3 4 3s
This's 1 This'ss
10 11 10s

説明:

  • -vb=s は文字列変数 b を定義します;
  • $1b は1列目と変数 b を連結することを示します(例:2s、10s)。

使い方4:-f で外部 AWK スクリプトを呼び出す

AWK スクリプトが長い場合、ロジックを別のファイルに書き、-f パラメータで読み込むことができます。

構文形式:

awk -f 脚本文件 文件名

スクリプトファイル cal.awk があるとします。内容は次のとおりです:

{ print $1, $1 + 10 }

コマンドを実行:

awk -f cal.awk log.txt

出力:

2 12
3 13
This's 10
10 20

説明:

  • -f cal.awk は外部スクリプト cal.awk を実行することを示します;
  • AWK は log.txt の各行に対してスクリプトで定義されたアクションを実行します。

演算子

演算子 説明
= += -= *= /= %= ^= **= 代入
?: C条件式
|| 論理OR
&& 論理AND
~ と !~ 正規表現にマッチする、および正規表現にマッチしない
< <= > >= != == 関係演算子
スペース 連結
+ - 加算、減算
* / % 乗算、除算、剰余
+ - ! 単項加算、減算、論理否定
^ *** べき乗
++ -- 増加または減少、前置または後置として
$ フィールド参照
in 配列メンバー

1列目が2より大きい行をフィルタリング

$ awk '$1>2' log.txt    #命令
#输出
3 Do you like awk
This's a test
10 There are orange,apple,mongo

1列目が2に等しい行をフィルタリング

$ awk '$1==2 {print $1,$3}' log.txt    #命令
#输出
2 is

1列目が2より大きく、かつ2列目が'Are'に等しい行をフィルタリング

$ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt    #命令
#输出
3 Are you

組み込み変数

変数 説明
$n 現在のレコードのn番目のフィールド。フィールド間はFSで区切られる
$0 入力レコード全体
ARGC コマンドライン引数の数
ARGIND コマンドライン中の現在のファイルの位置(0から数える)
ARGV コマンドライン引数を含む配列
CONVFMT 数値変換形式(デフォルトは%.6g)ENVIRON 環境変数の連想配列
ERRNO 最後のシステムエラーの説明
FIELDWIDTHS フィールド幅のリスト(スペースキーで区切る)
FILENAME 現在のファイル名
FNR ファイルごとに個別にカウントされた行番号
FS フィールド区切り文字(デフォルトは任意のスペース)
IGNORECASE 真の場合、大文字と小文字を無視したマッチングを行う
NF 1レコードのフィールド数
NR すでに読み出したレコード数、つまり行番号。1から始まる
OFMT 数値の出力形式(デフォルトは%.6g)
OFS 出力フィールド区切り文字。デフォルトは入力フィールド区切り文字と同じ。
ORS 出力レコード区切り文字(デフォルトは改行文字)
RLENGTH match 関数によってマッチした文字列の長さ
RS レコード区切り文字(デフォルトは改行文字)
RSTART match 関数によってマッチした文字列の最初の位置
SUBSEP 配列の添字区切り文字(デフォルトは/034)
$ awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
log.txt    2    1         5    1
log.txt    2    2         5    2
log.txt    2    3         3    3
log.txt    2    4         4    4
$ awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
log.txt    2    1    '    1    1
log.txt    2    2    '    1    2
log.txt    2    3    '    2    3
log.txt    2    4    '    1    4
# 输出顺序号 NR, 匹配文本行号
$ awk '{print NR,FNR,$1,$2,$3}' log.txt
---------------------------------------------
1 1 2 this is
2 2 3 Are you
3 3 This's a test
4 4 10 There are
# 指定输出分割符
$  awk '{print $1,$2,$5}' OFS=" $ "  log.txt
---------------------------------------------
2 $ this $ test
3 $ Are $ awk
This's $ a $
10 $ There $

正規表現を使用、文字列マッチング

# 输出第二列包含 "th",并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a

~ はパターンの開始を表します。// の中がパターンです。

# 输出包含 "re" 的行
$ awk '/re/ ' log.txt
---------------------------------------------
3 Do you like awk
10 There are orange,apple,mongo

大文字と小文字を無視

$ awk 'BEGIN{IGNORECASE=1} /this/' log.txt
---------------------------------------------
2 this is a test
This's a test

パターンの否定

$ awk '$2 !~ /th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
$ awk '!/th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo

awkスクリプト

awk スクリプトについては、BEGIN と END という2つのキーワードに注意する必要があります。

  • BEGIN{ ここには実行前のステートメントを置きます }
  • END {ここにはすべての行を処理した後に実行するステートメントを置きます }
  • {ここには各行を処理するときに実行するステートメントを置きます}

次のようなファイル(学生の成績表)があるとします:

$ cat score.txt
Marry   2143 78 84 77
Jack    2321 66 78 45
Tom     2122 48 77 71
Mike    2537 87 97 95
Bob     2415 40 57 62

私たちの awk スクリプトは次のとおりです:

$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
    math = 0
    english = 0
    computer = 0
 
    printf "NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL\n"
    printf "---------------------------------------------\n"
}
#运行中
{
    math+=$3
    english+=$4
    computer+=$5
    printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
    printf "---------------------------------------------\n"
    printf "  TOTAL:%10d %8d %8d \n", math, english, computer
    printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}

実行結果を見てみましょう:

$ awk -f cal.awk score.txt
NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL
---------------------------------------------
Marry  2143     78       84       77      239
Jack   2321     66       78       45      189
Tom    2122     48       77       71      196
Mike   2537     87       97       95      279
Bob    2415     40       57       62      159
---------------------------------------------
  TOTAL:       319      393      350
AVERAGE:     63.80    78.60    70.00

その他の例

AWK の hello world プログラムは次のとおりです:

BEGIN { print "Hello, world!" }

ファイルサイズの計算

$ ls -l *.txt | awk '{sum+=$5} END {print sum}'
--------------------------------------------------
666581

ファイルから長さが80より大きい行を見つける:

awk 'length>80' log.txt

九九の表を出力する

seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'

詳細はこちら:

Linuxコマンド大全

その他の拡張