Команда awk в Linux

Linux 命令大全Справочник команд Linux

awk — это язык для обработки текстовых файлов и мощный инструмент анализа текста.

awk читает текстовые файлы построчно и предоставляет возможности, подобные языкам программирования, такие как:

  • Определение переменных и вычисления
  • Условные операторы и циклы
  • Обработка строк и форматированный вывод

Эти возможности делают AWK очень эффективным при обработке структурированного текста (например, CSV, лог-файлов).

Он называется awk, потому что берёт первые буквы фамилий трёх своих создателей: Альфреда Ахо, Питера Вайнбергера и Брайана Кернигана.

Синтаксис

awk options 'pattern {action}' file

Описание параметра опции:

  • options: — это некоторые опции, используемые для управленияawkповедением.
  • pattern: — это шаблон, используемый для сопоставления входных данных. Если его опустить, тоawkбудет работать со всеми строками.
  • {action}: — это действие, выполняемое для строк, соответствующих шаблону. Если опущено, действие по умолчанию — вывести всю строку.

Описание параметров опций:

  • -F <分隔符>или--field-separator=<分隔符>: задаёт разделитель для входных полей, по умолчанию — пробел. Используйте эту опцию, чтобы задать разделитель полей, отличный от стандартного.

  • -v <变量名>=<值>: Задатьawkзначения внутренних переменных. Эта опция может использоваться для передачи внешних значений вawkпеременные в скрипте.

  • -f <脚本文件>: укажите файл, содержащийawkскрипт. Это позволяет писать более крупные скрипты в файлеawkскрипт, а затем используйте-fопцию для его загрузки.

  • -Vили--version: Показатьawkинформацию о версии.

  • -hили--help: Показатьawkсправочную информацию, включая параметры и примеры использования.

Ниже приведены некоторые распространённые способы использования команды awk:

Вывести всю строку:

awk '{print}' file

Вывести определённый столбец:

awk '{print $1, $2}' file

Указать столбцы с разделителем:

awk -F',' '{print $1, $2}' file

Вывести количество строк:

awk '{print NR, $0}' file

Вывести строки, удовлетворяющие условию по номеру строки:

awk '/pattern/ {print NR, $0}' file

Вычислить сумму столбца:

awk '{sum += $1} END {print sum}' file

Вывести максимальное значение:

awk 'max < $1 {max = $1} END {print max}' file

Форматированный вывод:

awk '{printf "%-10s %-10s\n", $1, $2}' file

Базовое использование

Содержимое log.txt следующее:

2 this is a test
3 Do you like awk
This's a test
10 There are orange,apple,mongo

Использование 1: Базовый синтаксис

awk '{ [pattern] action }' filenames

Примечание:Часть скрипта awk должна быть обёрнута с использованием одинарных кавычек' 'для обёртки.

Пример 1: Вывод 1-го и 4-го столбцов каждой строки

awk '{print $1, $4}' log.txt

Вывод:

2 a
3 like
This's
10 orange,apple,mongo

Пример 2: Форматированный вывод

printf может настраивать формат вывода (аналогично printf в языке C):

awk '{printf "%-8s %-10s\n", $1, $4}' log.txt

Вывод:

2        a
3        like
This's
10       orange,apple,mongo

Использование 2: Указать разделитель -F

-FОпция используется для указания разделителя между столбцами; это эквивалентно встроенной переменнойFS (разделитель полей)。

Пример 1: Использовать запятую,в качестве разделителя

awk -F, '{print $1, $2}' log.txt

Вывод:

2 this is a test
3 Do you like awk
This's a test
10 There are orange apple

Пример 2: Использовать встроенную переменную FS для установки разделителя

awk 'BEGIN { FS="," } {print $1, $2}' log.txt

Результат вывода одинаков:

2 this is a test
3 Do you like awk
This's a test
10 There are orange apple

Пример 3: Использование нескольких разделителей (пробел или запятая)

[ ,]Означает, что в качестве разделителей используются и пробелы, и запятые.

awk -F '[ ,]' '{print $1, $2, $5}' log.txt

Вывод:

2 this test
3 Do awk
This's a
10 There apple

Использование 3: Использование -v для установки переменных

-vОпция используется для передачи внешних переменных перед выполнением AWK-скрипта, обычно применяется для динамического присваивания.

Формат синтаксиса:

awk -v 变量名=值 '{动作}' 文件名

Пример 1: Определение числовой переменной и её использование в арифметике

awk -va=1 '{print $1, $1+a}' log.txt

Вывод:

2 3
3 4
This's 1
10 11

Пояснение:

  • -v a=1 означает определение переменной a=1;
  • $1+a означает первый столбец плюс переменная a.

Когда $1 не является числом (например, This's), результат пустой или выводится как есть.

Пример 2: Определение нескольких переменных одновременно

awk -va=1 -vb=s '{print $1, $1+a, $1b}' log.txt

Вывод:

2 3 2s
3 4 3s
This's 1 This'ss
10 11 10s

Пояснение:

  • -vb=s определяет строковую переменную b;
  • $1b означает конкатенацию первого столбца и переменной b (например, 2s, 10s).

Использование 4: Использование -f для вызова внешнего AWK-скрипта

Если AWK-скрипт длинный, можно записать логику в отдельный файл и загрузить его с помощью параметра -f.

Формат синтаксиса:

awk -f 脚本文件 文件名

Предположим, у нас есть файл скрипта cal.awk со следующим содержимым:

{ print $1, $1 + 10 }

Выполните команду:

awk -f cal.awk log.txt

Вывод:

2 12
3 13
This's 10
10 20

Пояснение:

  • -f cal.awk означает выполнение внешнего скрипта cal.awk;
  • AWK выполнит действия, определённые в скрипте, для каждой строки log.txt.

Операторы

Operator Описание
= += -= *= /= %= ^= **= Присваивание
?: Условное выражение C
|| Логическое ИЛИ
&& Логическое И
~ и !~ Совпадение с регулярным выражением и несовпадение с регулярным выражением
< <= > >= != == Операторы отношения
Память Конкатенация
+ - Сложение, вычитание
* / % Умножение, деление и остаток
+ - ! Унарный плюс, минус и логическое отрицание
^ *** Возведение в степень
++ -- Инкремент или декремент, как префикс или суффикс
$ Ссылка на поле
in Элемент массива

Фильтровать строки, где первый столбец больше 2

$ awk '$1>2' log.txt    #命令
#输出
3 Do you like awk
This's a test
10 There are orange,apple,mongo

Фильтровать строки, где первый столбец равен 2

$ awk '$1==2 {print $1,$3}' log.txt    #命令
#输出
2 is

Фильтровать строки, где первый столбец больше 2 и второй равен 'Are'

$ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt    #命令
#输出
3 Are you

Встроенные переменные

Переменная Описание
$n n-е поле текущей записи, поля разделены FS
$0 Полная входная запись
ARGC Количество аргументов командной строки
ARGIND Позиция текущего файла в командной строке (начиная с 0)
ARGV Массив, содержащий аргументы командной строки
CONVFMT Формат преобразования чисел (по умолчанию %.6g) ENVIRON ассоциативный массив переменных окружения
ERRNO Описание последней системной ошибки
FIELDWIDTHS Список ширин полей (разделённых пробелами)
FILENAME Имя текущего файла
FNR Номер строки считается отдельно для каждого файла
FS Разделитель полей (по умолчанию — любой пробел)
IGNORECASE Если true, сопоставление выполняется без учета регистра
NF Количество полей в записи
NR Количество уже прочитанных записей, т. е. номер строки, начиная с 1
OFMT Формат вывода для чисел (по умолчанию %.6g)
OFS Разделитель полей вывода, значение по умолчанию совпадает с разделителем полей ввода.
ORS Разделитель записей вывода (по умолчанию — символ новой строки)
RLENGTH Длина строки, сопоставленной функцией match
RS Разделитель записей (по умолчанию — символ новой строки)
RSTART Первая позиция строки, сопоставленной функцией match
SUBSEP Разделитель индексов массива (по умолчанию /034)
$ awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
log.txt    2    1         5    1
log.txt    2    2         5    2
log.txt    2    3         3    3
log.txt    2    4         4    4
$ awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
log.txt    2    1    '    1    1
log.txt    2    2    '    1    2
log.txt    2    3    '    2    3
log.txt    2    4    '    1    4
# 输出顺序号 NR, 匹配文本行号
$ awk '{print NR,FNR,$1,$2,$3}' log.txt
---------------------------------------------
1 1 2 this is
2 2 3 Are you
3 3 This's a test
4 4 10 There are
# 指定输出分割符
$  awk '{print $1,$2,$5}' OFS=" $ "  log.txt
---------------------------------------------
2 $ this $ test
3 $ Are $ awk
This's $ a $
10 $ There $

Использование регулярных выражений, сопоставление строк

# 输出第二列包含 "th",并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a

~ обозначает начало шаблона. // содержит шаблон.

# 输出包含 "re" 的行
$ awk '/re/ ' log.txt
---------------------------------------------
3 Do you like awk
10 There are orange,apple,mongo

Игнорировать регистр

$ awk 'BEGIN{IGNORECASE=1} /this/' log.txt
---------------------------------------------
2 this is a test
This's a test

Отрицание шаблона

$ awk '$2 !~ /th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
$ awk '!/th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo

Сценарий awk

В awk-скриптах нужно обратить внимание на два ключевых слова: BEGIN и END.

  • BEGIN{ Здесь размещаются операторы, которые должны быть выполнены перед обработкой }
  • END { Здесь размещаются операторы, которые должны быть выполнены после обработки всех строк }
  • { Здесь размещаются операторы, которые должны быть выполнены при обработке каждой строки }

Предположим, есть такой файл (таблица оценок студента):

$ cat score.txt
Marry   2143 78 84 77
Jack    2321 66 78 45
Tom     2122 48 77 71
Mike    2537 87 97 95
Bob     2415 40 57 62

Наш awk-скрипт выглядит следующим образом:

$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
    math = 0
    english = 0
    computer = 0
 
    printf "NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL\n"
    printf "---------------------------------------------\n"
}
#运行中
{
    math+=$3
    english+=$4
    computer+=$5
    printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
    printf "---------------------------------------------\n"
    printf "  TOTAL:%10d %8d %8d \n", math, english, computer
    printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}

Давайте посмотрим на результат выполнения:

$ awk -f cal.awk score.txt
NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL
---------------------------------------------
Marry  2143     78       84       77      239
Jack   2321     66       78       45      189
Tom    2122     48       77       71      196
Mike   2537     87       97       95      279
Bob    2415     40       57       62      159
---------------------------------------------
  TOTAL:       319      393      350
AVERAGE:     63.80    78.60    70.00

Ещё несколько примеров

Программа hello world на AWK:

BEGIN { print "Hello, world!" }

Вычислить размер файла

$ ls -l *.txt | awk '{sum+=$5} END {print sum}'
--------------------------------------------------
666581

Найти строки длиннее 80 символов в файле:

awk 'length>80' log.txt

Вывести таблицу умножения 9x9

seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'

Дополнительный материал:

Linux 命令大全Справочник команд Linux

Другие расширения