Команда awk в Linux
awk — это язык для обработки текстовых файлов и мощный инструмент анализа текста.
awk читает текстовые файлы построчно и предоставляет возможности, подобные языкам программирования, такие как:
- Определение переменных и вычисления
- Условные операторы и циклы
- Обработка строк и форматированный вывод
Эти возможности делают AWK очень эффективным при обработке структурированного текста (например, CSV, лог-файлов).
Он называется awk, потому что берёт первые буквы фамилий трёх своих создателей: Альфреда Ахо, Питера Вайнбергера и Брайана Кернигана.
Синтаксис
awk options 'pattern {action}' file
Описание параметра опции:
options: — это некоторые опции, используемые для управленияawkповедением.pattern: — это шаблон, используемый для сопоставления входных данных. Если его опустить, тоawkбудет работать со всеми строками.{action}: — это действие, выполняемое для строк, соответствующих шаблону. Если опущено, действие по умолчанию — вывести всю строку.
Описание параметров опций:
-F <分隔符>или--field-separator=<分隔符>: задаёт разделитель для входных полей, по умолчанию — пробел. Используйте эту опцию, чтобы задать разделитель полей, отличный от стандартного.-v <变量名>=<值>: Задатьawkзначения внутренних переменных. Эта опция может использоваться для передачи внешних значений вawkпеременные в скрипте.-f <脚本文件>: укажите файл, содержащийawkскрипт. Это позволяет писать более крупные скрипты в файлеawkскрипт, а затем используйте-fопцию для его загрузки.-Vили--version: Показатьawkинформацию о версии.-hили--help: Показатьawkсправочную информацию, включая параметры и примеры использования.
Ниже приведены некоторые распространённые способы использования команды awk:
Вывести всю строку:
awk '{print}' fileВывести определённый столбец:
awk '{print $1, $2}' file
Указать столбцы с разделителем:
awk -F',' '{print $1, $2}' file
Вывести количество строк:
awk '{print NR, $0}' file
Вывести строки, удовлетворяющие условию по номеру строки:
awk '/pattern/ {print NR, $0}' file
Вычислить сумму столбца:
awk '{sum += $1} END {print sum}' file
Вывести максимальное значение:
awk 'max < $1 {max = $1} END {print max}' fileФорматированный вывод:
awk '{printf "%-10s %-10s\n", $1, $2}' file
Базовое использование
Содержимое log.txt следующее:
2 this is a test 3 Do you like awk This's a test 10 There are orange,apple,mongo
Использование 1: Базовый синтаксис
awk '{ [pattern] action }' filenames
Примечание:Часть скрипта awk должна быть обёрнута с использованием одинарных кавычек' 'для обёртки.
Пример 1: Вывод 1-го и 4-го столбцов каждой строки
awk '{print $1, $4}' log.txt
Вывод:
2 a 3 like This's 10 orange,apple,mongo
Пример 2: Форматированный вывод
printf может настраивать формат вывода (аналогично printf в языке C):
awk '{printf "%-8s %-10s\n", $1, $4}' log.txt
Вывод:
2 a 3 like This's 10 orange,apple,mongo
Использование 2: Указать разделитель -F
-FОпция используется для указания разделителя между столбцами; это эквивалентно встроенной переменнойFS (разделитель полей)。
Пример 1: Использовать запятую,в качестве разделителя
awk -F, '{print $1, $2}' log.txt
Вывод:
2 this is a test 3 Do you like awk This's a test 10 There are orange apple
Пример 2: Использовать встроенную переменную FS для установки разделителя
awk 'BEGIN { FS="," } {print $1, $2}' log.txt
Результат вывода одинаков:
2 this is a test 3 Do you like awk This's a test 10 There are orange apple
Пример 3: Использование нескольких разделителей (пробел или запятая)
[ ,]Означает, что в качестве разделителей используются и пробелы, и запятые.
awk -F '[ ,]' '{print $1, $2, $5}' log.txt
Вывод:
2 this test 3 Do awk This's a 10 There apple
Использование 3: Использование -v для установки переменных
-vОпция используется для передачи внешних переменных перед выполнением AWK-скрипта, обычно применяется для динамического присваивания.
Формат синтаксиса:
awk -v 变量名=值 '{动作}' 文件名
Пример 1: Определение числовой переменной и её использование в арифметике
awk -va=1 '{print $1, $1+a}' log.txt
Вывод:
2 3 3 4 This's 1 10 11
Пояснение:
- -v a=1 означает определение переменной a=1;
- $1+a означает первый столбец плюс переменная a.
Когда $1 не является числом (например, This's), результат пустой или выводится как есть.
Пример 2: Определение нескольких переменных одновременно
awk -va=1 -vb=s '{print $1, $1+a, $1b}' log.txt
Вывод:
2 3 2s 3 4 3s This's 1 This'ss 10 11 10s
Пояснение:
- -vb=s определяет строковую переменную b;
- $1b означает конкатенацию первого столбца и переменной b (например, 2s, 10s).
Использование 4: Использование -f для вызова внешнего AWK-скрипта
Если AWK-скрипт длинный, можно записать логику в отдельный файл и загрузить его с помощью параметра -f.
Формат синтаксиса:
awk -f 脚本文件 文件名
Предположим, у нас есть файл скрипта cal.awk со следующим содержимым:
{ print $1, $1 + 10 }
Выполните команду:
awk -f cal.awk log.txt
Вывод:
2 12 3 13 This's 10 10 20
Пояснение:
- -f cal.awk означает выполнение внешнего скрипта cal.awk;
- AWK выполнит действия, определённые в скрипте, для каждой строки log.txt.
Операторы
| Operator | Описание |
|---|---|
| = += -= *= /= %= ^= **= | Присваивание |
| ?: | Условное выражение C |
| || | Логическое ИЛИ |
| && | Логическое И |
| ~ и !~ | Совпадение с регулярным выражением и несовпадение с регулярным выражением |
| < <= > >= != == | Операторы отношения |
| Память | Конкатенация |
| + - | Сложение, вычитание |
| * / % | Умножение, деление и остаток |
| + - ! | Унарный плюс, минус и логическое отрицание |
| ^ *** | Возведение в степень |
| ++ -- | Инкремент или декремент, как префикс или суффикс |
| $ | Ссылка на поле |
| in | Элемент массива |
Фильтровать строки, где первый столбец больше 2
$ awk '$1>2' log.txt #命令 #输出 3 Do you like awk This's a test 10 There are orange,apple,mongo
Фильтровать строки, где первый столбец равен 2
$ awk '$1==2 {print $1,$3}' log.txt #命令
#输出
2 is
Фильтровать строки, где первый столбец больше 2 и второй равен 'Are'
$ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt #命令
#输出
3 Are you
Встроенные переменные
| Переменная | Описание |
|---|---|
| $n | n-е поле текущей записи, поля разделены FS |
| $0 | Полная входная запись |
| ARGC | Количество аргументов командной строки |
| ARGIND | Позиция текущего файла в командной строке (начиная с 0) |
| ARGV | Массив, содержащий аргументы командной строки |
| CONVFMT | Формат преобразования чисел (по умолчанию %.6g) ENVIRON ассоциативный массив переменных окружения |
| ERRNO | Описание последней системной ошибки |
| FIELDWIDTHS | Список ширин полей (разделённых пробелами) |
| FILENAME | Имя текущего файла |
| FNR | Номер строки считается отдельно для каждого файла |
| FS | Разделитель полей (по умолчанию — любой пробел) |
| IGNORECASE | Если true, сопоставление выполняется без учета регистра |
| NF | Количество полей в записи |
| NR | Количество уже прочитанных записей, т. е. номер строки, начиная с 1 |
| OFMT | Формат вывода для чисел (по умолчанию %.6g) |
| OFS | Разделитель полей вывода, значение по умолчанию совпадает с разделителем полей ввода. |
| ORS | Разделитель записей вывода (по умолчанию — символ новой строки) |
| RLENGTH | Длина строки, сопоставленной функцией match |
| RS | Разделитель записей (по умолчанию — символ новой строки) |
| RSTART | Первая позиция строки, сопоставленной функцией match |
| SUBSEP | Разделитель индексов массива (по умолчанию /034) |
$ awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' log.txt
FILENAME ARGC FNR FS NF NR OFS ORS RS
---------------------------------------------
log.txt 2 1 5 1
log.txt 2 2 5 2
log.txt 2 3 3 3
log.txt 2 4 4 4
$ awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' log.txt
FILENAME ARGC FNR FS NF NR OFS ORS RS
---------------------------------------------
log.txt 2 1 ' 1 1
log.txt 2 2 ' 1 2
log.txt 2 3 ' 2 3
log.txt 2 4 ' 1 4
# 输出顺序号 NR, 匹配文本行号
$ awk '{print NR,FNR,$1,$2,$3}' log.txt
---------------------------------------------
1 1 2 this is
2 2 3 Are you
3 3 This's a test
4 4 10 There are
# 指定输出分割符
$ awk '{print $1,$2,$5}' OFS=" $ " log.txt
---------------------------------------------
2 $ this $ test
3 $ Are $ awk
This's $ a $
10 $ There $
Использование регулярных выражений, сопоставление строк
# 输出第二列包含 "th",并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a
~ обозначает начало шаблона. // содержит шаблон.
# 输出包含 "re" 的行 $ awk '/re/ ' log.txt --------------------------------------------- 3 Do you like awk 10 There are orange,apple,mongo
Игнорировать регистр
$ awk 'BEGIN{IGNORECASE=1} /this/' log.txt
---------------------------------------------
2 this is a test
This's a test
Отрицание шаблона
$ awk '$2 !~ /th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
$ awk '!/th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
Сценарий awk
В awk-скриптах нужно обратить внимание на два ключевых слова: BEGIN и END.
- BEGIN{ Здесь размещаются операторы, которые должны быть выполнены перед обработкой }
- END { Здесь размещаются операторы, которые должны быть выполнены после обработки всех строк }
- { Здесь размещаются операторы, которые должны быть выполнены при обработке каждой строки }
Предположим, есть такой файл (таблица оценок студента):
$ cat score.txt Marry 2143 78 84 77 Jack 2321 66 78 45 Tom 2122 48 77 71 Mike 2537 87 97 95 Bob 2415 40 57 62
Наш awk-скрипт выглядит следующим образом:
$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
math = 0
english = 0
computer = 0
printf "NAME NO. MATH ENGLISH COMPUTER TOTAL\n"
printf "---------------------------------------------\n"
}
#运行中
{
math+=$3
english+=$4
computer+=$5
printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
printf "---------------------------------------------\n"
printf " TOTAL:%10d %8d %8d \n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}
Давайте посмотрим на результат выполнения:
$ awk -f cal.awk score.txt NAME NO. MATH ENGLISH COMPUTER TOTAL --------------------------------------------- Marry 2143 78 84 77 239 Jack 2321 66 78 45 189 Tom 2122 48 77 71 196 Mike 2537 87 97 95 279 Bob 2415 40 57 62 159 --------------------------------------------- TOTAL: 319 393 350 AVERAGE: 63.80 78.60 70.00
Ещё несколько примеров
Программа hello world на AWK:
BEGIN { print "Hello, world!" }
Вычислить размер файла
$ ls -l *.txt | awk '{sum+=$5} END {print sum}'
--------------------------------------------------
666581
Найти строки длиннее 80 символов в файле:
awk 'length>80' log.txt
Вывести таблицу умножения 9x9
seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'
Другие расширенияДополнительный материал:
Справочник команд Linux