Comando awk de Linux
Referencia completa de comandos Linux
awk es un lenguaje para procesar archivos de texto y una poderosa herramienta de análisis de texto.
awk puede leer archivos de texto línea por línea y ofrece funcionalidades similares a las de un lenguaje de programación, por ejemplo:
- Definición de variables y cálculo
- Condiciones y bucles
- Procesamiento de cadenas y salida formateada
Estas características hacen que AWK sea muy eficiente al procesar texto estructurado (como archivos CSV o de registro).
Se llama awk porque toma las iniciales de los apellidos de sus tres creadores: Alfred Aho, Peter Weinberger y Brian Kernighan.
Sintaxis
awk options 'pattern {action}' file
Descripción de los parámetros de opción:
options: son algunas opciones que se utilizan para controlarawkel comportamiento.pattern: es el patrón que se utiliza para hacer coincidir los datos de entrada. Si se omite, entoncesawkoperará sobre todas las líneas.{action}: es la acción que se ejecuta sobre las líneas que coinciden con el patrón. Si se omite, la acción predeterminada es imprimir la línea completa.
Descripción de los parámetros de options:
-F <分隔符>o--field-separator=<分隔符>: especifica el separador de campos de entrada; por defecto es un espacio. Con esta opción se puede especificar un separador de campos distinto del separador predeterminado.-v <变量名>=<值>: estableceawkel valor de la variable interna. Con esta opción se pueden pasar valores externos aawklas variables del script.-f <脚本文件>: especifica un archivo que contieneawkel script. Así se pueden escribir scripts más grandes en un archivoawky luego, mediante la-fopción, cargarlo.-Vo--version: muestraawkla información de versión.-ho--help: muestraawkla información de ayuda, incluyendo opciones y ejemplos de uso.
A continuación se presentan algunos usos comunes del comando awk:
Imprimir toda la línea:
awk '{print}' fileImprimir una columna específica:
awk '{print $1, $2}' file
Usar un delimitador para especificar columnas:
awk -F',' '{print $1, $2}' file
Imprimir el número de líneas:
awk '{print NR, $0}' file
Imprimir las líneas cuyo número cumpla una condición:
awk '/pattern/ {print NR, $0}' file
Calcular la suma de una columna:
awk '{sum += $1} END {print sum}' file
Imprimir el valor máximo:
awk 'max < $1 {max = $1} END {print max}' fileSalida formateada:
awk '{printf "%-10s %-10s\n", $1, $2}' file
Uso básico
El contenido del archivo de texto log.txt es el siguiente:
2 this is a test 3 Do you like awk This's a test 10 There are orange,apple,mongo
Uso 1: Sintaxis básica
awk '{ [pattern] action }' filenames
Nota:La parte del script de awk debe usar comillas simples' 'para encerrarla.
Ejemplo 1: Imprimir la 1.ª y la 4.ª columna de cada línea.
awk '{print $1, $4}' log.txt
Salida:
2 a 3 like This's 10 orange,apple,mongo
Ejemplo 2: Salida formateada
printf puede personalizar el formato de salida (similar al printf del lenguaje C):
awk '{printf "%-8s %-10s\n", $1, $4}' log.txt
Salida:
2 a 3 like This's 10 orange,apple,mongo
Uso 2: Especificar el delimitador -F
-FLa opción se utiliza para especificar el separador entre columnas, equivalente a la variable integradaFS (Field Separator)。
Ejemplo 1: Usar la coma,como delimitador
awk -F, '{print $1, $2}' log.txt
Salida:
2 this is a test 3 Do you like awk This's a test 10 There are orange apple
Ejemplo 2: Usar la variable integrada FS para establecer el delimitador
awk 'BEGIN { FS="," } {print $1, $2}' log.txt
El resultado de salida es el mismo:
2 this is a test 3 Do you like awk This's a test 10 There are orange apple
Ejemplo 3: Usar múltiples delimitadores (espacio o coma)
[ ,]Indica que tanto el espacio como la coma se utilizan como delimitadores.
awk -F '[ ,]' '{print $1, $2, $5}' log.txt
Salida:
2 this test 3 Do awk This's a 10 There apple
Uso 3: Usar -v para establecer variables
-vLa opción se utiliza para pasar variables externas antes de ejecutar el script AWK; se usa comúnmente para asignación dinámica.
Formato de sintaxis:
awk -v 变量名=值 '{动作}' 文件名
Ejemplo 1: Definir una variable numérica y usarla en operaciones
awk -va=1 '{print $1, $1+a}' log.txt
Salida:
2 3 3 4 This's 1 10 11
Explicación:
- -v a=1 significa definir la variable a=1;
- $1+a significa sumar la primera columna con la variable a.
Cuando $1 no es un número (por ejemplo, This's), el resultado es vacío o se imprime tal cual.
Ejemplo 2: Definir varias variables a la vez
awk -va=1 -vb=s '{print $1, $1+a, $1b}' log.txt
Salida:
2 3 2s 3 4 3s This's 1 This'ss 10 11 10s
Explicación:
- -vb=s define la variable de cadena b;
- $1b significa concatenar la primera columna con la variable b (por ejemplo, 2s, 10s).
Uso 4: Usar -f para invocar un script AWK externo
Cuando el script AWK es largo, se puede escribir la lógica en un archivo separado y cargarlo mediante el parámetro -f.
Formato de sintaxis:
awk -f 脚本文件 文件名
Supongamos que tenemos un archivo de script cal.awk con el siguiente contenido:
{ print $1, $1 + 10 }
Ejecutar el comando:
awk -f cal.awk log.txt
Salida:
2 12 3 13 This's 10 10 20
Explicación:
- -f cal.awk significa ejecutar el script externo cal.awk;
- AWK ejecutará las acciones definidas en el script para cada línea de log.txt.
Operadores
| Operador | Descripción |
|---|---|
| = += -= *= /= %= ^= **= | Asignación |
| ?: | Expresión condicional de C |
| || | OR lógico |
| && | AND lógico |
| ~ y !~ | Coincidir y no coincidir con una expresión regular |
| < <= > >= != == | Operadores relacionales |
| Espacio | Concatenación |
| + - | Suma, resta |
| * / % | Multiplicación, división y módulo |
| + - ! | Más, menos y negación lógica unarios |
| ^ *** | Potenciación |
| ++ -- | Incremento o decremento, como prefijo o sufijo |
| $ | Referencia a campos |
| in | Miembros de un array |
Filtrar las líneas donde la primera columna sea mayor que 2.
$ awk '$1>2' log.txt #命令 #输出 3 Do you like awk This's a test 10 There are orange,apple,mongo
Filtrar las líneas donde la primera columna sea igual a 2.
$ awk '$1==2 {print $1,$3}' log.txt #命令
#输出
2 is
Filtrar las líneas donde la primera columna sea mayor que 2 y la segunda columna sea igual a 'Are'.
$ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt #命令
#输出
3 Are you
Variables integradas
| Variable | Descripción |
|---|---|
| $n | El n-ésimo campo del registro actual; los campos están separados por FS. |
| $0 | El registro de entrada completo. |
| ARGC | El número de argumentos de la línea de comandos. |
| ARGIND | La posición del archivo actual en la línea de comandos (empezando desde 0). |
| ARGV | El array que contiene los argumentos de la línea de comandos. |
| CONVFMT | Formato de conversión numérica (valor predeterminado %.6g). ENVIRON es un array asociativo de variables de entorno. |
| ERRNO | Descripción del último error del sistema. |
| FIELDWIDTHS | Lista de anchos de campo (separados por espacios). |
| FILENAME | Nombre del archivo actual. |
| FNR | Número de línea contado por separado para cada archivo. |
| FS | Separador de campos (por defecto, cualquier espacio en blanco). |
| IGNORECASE | Si es verdadero, se realiza una coincidencia ignorando mayúsculas y minúsculas. |
| NF | El número de campos de un registro. |
| NR | El número de registros leídos, es decir, el número de línea, comenzando desde 1. |
| OFMT | Formato de salida de números (valor predeterminado %.6g). |
| OFS | Separador de campos de salida; por defecto coincide con el separador de campos de entrada. |
| ORS | Separador de registros de salida (por defecto es un salto de línea). |
| RLENGTH | Longitud de la cadena coincidente mediante la función match. |
| RS | Separador de registros (por defecto es un salto de línea). |
| RSTART | Primera posición de la cadena coincidente mediante la función match. |
| SUBSEP | Separador de subíndices de array (valor predeterminado /034). |
$ awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' log.txt
FILENAME ARGC FNR FS NF NR OFS ORS RS
---------------------------------------------
log.txt 2 1 5 1
log.txt 2 2 5 2
log.txt 2 3 3 3
log.txt 2 4 4 4
$ awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' log.txt
FILENAME ARGC FNR FS NF NR OFS ORS RS
---------------------------------------------
log.txt 2 1 ' 1 1
log.txt 2 2 ' 1 2
log.txt 2 3 ' 2 3
log.txt 2 4 ' 1 4
# 输出顺序号 NR, 匹配文本行号
$ awk '{print NR,FNR,$1,$2,$3}' log.txt
---------------------------------------------
1 1 2 this is
2 2 3 Are you
3 3 This's a test
4 4 10 There are
# 指定输出分割符
$ awk '{print $1,$2,$5}' OFS=" $ " log.txt
---------------------------------------------
2 $ this $ test
3 $ Are $ awk
This's $ a $
10 $ There $
Uso de expresiones regulares, coincidencia de cadenas
# 输出第二列包含 "th",并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a
~ indica el inicio del patrón. El patrón está dentro de //.
# 输出包含 "re" 的行 $ awk '/re/ ' log.txt --------------------------------------------- 3 Do you like awk 10 There are orange,apple,mongo
Ignorar mayúsculas y minúsculas
$ awk 'BEGIN{IGNORECASE=1} /this/' log.txt
---------------------------------------------
2 this is a test
This's a test
Negación del patrón
$ awk '$2 !~ /th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
$ awk '!/th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
Script de awk
Respecto a los scripts de awk, debemos prestar atención a dos palabras clave: BEGIN y END.
- BEGIN{ aquí se colocan las sentencias que se ejecutan antes del procesamiento }
- END { aquí se colocan las sentencias que se ejecutan después de procesar todas las líneas }
- { aquí se colocan las sentencias que se ejecutan al procesar cada línea }
Supongamos que tenemos un archivo como este (tabla de calificaciones de estudiantes):
$ cat score.txt Marry 2143 78 84 77 Jack 2321 66 78 45 Tom 2122 48 77 71 Mike 2537 87 97 95 Bob 2415 40 57 62
Nuestro script de awk es el siguiente:
$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
math = 0
english = 0
computer = 0
printf "NAME NO. MATH ENGLISH COMPUTER TOTAL\n"
printf "---------------------------------------------\n"
}
#运行中
{
math+=$3
english+=$4
computer+=$5
printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
printf "---------------------------------------------\n"
printf " TOTAL:%10d %8d %8d \n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}
Veamos el resultado de la ejecución:
$ awk -f cal.awk score.txt NAME NO. MATH ENGLISH COMPUTER TOTAL --------------------------------------------- Marry 2143 78 84 77 239 Jack 2321 66 78 45 189 Tom 2122 48 77 71 196 Mike 2537 87 97 95 279 Bob 2415 40 57 62 159 --------------------------------------------- TOTAL: 319 393 350 AVERAGE: 63.80 78.60 70.00
Algunos ejemplos adicionales
El programa 'hello world' de AWK es:
BEGIN { print "Hello, world!" }
Calcular el tamaño de un archivo.
$ ls -l *.txt | awk '{sum+=$5} END {print sum}'
--------------------------------------------------
666581
Encontrar en un archivo las líneas con una longitud mayor que 80:
awk 'length>80' log.txt
Imprimir la tabla de multiplicar del 9×9.
seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'
Otras extensionesMás contenido: