Comando awk de Linux

Linux 命令大全Referencia completa de comandos Linux

awk es un lenguaje para procesar archivos de texto y una poderosa herramienta de análisis de texto.

awk puede leer archivos de texto línea por línea y ofrece funcionalidades similares a las de un lenguaje de programación, por ejemplo:

  • Definición de variables y cálculo
  • Condiciones y bucles
  • Procesamiento de cadenas y salida formateada

Estas características hacen que AWK sea muy eficiente al procesar texto estructurado (como archivos CSV o de registro).

Se llama awk porque toma las iniciales de los apellidos de sus tres creadores: Alfred Aho, Peter Weinberger y Brian Kernighan.

Sintaxis

awk options 'pattern {action}' file

Descripción de los parámetros de opción:

  • options: son algunas opciones que se utilizan para controlarawkel comportamiento.
  • pattern: es el patrón que se utiliza para hacer coincidir los datos de entrada. Si se omite, entoncesawkoperará sobre todas las líneas.
  • {action}: es la acción que se ejecuta sobre las líneas que coinciden con el patrón. Si se omite, la acción predeterminada es imprimir la línea completa.

Descripción de los parámetros de options:

  • -F <分隔符>o--field-separator=<分隔符>: especifica el separador de campos de entrada; por defecto es un espacio. Con esta opción se puede especificar un separador de campos distinto del separador predeterminado.

  • -v <变量名>=<值>: estableceawkel valor de la variable interna. Con esta opción se pueden pasar valores externos aawklas variables del script.

  • -f <脚本文件>: especifica un archivo que contieneawkel script. Así se pueden escribir scripts más grandes en un archivoawky luego, mediante la-fopción, cargarlo.

  • -Vo--version: muestraawkla información de versión.

  • -ho--help: muestraawkla información de ayuda, incluyendo opciones y ejemplos de uso.

A continuación se presentan algunos usos comunes del comando awk:

Imprimir toda la línea:

awk '{print}' file

Imprimir una columna específica:

awk '{print $1, $2}' file

Usar un delimitador para especificar columnas:

awk -F',' '{print $1, $2}' file

Imprimir el número de líneas:

awk '{print NR, $0}' file

Imprimir las líneas cuyo número cumpla una condición:

awk '/pattern/ {print NR, $0}' file

Calcular la suma de una columna:

awk '{sum += $1} END {print sum}' file

Imprimir el valor máximo:

awk 'max < $1 {max = $1} END {print max}' file

Salida formateada:

awk '{printf "%-10s %-10s\n", $1, $2}' file

Uso básico

El contenido del archivo de texto log.txt es el siguiente:

2 this is a test
3 Do you like awk
This's a test
10 There are orange,apple,mongo

Uso 1: Sintaxis básica

awk '{ [pattern] action }' filenames

Nota:La parte del script de awk debe usar comillas simples' 'para encerrarla.

Ejemplo 1: Imprimir la 1.ª y la 4.ª columna de cada línea.

awk '{print $1, $4}' log.txt

Salida:

2 a
3 like
This's
10 orange,apple,mongo

Ejemplo 2: Salida formateada

printf puede personalizar el formato de salida (similar al printf del lenguaje C):

awk '{printf "%-8s %-10s\n", $1, $4}' log.txt

Salida:

2        a
3        like
This's
10       orange,apple,mongo

Uso 2: Especificar el delimitador -F

-FLa opción se utiliza para especificar el separador entre columnas, equivalente a la variable integradaFS (Field Separator)。

Ejemplo 1: Usar la coma,como delimitador

awk -F, '{print $1, $2}' log.txt

Salida:

2 this is a test
3 Do you like awk
This's a test
10 There are orange apple

Ejemplo 2: Usar la variable integrada FS para establecer el delimitador

awk 'BEGIN { FS="," } {print $1, $2}' log.txt

El resultado de salida es el mismo:

2 this is a test
3 Do you like awk
This's a test
10 There are orange apple

Ejemplo 3: Usar múltiples delimitadores (espacio o coma)

[ ,]Indica que tanto el espacio como la coma se utilizan como delimitadores.

awk -F '[ ,]' '{print $1, $2, $5}' log.txt

Salida:

2 this test
3 Do awk
This's a
10 There apple

Uso 3: Usar -v para establecer variables

-vLa opción se utiliza para pasar variables externas antes de ejecutar el script AWK; se usa comúnmente para asignación dinámica.

Formato de sintaxis:

awk -v 变量名=值 '{动作}' 文件名

Ejemplo 1: Definir una variable numérica y usarla en operaciones

awk -va=1 '{print $1, $1+a}' log.txt

Salida:

2 3
3 4
This's 1
10 11

Explicación:

  • -v a=1 significa definir la variable a=1;
  • $1+a significa sumar la primera columna con la variable a.

Cuando $1 no es un número (por ejemplo, This's), el resultado es vacío o se imprime tal cual.

Ejemplo 2: Definir varias variables a la vez

awk -va=1 -vb=s '{print $1, $1+a, $1b}' log.txt

Salida:

2 3 2s
3 4 3s
This's 1 This'ss
10 11 10s

Explicación:

  • -vb=s define la variable de cadena b;
  • $1b significa concatenar la primera columna con la variable b (por ejemplo, 2s, 10s).

Uso 4: Usar -f para invocar un script AWK externo

Cuando el script AWK es largo, se puede escribir la lógica en un archivo separado y cargarlo mediante el parámetro -f.

Formato de sintaxis:

awk -f 脚本文件 文件名

Supongamos que tenemos un archivo de script cal.awk con el siguiente contenido:

{ print $1, $1 + 10 }

Ejecutar el comando:

awk -f cal.awk log.txt

Salida:

2 12
3 13
This's 10
10 20

Explicación:

  • -f cal.awk significa ejecutar el script externo cal.awk;
  • AWK ejecutará las acciones definidas en el script para cada línea de log.txt.

Operadores

Operador Descripción
= += -= *= /= %= ^= **= Asignación
?: Expresión condicional de C
|| OR lógico
&& AND lógico
~ y !~ Coincidir y no coincidir con una expresión regular
< <= > >= != == Operadores relacionales
Espacio Concatenación
+ - Suma, resta
* / % Multiplicación, división y módulo
+ - ! Más, menos y negación lógica unarios
^ *** Potenciación
++ -- Incremento o decremento, como prefijo o sufijo
$ Referencia a campos
in Miembros de un array

Filtrar las líneas donde la primera columna sea mayor que 2.

$ awk '$1>2' log.txt    #命令
#输出
3 Do you like awk
This's a test
10 There are orange,apple,mongo

Filtrar las líneas donde la primera columna sea igual a 2.

$ awk '$1==2 {print $1,$3}' log.txt    #命令
#输出
2 is

Filtrar las líneas donde la primera columna sea mayor que 2 y la segunda columna sea igual a 'Are'.

$ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt    #命令
#输出
3 Are you

Variables integradas

Variable Descripción
$n El n-ésimo campo del registro actual; los campos están separados por FS.
$0 El registro de entrada completo.
ARGC El número de argumentos de la línea de comandos.
ARGIND La posición del archivo actual en la línea de comandos (empezando desde 0).
ARGV El array que contiene los argumentos de la línea de comandos.
CONVFMT Formato de conversión numérica (valor predeterminado %.6g). ENVIRON es un array asociativo de variables de entorno.
ERRNO Descripción del último error del sistema.
FIELDWIDTHS Lista de anchos de campo (separados por espacios).
FILENAME Nombre del archivo actual.
FNR Número de línea contado por separado para cada archivo.
FS Separador de campos (por defecto, cualquier espacio en blanco).
IGNORECASE Si es verdadero, se realiza una coincidencia ignorando mayúsculas y minúsculas.
NF El número de campos de un registro.
NR El número de registros leídos, es decir, el número de línea, comenzando desde 1.
OFMT Formato de salida de números (valor predeterminado %.6g).
OFS Separador de campos de salida; por defecto coincide con el separador de campos de entrada.
ORS Separador de registros de salida (por defecto es un salto de línea).
RLENGTH Longitud de la cadena coincidente mediante la función match.
RS Separador de registros (por defecto es un salto de línea).
RSTART Primera posición de la cadena coincidente mediante la función match.
SUBSEP Separador de subíndices de array (valor predeterminado /034).
$ awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
log.txt    2    1         5    1
log.txt    2    2         5    2
log.txt    2    3         3    3
log.txt    2    4         4    4
$ awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
log.txt    2    1    '    1    1
log.txt    2    2    '    1    2
log.txt    2    3    '    2    3
log.txt    2    4    '    1    4
# 输出顺序号 NR, 匹配文本行号
$ awk '{print NR,FNR,$1,$2,$3}' log.txt
---------------------------------------------
1 1 2 this is
2 2 3 Are you
3 3 This's a test
4 4 10 There are
# 指定输出分割符
$  awk '{print $1,$2,$5}' OFS=" $ "  log.txt
---------------------------------------------
2 $ this $ test
3 $ Are $ awk
This's $ a $
10 $ There $

Uso de expresiones regulares, coincidencia de cadenas

# 输出第二列包含 "th",并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a

~ indica el inicio del patrón. El patrón está dentro de //.

# 输出包含 "re" 的行
$ awk '/re/ ' log.txt
---------------------------------------------
3 Do you like awk
10 There are orange,apple,mongo

Ignorar mayúsculas y minúsculas

$ awk 'BEGIN{IGNORECASE=1} /this/' log.txt
---------------------------------------------
2 this is a test
This's a test

Negación del patrón

$ awk '$2 !~ /th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
$ awk '!/th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo

Script de awk

Respecto a los scripts de awk, debemos prestar atención a dos palabras clave: BEGIN y END.

  • BEGIN{ aquí se colocan las sentencias que se ejecutan antes del procesamiento }
  • END { aquí se colocan las sentencias que se ejecutan después de procesar todas las líneas }
  • { aquí se colocan las sentencias que se ejecutan al procesar cada línea }

Supongamos que tenemos un archivo como este (tabla de calificaciones de estudiantes):

$ cat score.txt
Marry   2143 78 84 77
Jack    2321 66 78 45
Tom     2122 48 77 71
Mike    2537 87 97 95
Bob     2415 40 57 62

Nuestro script de awk es el siguiente:

$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
    math = 0
    english = 0
    computer = 0
 
    printf "NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL\n"
    printf "---------------------------------------------\n"
}
#运行中
{
    math+=$3
    english+=$4
    computer+=$5
    printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
    printf "---------------------------------------------\n"
    printf "  TOTAL:%10d %8d %8d \n", math, english, computer
    printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}

Veamos el resultado de la ejecución:

$ awk -f cal.awk score.txt
NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL
---------------------------------------------
Marry  2143     78       84       77      239
Jack   2321     66       78       45      189
Tom    2122     48       77       71      196
Mike   2537     87       97       95      279
Bob    2415     40       57       62      159
---------------------------------------------
  TOTAL:       319      393      350
AVERAGE:     63.80    78.60    70.00

Algunos ejemplos adicionales

El programa 'hello world' de AWK es:

BEGIN { print "Hello, world!" }

Calcular el tamaño de un archivo.

$ ls -l *.txt | awk '{sum+=$5} END {print sum}'
--------------------------------------------------
666581

Encontrar en un archivo las líneas con una longitud mayor que 80:

awk 'length>80' log.txt

Imprimir la tabla de multiplicar del 9×9.

seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'

Más contenido:

Linux 命令大全Colección completa de comandos de Linux

Otras extensiones