Commande awk Linux

Linux 命令大全Référence des commandes Linux

awk est un langage de traitement de fichiers texte et un puissant outil d'analyse de texte.

awk lit les fichiers texte ligne par ligne et fournit des fonctionnalités similaires à un langage de programmation, telles que :

  • Définition et calcul de variables
  • Jugements conditionnels et boucles
  • Traitement de chaînes et sortie formatée

Ces fonctionnalités rendent AWK très efficace pour traiter du texte structuré (comme les fichiers CSV, les fichiers journaux).

Il est appelé awk car il prend les premières lettres des noms de famille de ses trois fondateurs : Alfred Aho, Peter Weinberger et Brian Kernighan.

Syntaxe

awk options 'pattern {action}' file

Description du paramètre d'option :

  • options: sont des options utilisées pour contrôlerawkcomportement.
  • pattern: est un motif utilisé pour faire correspondre les données d'entrée. S'il est omis, alorsawkil s'appliquera à toutes les lignes.
  • {action}: est l'action à exécuter sur les lignes qui correspondent au motif. S'il est omis, l'action par défaut est d'afficher la ligne entière.

Description des paramètres d'options :

  • -F <分隔符>ou--field-separator=<分隔符>: spécifie le délimiteur des champs d'entrée, la valeur par défaut est l'espace. Utilisez cette option pour spécifier un séparateur de champs différent de celui par défaut.

  • -v <变量名>=<值>: Définirawkvaleurs de variables internes. Cette option peut être utilisée pour transmettre des valeurs externes àawkvariables dans le script.

  • -f <脚本文件>: Spécifiez un fichier contenantawkscript. Cela vous permet d'écrire des scripts plus volumineux dans un fichierawkscript, puis utilisez l'-foption pour le charger.

  • -Vou--version: Afficherawkinformations de version.

  • -hou--help: Afficherawkinformations d'aide, y compris les options et des exemples d'utilisation.

Voici quelques utilisations courantes de la commande awk :

Afficher la ligne entière :

awk '{print}' file

Afficher une colonne spécifique :

awk '{print $1, $2}' file

Spécifier des colonnes avec un délimiteur :

awk -F',' '{print $1, $2}' file

Afficher le nombre de lignes :

awk '{print NR, $0}' file

Afficher les lignes qui respectent une condition de numéro de ligne :

awk '/pattern/ {print NR, $0}' file

Calculer la somme d'une colonne :

awk '{sum += $1} END {print sum}' file

Afficher la valeur maximale :

awk 'max < $1 {max = $1} END {print max}' file

Sortie formatée :

awk '{printf "%-10s %-10s\n", $1, $2}' file

Utilisation de base

Le contenu de log.txt est le suivant :

2 this is a test
3 Do you like awk
This's a test
10 There are orange,apple,mongo

Utilisation 1 : Syntaxe de base

awk '{ [pattern] action }' filenames

Remarque :La partie script awk doit être entourée à l'aide de guillemets simples' 'pour l'encapsuler.

Exemple 1 : Afficher les 1re et 4e colonnes de chaque ligne

awk '{print $1, $4}' log.txt

Sortie :

2 a
3 like
This's
10 orange,apple,mongo

Exemple 2 : Sortie formatée

printf peut personnaliser le format de sortie (semblable à printf en langage C) :

awk '{printf "%-8s %-10s\n", $1, $4}' log.txt

Sortie :

2        a
3        like
This's
10       orange,apple,mongo

Utilisation 2 : Spécifier le délimiteur -F

-FL'option sert à spécifier le délimiteur entre les colonnes, équivalente à la variable intégréeFS (séparateur de champs)。

Exemple 1 : Utiliser la virgule,comme délimiteur

awk -F, '{print $1, $2}' log.txt

Sortie :

2 this is a test
3 Do you like awk
This's a test
10 There are orange apple

Exemple 2 : Utiliser la variable intégrée FS pour définir le délimiteur

awk 'BEGIN { FS="," } {print $1, $2}' log.txt

Le résultat de sortie est le même :

2 this is a test
3 Do you like awk
This's a test
10 There are orange apple

Exemple 3 : Utiliser plusieurs délimiteurs (espace ou virgule)

[ ,]Signifie que les espaces et les virgules sont tous deux utilisés comme délimiteurs.

awk -F '[ ,]' '{print $1, $2, $5}' log.txt

Sortie :

2 this test
3 Do awk
This's a
10 There apple

Utilisation 3 : Utiliser -v pour définir des variables

-vL'option est utilisée pour passer des variables externes avant d'exécuter le script AWK, couramment utilisée pour une affectation dynamique.

Format de syntaxe:

awk -v 变量名=值 '{动作}' 文件名

Exemple 1 : Définir une variable numérique et l'utiliser dans des calculs arithmétiques

awk -va=1 '{print $1, $1+a}' log.txt

Sortie :

2 3
3 4
This's 1
10 11

Explication :

  • -v a=1 signifie définir la variable a=1 ;
  • $1+a signifie la première colonne plus la variable a.

Lorsque $1 n'est pas un nombre (comme This's), le résultat est vide ou affiché tel quel.

Exemple 2 : Définir plusieurs variables en même temps

awk -va=1 -vb=s '{print $1, $1+a, $1b}' log.txt

Sortie :

2 3 2s
3 4 3s
This's 1 This'ss
10 11 10s

Explication :

  • -vb=s définit une variable chaîne b ;
  • $1b signifie concaténer la première colonne et la variable b (par exemple, 2s, 10s).

Utilisation 4 : Utiliser -f pour appeler un script AWK externe

Lorsque le script AWK est long, vous pouvez écrire la logique dans un fichier séparé et le charger via le paramètre -f.

Format de syntaxe:

awk -f 脚本文件 文件名

Supposons que nous ayons un fichier de script cal.awk avec le contenu suivant :

{ print $1, $1 + 10 }

Exécutez la commande :

awk -f cal.awk log.txt

Sortie :

2 12
3 13
This's 10
10 20

Explication :

  • -f cal.awk signifie exécuter le script externe cal.awk ;
  • AWK exécutera les actions définies dans le script pour chaque ligne de log.txt.

Opérateurs

Operator Description
= += -= *= /= %= ^= **= Affectation
?: Expression conditionnelle C
|| OU logique
&& ET logique
~ et !~ Correspondance à une expression régulière et non-correspondance à une expression régulière
< <= > >= != == Opérateurs relationnels
Espace Concaténation
+ - Addition, soustraction
* / % Multiplication, division et reste
+ - ! Plus unaire, moins unaire et négation logique
^ *** Exponentiation
++ -- Incrément ou décrément, comme préfixe ou suffixe
$ Référence de champ
in Membre de tableau

Filtrer les lignes où la première colonne est supérieure à 2

$ awk '$1>2' log.txt    #命令
#输出
3 Do you like awk
This's a test
10 There are orange,apple,mongo

Filtrer les lignes où la première colonne est égale à 2

$ awk '$1==2 {print $1,$3}' log.txt    #命令
#输出
2 is

Filtrer les lignes où la première colonne est supérieure à 2 et la deuxième colonne est égale à 'Are'

$ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt    #命令
#输出
3 Are you

Variables intégrées

Variable Description
$n Le n-ième champ de l'enregistrement courant, les champs étant séparés par FS
$0 L'enregistrement d'entrée complet
ARGC Le nombre d'arguments de la ligne de commande
ARGIND La position du fichier courant dans la ligne de commande (à partir de 0)
ARGV Tableau contenant les arguments de la ligne de commande
CONVFMT Format de conversion numérique (par défaut %.6g) ENVIRON tableau associatif des variables d'environnement
ERRNO Description de la dernière erreur système
FIELDWIDTHS Liste des largeurs de champs (séparées par des espaces)
FILENAME Nom du fichier courant
FNR Numéro de ligne compté séparément pour chaque fichier
FS Séparateur de champs (par défaut, tout espace)
IGNORECASE Si vrai, une correspondance insensible à la casse est effectuée
NF Le nombre de champs dans un enregistrement
NR Le nombre d'enregistrements déjà lus, c.-à-d. le numéro de ligne, en commençant par 1
OFMT Format de sortie pour les nombres (par défaut %.6g)
OFS Séparateur de champs de sortie, la valeur par défaut est la même que le séparateur de champs d'entrée.
ORS Séparateur d'enregistrement de sortie (la valeur par défaut est un saut de ligne)
RLENGTH La longueur de la chaîne mise en correspondance par la fonction match
RS Séparateur d'enregistrement (la valeur par défaut est un saut de ligne)
RSTART La première position de la chaîne mise en correspondance par la fonction match
SUBSEP Séparateur d'indice (la valeur par défaut est /034)
$ awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
log.txt    2    1         5    1
log.txt    2    2         5    2
log.txt    2    3         3    3
log.txt    2    4         4    4
$ awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
log.txt    2    1    '    1    1
log.txt    2    2    '    1    2
log.txt    2    3    '    2    3
log.txt    2    4    '    1    4
# 输出顺序号 NR, 匹配文本行号
$ awk '{print NR,FNR,$1,$2,$3}' log.txt
---------------------------------------------
1 1 2 this is
2 2 3 Are you
3 3 This's a test
4 4 10 There are
# 指定输出分割符
$  awk '{print $1,$2,$5}' OFS=" $ "  log.txt
---------------------------------------------
2 $ this $ test
3 $ Are $ awk
This's $ a $
10 $ There $

Utilisation des expressions régulières, chaîne

# 输出第二列包含 "th",并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a

~ indique le début d'un motif. // contient le motif.

# 输出包含 "re" 的行
$ awk '/re/ ' log.txt
---------------------------------------------
3 Do you like awk
10 There are orange,apple,mongo

Ignorer la casse

$ awk 'BEGIN{IGNORECASE=1} /this/' log.txt
---------------------------------------------
2 this is a test
This's a test

Négation de motif

$ awk '$2 !~ /th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
$ awk '!/th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo

script awk

En ce qui concerne les scripts awk, nous devons faire attention à deux mots-clés : BEGIN et END.

  • BEGIN{ C'est ici que sont placées les instructions à exécuter avant le traitement }
  • END { C'est ici que sont placées les instructions à exécuter après le traitement de toutes les lignes }
  • { C'est ici que sont placées les instructions à exécuter lors du traitement de chaque ligne }

Supposons qu'il existe un fichier de ce type (relevé de notes d'étudiant) :

$ cat score.txt
Marry   2143 78 84 77
Jack    2321 66 78 45
Tom     2122 48 77 71
Mike    2537 87 97 95
Bob     2415 40 57 62

Notre script awk est le suivant :

$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
    math = 0
    english = 0
    computer = 0
 
    printf "NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL\n"
    printf "---------------------------------------------\n"
}
#运行中
{
    math+=$3
    english+=$4
    computer+=$5
    printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
    printf "---------------------------------------------\n"
    printf "  TOTAL:%10d %8d %8d \n", math, english, computer
    printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}

Regardons le résultat de l'exécution :

$ awk -f cal.awk score.txt
NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL
---------------------------------------------
Marry  2143     78       84       77      239
Jack   2321     66       78       45      189
Tom    2122     48       77       71      196
Mike   2537     87       97       95      279
Bob    2415     40       57       62      159
---------------------------------------------
  TOTAL:       319      393      350
AVERAGE:     63.80    78.60    70.00

Quelques exemples supplémentaires

Le programme hello world en AWK est :

BEGIN { print "Hello, world!" }

Calculer la taille d'un fichier

$ ls -l *.txt | awk '{sum+=$5} END {print sum}'
--------------------------------------------------
666581

Trouver les lignes de plus de 80 caractères dans un fichier :

awk 'length>80' log.txt

Afficher la table de multiplication 9x9

seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'

Plus de contenu :

Linux 命令大全Référence des commandes Linux

Autres extensions