Commande awk Linux
awk est un langage de traitement de fichiers texte et un puissant outil d'analyse de texte.
awk lit les fichiers texte ligne par ligne et fournit des fonctionnalités similaires à un langage de programmation, telles que :
- Définition et calcul de variables
- Jugements conditionnels et boucles
- Traitement de chaînes et sortie formatée
Ces fonctionnalités rendent AWK très efficace pour traiter du texte structuré (comme les fichiers CSV, les fichiers journaux).
Il est appelé awk car il prend les premières lettres des noms de famille de ses trois fondateurs : Alfred Aho, Peter Weinberger et Brian Kernighan.
Syntaxe
awk options 'pattern {action}' file
Description du paramètre d'option :
options: sont des options utilisées pour contrôlerawkcomportement.pattern: est un motif utilisé pour faire correspondre les données d'entrée. S'il est omis, alorsawkil s'appliquera à toutes les lignes.{action}: est l'action à exécuter sur les lignes qui correspondent au motif. S'il est omis, l'action par défaut est d'afficher la ligne entière.
Description des paramètres d'options :
-F <分隔符>ou--field-separator=<分隔符>: spécifie le délimiteur des champs d'entrée, la valeur par défaut est l'espace. Utilisez cette option pour spécifier un séparateur de champs différent de celui par défaut.-v <变量名>=<值>: Définirawkvaleurs de variables internes. Cette option peut être utilisée pour transmettre des valeurs externes àawkvariables dans le script.-f <脚本文件>: Spécifiez un fichier contenantawkscript. Cela vous permet d'écrire des scripts plus volumineux dans un fichierawkscript, puis utilisez l'-foption pour le charger.-Vou--version: Afficherawkinformations de version.-hou--help: Afficherawkinformations d'aide, y compris les options et des exemples d'utilisation.
Voici quelques utilisations courantes de la commande awk :
Afficher la ligne entière :
awk '{print}' fileAfficher une colonne spécifique :
awk '{print $1, $2}' file
Spécifier des colonnes avec un délimiteur :
awk -F',' '{print $1, $2}' file
Afficher le nombre de lignes :
awk '{print NR, $0}' file
Afficher les lignes qui respectent une condition de numéro de ligne :
awk '/pattern/ {print NR, $0}' file
Calculer la somme d'une colonne :
awk '{sum += $1} END {print sum}' file
Afficher la valeur maximale :
awk 'max < $1 {max = $1} END {print max}' fileSortie formatée :
awk '{printf "%-10s %-10s\n", $1, $2}' file
Utilisation de base
Le contenu de log.txt est le suivant :
2 this is a test 3 Do you like awk This's a test 10 There are orange,apple,mongo
Utilisation 1 : Syntaxe de base
awk '{ [pattern] action }' filenames
Remarque :La partie script awk doit être entourée à l'aide de guillemets simples' 'pour l'encapsuler.
Exemple 1 : Afficher les 1re et 4e colonnes de chaque ligne
awk '{print $1, $4}' log.txt
Sortie :
2 a 3 like This's 10 orange,apple,mongo
Exemple 2 : Sortie formatée
printf peut personnaliser le format de sortie (semblable à printf en langage C) :
awk '{printf "%-8s %-10s\n", $1, $4}' log.txt
Sortie :
2 a 3 like This's 10 orange,apple,mongo
Utilisation 2 : Spécifier le délimiteur -F
-FL'option sert à spécifier le délimiteur entre les colonnes, équivalente à la variable intégréeFS (séparateur de champs)。
Exemple 1 : Utiliser la virgule,comme délimiteur
awk -F, '{print $1, $2}' log.txt
Sortie :
2 this is a test 3 Do you like awk This's a test 10 There are orange apple
Exemple 2 : Utiliser la variable intégrée FS pour définir le délimiteur
awk 'BEGIN { FS="," } {print $1, $2}' log.txt
Le résultat de sortie est le même :
2 this is a test 3 Do you like awk This's a test 10 There are orange apple
Exemple 3 : Utiliser plusieurs délimiteurs (espace ou virgule)
[ ,]Signifie que les espaces et les virgules sont tous deux utilisés comme délimiteurs.
awk -F '[ ,]' '{print $1, $2, $5}' log.txt
Sortie :
2 this test 3 Do awk This's a 10 There apple
Utilisation 3 : Utiliser -v pour définir des variables
-vL'option est utilisée pour passer des variables externes avant d'exécuter le script AWK, couramment utilisée pour une affectation dynamique.
Format de syntaxe:
awk -v 变量名=值 '{动作}' 文件名
Exemple 1 : Définir une variable numérique et l'utiliser dans des calculs arithmétiques
awk -va=1 '{print $1, $1+a}' log.txt
Sortie :
2 3 3 4 This's 1 10 11
Explication :
- -v a=1 signifie définir la variable a=1 ;
- $1+a signifie la première colonne plus la variable a.
Lorsque $1 n'est pas un nombre (comme This's), le résultat est vide ou affiché tel quel.
Exemple 2 : Définir plusieurs variables en même temps
awk -va=1 -vb=s '{print $1, $1+a, $1b}' log.txt
Sortie :
2 3 2s 3 4 3s This's 1 This'ss 10 11 10s
Explication :
- -vb=s définit une variable chaîne b ;
- $1b signifie concaténer la première colonne et la variable b (par exemple, 2s, 10s).
Utilisation 4 : Utiliser -f pour appeler un script AWK externe
Lorsque le script AWK est long, vous pouvez écrire la logique dans un fichier séparé et le charger via le paramètre -f.
Format de syntaxe:
awk -f 脚本文件 文件名
Supposons que nous ayons un fichier de script cal.awk avec le contenu suivant :
{ print $1, $1 + 10 }
Exécutez la commande :
awk -f cal.awk log.txt
Sortie :
2 12 3 13 This's 10 10 20
Explication :
- -f cal.awk signifie exécuter le script externe cal.awk ;
- AWK exécutera les actions définies dans le script pour chaque ligne de log.txt.
Opérateurs
| Operator | Description |
|---|---|
| = += -= *= /= %= ^= **= | Affectation |
| ?: | Expression conditionnelle C |
| || | OU logique |
| && | ET logique |
| ~ et !~ | Correspondance à une expression régulière et non-correspondance à une expression régulière |
| < <= > >= != == | Opérateurs relationnels |
| Espace | Concaténation |
| + - | Addition, soustraction |
| * / % | Multiplication, division et reste |
| + - ! | Plus unaire, moins unaire et négation logique |
| ^ *** | Exponentiation |
| ++ -- | Incrément ou décrément, comme préfixe ou suffixe |
| $ | Référence de champ |
| in | Membre de tableau |
Filtrer les lignes où la première colonne est supérieure à 2
$ awk '$1>2' log.txt #命令 #输出 3 Do you like awk This's a test 10 There are orange,apple,mongo
Filtrer les lignes où la première colonne est égale à 2
$ awk '$1==2 {print $1,$3}' log.txt #命令
#输出
2 is
Filtrer les lignes où la première colonne est supérieure à 2 et la deuxième colonne est égale à 'Are'
$ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt #命令
#输出
3 Are you
Variables intégrées
| Variable | Description |
|---|---|
| $n | Le n-ième champ de l'enregistrement courant, les champs étant séparés par FS |
| $0 | L'enregistrement d'entrée complet |
| ARGC | Le nombre d'arguments de la ligne de commande |
| ARGIND | La position du fichier courant dans la ligne de commande (à partir de 0) |
| ARGV | Tableau contenant les arguments de la ligne de commande |
| CONVFMT | Format de conversion numérique (par défaut %.6g) ENVIRON tableau associatif des variables d'environnement |
| ERRNO | Description de la dernière erreur système |
| FIELDWIDTHS | Liste des largeurs de champs (séparées par des espaces) |
| FILENAME | Nom du fichier courant |
| FNR | Numéro de ligne compté séparément pour chaque fichier |
| FS | Séparateur de champs (par défaut, tout espace) |
| IGNORECASE | Si vrai, une correspondance insensible à la casse est effectuée |
| NF | Le nombre de champs dans un enregistrement |
| NR | Le nombre d'enregistrements déjà lus, c.-à-d. le numéro de ligne, en commençant par 1 |
| OFMT | Format de sortie pour les nombres (par défaut %.6g) |
| OFS | Séparateur de champs de sortie, la valeur par défaut est la même que le séparateur de champs d'entrée. |
| ORS | Séparateur d'enregistrement de sortie (la valeur par défaut est un saut de ligne) |
| RLENGTH | La longueur de la chaîne mise en correspondance par la fonction match |
| RS | Séparateur d'enregistrement (la valeur par défaut est un saut de ligne) |
| RSTART | La première position de la chaîne mise en correspondance par la fonction match |
| SUBSEP | Séparateur d'indice (la valeur par défaut est /034) |
$ awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' log.txt
FILENAME ARGC FNR FS NF NR OFS ORS RS
---------------------------------------------
log.txt 2 1 5 1
log.txt 2 2 5 2
log.txt 2 3 3 3
log.txt 2 4 4 4
$ awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' log.txt
FILENAME ARGC FNR FS NF NR OFS ORS RS
---------------------------------------------
log.txt 2 1 ' 1 1
log.txt 2 2 ' 1 2
log.txt 2 3 ' 2 3
log.txt 2 4 ' 1 4
# 输出顺序号 NR, 匹配文本行号
$ awk '{print NR,FNR,$1,$2,$3}' log.txt
---------------------------------------------
1 1 2 this is
2 2 3 Are you
3 3 This's a test
4 4 10 There are
# 指定输出分割符
$ awk '{print $1,$2,$5}' OFS=" $ " log.txt
---------------------------------------------
2 $ this $ test
3 $ Are $ awk
This's $ a $
10 $ There $
Utilisation des expressions régulières, chaîne
# 输出第二列包含 "th",并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a
~ indique le début d'un motif. // contient le motif.
# 输出包含 "re" 的行 $ awk '/re/ ' log.txt --------------------------------------------- 3 Do you like awk 10 There are orange,apple,mongo
Ignorer la casse
$ awk 'BEGIN{IGNORECASE=1} /this/' log.txt
---------------------------------------------
2 this is a test
This's a test
Négation de motif
$ awk '$2 !~ /th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
$ awk '!/th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
script awk
En ce qui concerne les scripts awk, nous devons faire attention à deux mots-clés : BEGIN et END.
- BEGIN{ C'est ici que sont placées les instructions à exécuter avant le traitement }
- END { C'est ici que sont placées les instructions à exécuter après le traitement de toutes les lignes }
- { C'est ici que sont placées les instructions à exécuter lors du traitement de chaque ligne }
Supposons qu'il existe un fichier de ce type (relevé de notes d'étudiant) :
$ cat score.txt Marry 2143 78 84 77 Jack 2321 66 78 45 Tom 2122 48 77 71 Mike 2537 87 97 95 Bob 2415 40 57 62
Notre script awk est le suivant :
$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
math = 0
english = 0
computer = 0
printf "NAME NO. MATH ENGLISH COMPUTER TOTAL\n"
printf "---------------------------------------------\n"
}
#运行中
{
math+=$3
english+=$4
computer+=$5
printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
printf "---------------------------------------------\n"
printf " TOTAL:%10d %8d %8d \n", math, english, computer
printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}
Regardons le résultat de l'exécution :
$ awk -f cal.awk score.txt NAME NO. MATH ENGLISH COMPUTER TOTAL --------------------------------------------- Marry 2143 78 84 77 239 Jack 2321 66 78 45 189 Tom 2122 48 77 71 196 Mike 2537 87 97 95 279 Bob 2415 40 57 62 159 --------------------------------------------- TOTAL: 319 393 350 AVERAGE: 63.80 78.60 70.00
Quelques exemples supplémentaires
Le programme hello world en AWK est :
BEGIN { print "Hello, world!" }
Calculer la taille d'un fichier
$ ls -l *.txt | awk '{sum+=$5} END {print sum}'
--------------------------------------------------
666581
Trouver les lignes de plus de 80 caractères dans un fichier :
awk 'length>80' log.txt
Afficher la table de multiplication 9x9
seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'
Autres extensionsPlus de contenu :
Référence des commandes Linux