shell 三剑客之 awk

本贴最后更新于 1229 天前,其中的信息可能已经事过境迁

背景

awk是一个文本处理工具,通常用于处理数据并生成结果报告。awk的命名是它的创始人Alfred Aho、Peter Weinberger和Brian Kernighan姓氏的首个字母组成的。awk实质上是一门编程语言,其具备自己的语法,如:条件判断、循环等等。在很多方面类似shell编程语言。在测试工作中,我们可以利用它来帮助我们提升测试效率,比如:分析日志,格式化统计结果等等。

awk语法格式

awk [option] 'pattern{action}' filename

语法格式 解释
option 参数选项
pattern 模式(找谁?)
action 处理动作,awk常用的动作是print和printf(做啥?)

action

接下来我们来学习最简单的action-print

root@lemonban:/home/test# cat hello.txt
hello lemon
Tester Developer 
Java Python

逐行打印每行内容,$0是awk的内置变量,效果是打印整行内容

root@lemonban:/home/test# awk '{print $0}' hello.txt
hello lemon
Tester Developer 
Java Python

每行以空格为分隔,逐行打印出第一列内容

root@lemonban:/home/test# awk '{print $1}' hello.txt
hello
Tester
Java

每行以空格为分隔,逐行打印出第一列 第二列 内容

root@lemonban:/home/test# awk '{print $1,$2}' hello.txt
hello lemon 
Tester Developer 
Java Python 

action是被{}包裹的内容

awk的工作模式是逐行以指定的分隔符将行分成多个字段,上述的例子没有指定分隔符,那么讲会以默认的分隔符空格进行分割,每一个分割的字段分别对应着awk的内置变量$1,$2...,其中$0是代表整行内容。

awk内置变量

除了$0,$1,$2...之外,awk还有很多内置变量,下表中是常用的awk内置变量:

内置变量 含义
$0 整行内容
$1-$n 当前行的第1-n个字段
NF 当前行的字段个数,也就是有多少列
NR 当前行的行号,从1开始计数
FNR 多文件处理时,每个文件行号单独计数,都是从0开始
FS 输入字段分隔符,不指定默认以空格或tab键分割
RS 输入行分隔符,默认回车换行
OFS 输出字段分隔符,默认为空格
ORS 输出行分隔符,默认为回车换行

NR,NF输出

root@lemonban:/home/test# awk '{print NR,NF}' hello.txt
1 2
2 2
3 2

如果不想以默认的空格作为字段分隔符,那么我们可以通过FS内置变量指定新的分隔符

文件内容更改如下:

root@lemonban:/home/test# cat hello.txt
hello|lemon
Tester|Developer 
Java|Python

指定"|"为新的分隔符,其中-v参数表示指定输入分隔符(即在处理文件之前):

root@lemonban:/home/test# awk -v FS='|' '{print $1,$2}' hello.txt
hello lemon
Tester Developer 
Java Python

默认输出分隔符也是空格,可以指定-v OFS改变输出分隔符

root@lemonban:/home/test# awk -v FS='|' -v OFS='::' '{print $1,$2}' hello.txt
hello::lemon
Tester::Developer 
Java::Python

pattern模式

上面我们学习到了option参数中的-v参数以及action中的print动作,pattern有何用处呢?

当awk进行逐行处理的时候,pattern作为条件去判断将要被处理的行是否满足条件,如果满足则处理,否则不处理。

需要注意的是action是一定会被{}包裹的,而pattern则没有被{}包裹着的

空模式

默认pattern为空模式,比如上述的:

awk '{print $1}' testfile

文本中的每一行,都满足条件,都会执行相应的操作

BEGIN/END模式

在开始逐行处理文本之前,先执行BEGIN模式所指定的动作,一般我们将其用于表头

awk 'BEGIN{print “hello”,”lemonban”}'

在所有文本处理完毕之后,执行END模式所指定的动作,一般用于末尾说明

awk 'BEGIN{print “hello”,”lemonban”}{print $1,$2}END{print “end of file”}'

示例:

root@lemonban:/home/test# awk 'BEGIN{print "name","age"}{print $1,$2}END{print "no more data"}' hello.txt
name age
zhangsan 25
lisi 30
wangwu 28
no more data

正则模式

使用语法:

awk '/正则表达式/{action}' filename

其中,正则表达式需要通过//包裹起来

示例:

查找passwd中以mysql开头的信息

root@lemonban:/home/test# awk '/^mysql/{print $0}' /etc/passwd
mysql:x:105:114:MySQL Server,,,:/nonexistent:/bin/false

结合-v参数指定输入分隔符为":"

root@lemonban:/home/test# awk -v FS=':' '/^mysql/{print $1,$2}' /etc/passwd
mysql x

需要注意的是如果正则表达式中有斜杠"/",那么需要进行转义:

root@lemonban:/home/test# awk '/\/bin\/bash$/{print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash

上述表达式是查找以/bin/bash结束对应行的信息

比较表达式模式

所谓比较表达式是指有关系运算符参与运算,比如>,<,>=,<=等等

示例:

查找2行以后所有行的内容

root@lemonban:/home/test# awk 'NR>2{print $0}' hello.txt
wangwu 28

查找字段最后一个是30所在行内容

root@lemonban:/home/test# awk '$NF==30{print $0}' hello.txt
lisi 30

这里的NF表示所在行字段个数,$NF即表示所在行最后一个字段

总结

本篇文章给大家介绍了awk的基本语法及action、pattern、option的使用,awk作为强大的编程工具,由于文章篇幅有限awk还有更多的特性没有介绍,大家如果感兴趣可以自行查阅相关资料学习。

回帖
请输入回帖内容 ...