文本分析工具awk

简介

awk是一个强大的文本分析工具,它认为文本都是结构化的,它将每一个输入行定义为一个记录, 每行中的每个字符串定义为一个域(),域和域之间用分隔符分隔。
功能:流程控制,数学运算,进程控制,内置的变量和函数,循环和判断。

工作原理

awk采用“行工作模式”,将文件一行行的读入,并进行拆分处理。

  • 读入一行(一条记录),将其存入内置变量$0中
  • 使用段分隔符分隔这条记录(分隔符由内置变量FS指定,默认采用空格" "分隔),把分隔后的段顺序存入内置变量$(1-100)
  • 输出每个段的时候也可以通过内置变量OFS指定分隔符,默认也是空格
  • 循环,读入下一行

常用内置变量

  • 关于记录
    $0 当前记录(作为单个变量)
    NR 已经读出的记录数,即当前行号,Number of Row
    RS 输入记录的分隔符,默认为换行符
    ORS 输出记录的分隔符,默认也是换行符
    FNR 当前记录数

  • 关于段
    $1-$n 当前记录的第n个字段,字段间由FS分隔
    NF 当前记录中域(字段)的个数,就是列号。Number of field
    FS 输入字段分隔符,默认空格
    OFS 输出字段分隔符,默认空格

  • 环境变量等
    ARGC 命令行参数个数
    ARGV 命令行参数数组
    ARGIND 当前被处理文件的ARGV的标志符
    FILENAME 当前输入文件名
    CONVFMT 数字转换格式%.6g
    IGNORECASE 若值为真,则进行忽略大小写的匹配
    ENVIRON Unix环境变量
    ERRNO Unix错误信息
    FIELDWIDTHS 输入字段宽度的空白分隔字符串
    RESTART 被匹配字符串的字符串首
    RLENGTH 被匹配字符串的字符串长度

awk的使用(大部分与C语法一致)

正则表达式

.*^$?+[]<>()
不支持() {}

关系运算符

<>

!=

=
<=
~匹配
!~不匹配
大部分与C语言一致

逻辑运算符

&& || !(与 或 非),这里与C语言语法一致

算术运算符

      • / % ^(加 减 乘 除 取模 幂运算),这里与C语言语法一致

BEGIN END

BEGIN{动作1;动作2;...} 在处理文件之前,要执行的动作;只执行一次。
用于给文件添加标题,定义变量,定义文件的分隔符等

END{动作1;动作2;...} 在处理完文件之后,要执行的动作;只执行一次。
汇总的操作

流程控制

表达式语句:(表达式?值1:值2),if判断,if-else, for,while等语法与C语言几乎一致,在此不过多叙述了。
next表示处理输入行的下一行
exit退出

一个awk中数组使用的例子
文本文件array1内容如下:

BEGIN{
        a[1]="a1";
        a[2]="a2";
        a[3]="a3";
for ( i = 1; i <= 3; i++)
        print "数组a["i"]的值是"a[i]
}

终端输入命令:$ awk -f array1,输出如下

数组a[1]的值是a1
数组a[2]的值是a2
数组a[3]的值是a3

一些内置函数

split切割字符串

split("待切割字符串",数组名,"切割用的分隔符")

toupper 与 tolower

大小写转换

sub与gsub

局部替换与全局替换
sub(/要替换的内容/,"替换成什么内容")
gsub(/要替换的内容/,"替换成什么内容")
gsub(/要替换的内容/,"替换成什么内容",指定字段)

length

计算字符串长度

数学函数:sin,cos,int,sqrt等

print打印到终端

eg:打印当前系统变量的某个特定值
$ awk 'BEGIN{print ENVIRON["PATH"];}'

printf 格式输出

格式控制符与C语言基于一致,%o以无符号八进制表示的整数,%g以科学计数法或浮点数的格式显示数值,%%显示其自身。
修饰符:
-:左对齐
+:显示数值符号
N:显示
-F 指定段的分隔符
说明:
对于小数取保留位的时候,最低位进行四舍五入,而取整的时候,直接舍去小数部分。

总结

  1. 需要记住一些内置变量,如NR表示行号(记录),NF表示列号(域)
  2. 其实看完这些,还是并没有会用吧,哈哈,还是得多实践吧!

参考文献

Shell脚本之awk详解

推荐阅读更多精彩内容

  • awk: grep,sed,awk grep:文本过滤 sed:文本编辑 awk:文本格式化工具; 1 什么是aw...
    木林森阅读 857评论 0 15
  • awk介绍awk变量printf命令:实现格式化输出操作符awk patternawk actionawk数组aw...
    哈喽别样阅读 565评论 0 4
  • awk:报告生成器,格式化文本输出 内容: awk介绍 awk基本用法 awk变量 awk格式化 awk操作符 a...
    BossHuang阅读 582评论 0 9
  • 转载 原文的排版和内容都更加友好,并且详细,我只是在这里贴出了一部分留作自己以后参考和学习,如希望更详细了解AWK...
    XKirk阅读 2,093评论 4 24
  • linux资料总章2.1 1.0写的不好抱歉 但是2.0已经改了很多 但是错误还是无法避免 以后资料会慢慢更新 大...
    O感悟人生O阅读 7,647评论 2 27