Linux文本处理三剑客:grep/sed/awk

grep:文本搜索

grep命令介绍

  • grep,用来查找文件中匹配指定文本的行并打印出来

  • 语法格式: grep [选项] PATTERN 文件名

  • 命令解释:查找指定文件中包含PATTERN的行

常用选项

  • -r:递归查找指定目录下的所有文件(grep命令默认支持多个文件的查找,但不能在目录中查找,如果需要在目录中进行查找,则需要使用 -r选项指定)。可以使用--exclude排除某些文件,使用--exclude-file排除某些目录

    grep -r  hello .
    grep hello test01.txt test02.txt
    
  • -c:只打印匹配的行数,不显示内容

    grep -c Hello test01.txt
    
  • -i:忽略大小写进行匹配

    grep -i hello test01.txt
    
  • -v:反向匹配,打印不匹配的内容

    grep -v hello test01.txt
    
  • -l:打印包含匹配项的文件名

    grep -l zip dirlist*.txt
    
  • -L:打印不包含匹配项的文件名

    grep -L zip dirlist*.txt
    
  • -n:在每个匹配行之前打印出其位于文件中的相应行号

    grep -n zip dirlist*.txt
    
  • -E:使用正则表达式进行匹配

    echo "BBB" | grep -E 'AAA|BBB'
    

sed:流编辑器

sed命令介绍

  • sed(stream editor,流处理器): 对文本流进行编辑。在临时缓冲区中创建副本文件,只修改副本不修改源文件(可以使用-i直接修改源文件),逐行处理文件,处理临时缓冲区中的行。

  • sed命令格式

    sed [-hnV] [-e<script>] [-f<script文件>] [文本文件]
    

常用动作

  • a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~

    sed -e "1athis is a other line add by sed command" test01.txt
    
  • i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);

    sed -e '1ithis is a other line add by sed command' test01.txt
    
  • d :删除

    # 打印test02.txt前四行
    sed -e '5,$d' test02.txt
    
  • s :替换

    sed -e 's/line/hello,sed./g' test01.txt
    sed -e '5s/line/line 5/1' -e '5s/line/hello,sed./2' test01.txt
    
  • -n与p配合使用(-n,关闭默认打印,p 打印匹配的行)

    sed -n '5s/line/hello, sed/1p' test01.txt
    
    • 实例:catalina.out提取某个时间段的日志,输出到指定文件中

      # sed -n '/起始时间/,/结束时间/p'  日志文件 > 输出文件
      sed -n '/2020-08-01 10:00*/,/2020-08-01 11:00*/p' catalina.out > aaa.txt
      

awk:文本分析

awk命令介绍

  • awk:通常用来进行文本分析

  • awk用法

    awk '{[pattern] action}' {filenames}
    
    awk -F  #-F相当于内置变量FS, 指定分割字符
    
    awk -v  # 设置变量
    
    awk -f {awk脚本} {文件名}
    

常用动作

示例文件 data.dat如下:

1,aaa,aaa@163.com,1995-04-05,12000
2,bbb,bbb@163.com,1996-08-15,10000
3,ccc,ccc@163.com,1998-06-07,8888
4,ddd,ddd@163.com,1994-05-04,14400
5,eee,eee@163.com,1996-03-23,7200
6,fff,fff@163.com,1995-02-21,16000
7,ggg,ggg@163.com,1997-11-12,18888
  • 打印文件 print

    awk '{print $0}' data.dat
    
  • 指定分隔符,打印第2列与第3列

    [root@localhost cmd]# awk -F , '{print $2,$3}' data.dat 
    aaa aaa@163.com
    bbb bbb@163.com
    ccc ccc@163.com
    ddd ddd@163.com
    eee eee@163.com
    fff fff@163.com
    ggg ggg@163.com
    
  • 设置变量并使用(会修改源文件)

    [root@localhost cmd]# awk -F ',' -va=1000 '{print $2, $5+a}' data.dat 
    aaa 13000
    bbb 11000
    ccc 9888
    ddd 15400
    eee 8200
    fff 17000
    ggg 19888
    
  • 实现累加

    # 计算所有薪资
    [root@localhost cmd]# awk -F ',' '{sum+=$5}END{print sum}' data.dat 
    87376
    
    # 计算薪资大于15000的薪资总和
    [root@localhost cmd]# awk -F ',' '$5>15000 {sum+=$5}END{print sum}' data.dat 
    34888
    
  • 行号

    # 打印薪资大于12000的员工行号、姓名和薪资
    [root@localhost cmd]# awk -F ',' '$5>12000 {print NR,$2,$5}' data.dat 
    4 ddd 14400
    6 fff 16000
    7 ggg 18888
    
    # 统计薪资大于12000的员工总数量
    [root@localhost cmd]# awk -F ',' '$5>12000' data.dat | wc -l 
    3
    

参考资料

菜鸟教程_linux

The Linux Command Line中文版