awk、grep、sed是linux操作文本的三大利器，合称文本三剑客，也是必须掌握的linux命令之一。
正则表达式
POSIX正则表达式分为基本正则表达式（BRE）和扩展表达式（ERE）。
- 支持的命令
| 类型 | grep | sed | vi | more | egrep | awk |
|---|---|---|---|---|---|---|
| BRE | √ | √ | √ | √ | ||
| ERE | √ | √ |
- BRE 和ERE区别
| 字符 | 意义 | 支持的类型 |
|---|---|---|
| \ | 将下一个字符标记为特殊字符，或者将一个元字符转义为普通字符。如n加上\匹配一个换行符。\则匹配一个\字符。 | BOTH |
| ^ | 匹配输入字符串的开始位置 | BOTH |
| $ | 匹配输入字符串的结束位置 | BOTH |
| * | 匹配前面的子表达式0次或者多次，如zo*能匹配z和zoo | BOTH |
| ？ | 匹配前面的子表达式0次或者1次 | ERE |
| . | 匹配除\n之外的任何单个字符 | BOTH |
| + | 匹配前面的子表达式1次或者多次，如zo+能匹配zo和zoo，但不能匹配z | ERE |
| | | 匹配于|符号前或后的正则表达式 | ERE |
| {n,m} | 最少匹配n次，最多匹配m次和BRE的区别是不需要加\ | ERE |
| \{n\} | 匹配前面的子表达式n次 | BRE |
| \{n,\} | 至少匹配前面的子表达式n次 | BRE |
| \{n,m\} | 最少匹配n次，最多匹配m次 | BRE |
| \(\) | 将(与)间的模式存储在特殊的保留空间 | BRE |
| \digit | 重复在(与)方括号内第n个子模式至此点的模式 | BRE |
| [xyz] | 匹配xyz中的任何一个字符 | BOTH |
| [^xyz] | 匹配未包含的任意字符 | BOTH |
| [x-z] | 匹配小写的字符 | BOTH |
GREP
grep 命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。grep全称是 Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。
命令的基本格式：grep [option] pattern file
option如下：
- -A<行数 x>：除了显示符合范本样式的那一列之外，并显示该行之后的 x 行内容。
grep -A2 "george" pets.txt - -B<行数 x>：除了显示符合样式的那一行之外，并显示该行之前的 x 行内容。
grep -B2 "george" pets.txt - -C<行数 x>：除了显示符合样式的那一行之外，并显示该行之前后的 x 行内容。
grep -C2 "george" pets.txt - -c：统计匹配的行数
grep -c "name" pets.txt - -e ：实现多个选项间的逻辑or 关系
grep -e "betty" -e "frank" pets.txt
grep -c -e "betty" -e "frank" pets.txt - -E：扩展的正则表达式
grep -E "[a-z]{4,}'s" pets.txt
grep "[a-z]\{4,\}'s" pets.txt - -f 文件名：从文件获取 PATTERN 匹配
echo frank > patten.txt
grep -nf patten.txt pets.txt - -F ：相当于fgrep
grep -F相当于fgrep命令，就是将pattern视为固定字符串。比如搜索'aa*'不带-F和带上，区别如下：
echo aaaa | grep "aa*"
echo aaaa | grep -F "aa*"
echo aa* | grep -F "aa*" - -i --ignore-case #忽略字符大小写的差别。
grep -i "Frank" pets.txt - -n：显示匹配的行号
grep -in "dog" pets.txt - -o：仅显示匹配到的字符串
grep -o "dog" pets.txt - -q： 静默模式，不输出任何信息
多用于shell脚本中，做if判断 - -s：不显示错误信息。
- -v：显示不被 pattern 匹配到的行，相当于[^] 反向匹配
grep -v "dog" pets.txt - -w ：匹配 整个单词
grep "do" pets
grep -w "do" pets.txt
AWK
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。对于日志、CSV 那样的每行格式相同的文本文件，awk可能是最方便的工具。
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
命令的基本格式： *awk '{[pattern] action}' {filenames} *
变量
- $num表示第num列
- NF表示有多少列
- NR表示第几行
awk '{print NR,$NF}' pets.txt
分隔符
- FS：字段分隔符，默认是空格和制表符。
- RS：行分隔符，用于分割每一行，默认是换行符。
- OFS：输出字段的分隔符，用于打印时分隔字段，默认为空格。
- ORS：输出记录的分隔符，用于打印时分隔记录，默认为换行符。
- OFMT：数字输出的格式，默认为％.6g。
echo a-b-c| awk -v OFS="/" -F "-" '{print NR,$NF}'
echo a,b,c,d#e,f,g,h | awk -v RS="#" -v OFS="/" -v ORS="," -F "," '{print $1,$2}' Desktop/test.txt
参数
- -v 变量替换
- -F 指定字段分隔符
模式
- NR 判断
awk 'NR%2 ==0 {print $5}' pets.txt - 正则判断
awk '/This/{print $4}' pets.txt - if 判断
echo -e "12345ms\n4ms" | egrep -o "[0-9]+" | awk '{if(int($1) > 222) print $1; else print "----"}' - 函数
tolower()：字符转为小写。
length()：返回字符串长度。
substr()：返回子字符串。
sin()：正弦。
cos()：余弦。
sqrt()：平方根。
rand()：随机数。
https://www.gnu.org/software/gawk/manual/html_node/Built_002din.html#Built_002din
SED
sed 命令的作用是利用脚本来处理文本文件。sed全名叫stream editor，流编辑器，用程序的方式来编辑文本。
命令的基本格式： sed [-hnV][-e<script>][-f<script文件>][文本文件]
参数说明：
- -e<script>或--expression=<script> 以选项中指定的 script 来处理输入的文本文件，这个-e可以省略，直接写表达式。多个多项编辑。
- -f<script文件>或--file=<script文件>以选项中指定的 script 文件来处理输入的文本文件。
- -n 取消默认输出
- -i 覆盖原文件
- -r使用扩展正则表达式
动作说明：
- a：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
奇数行后增加
echo -e "1\n2\n3\n4\n5" | sed "1~2 a www" - c：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
echo -e "1\n2\n3\n4\n5" | sed "1,2c www"
echo -e "1\n2\n3\n4\n5" | sed -e "1c www" -e "2c bb" - d：删除，因为是删除，所以 d 后面通常不接任何东西；
删除注释的行
echo -e "#todo\ndef s\nputs 'b'\nend" | sed "/^#/d" - i：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
echo -e "1\n2\n3\n4\n5" | sed "1 i aaa" - p：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
echo -e "1\n2\n3\n4\n5" | sed -n "1p" - s：取代，通常这个 s 的动作可以搭配正规表示法，例如 1,20s/old/new/g 。
替换每行第一个is 为was：sed 's/is/was/1' pets.txt
替换每行全部is为wassed 's/is/was/g' pets.txt
替换偶数行 is为wassed '1~2! s/is/was/g' pets.txt
覆盖原文件sed -i '1~2! s/is/was/g' pets.txt
