shell中字符串截取命令:cut,printf,awk,sed

cut


  • cut 命令不能在分割符是空格的字符串中截取列,只能是 制表符 或 具体的分割符。

选项

  • -b :仅显示行中指定直接范围的内容;
  • -c :仅显示行中指定范围的字符;
  • -d :指定字段的分隔符,默认的字段分隔符为"TAB";
  • -f :显示指定字段的内容;
  • -n :与"-b"选项连用,不分割多字节字符;
  • --complement :补足被选择的字节、字符或字段;
  • --out-delimiter=<字段分隔符> :指定输出内容是的字段分割符;
  • --help :显示指令的帮助信息;
  • --version :显示指令的版本信息。

使用

  • -d :分隔符 ( --delimiter 按照指定分隔符分割列 )
  • -b : 表示字节
  • -c : 表示字符
  • -f : 表示字段(列号) ( --field 提取第几列 )
  • N- : 从第N个字节、字符、字段到结尾
  • N-M : 从第N个字节、字符、字段到第M个
  • -M : 从第一个字节、字符、字段到第M个
$> cat user.txt
01, zhang, M, 18
02, wang, M, 20
03, li, M, 21

# 以","分隔,显示第二列
$> cut -d "," -f 2 user.txt
 zhang
 wang
 li

# 以","分隔,显示第1列和第3列
$> cut -d "," -f 1,3 user.txt
01, M,
02, M,
03, M,

# 以","分隔,显示第1-3列
$> cut -d "," -f 1-3 user.txt
01, zhang, M,
02, wang, M,
03, li, M,

# 以","分隔,显示除第1列以外的其他列
$> cut -d "," -f 1 --complement user.txt
 zhang, M, 18
 wang, M, 20
 li, M, 21
## 注意前面是有空格的!

###### 字符串
$> cut -c1-5 user.txt
01, zh
02, wa
03, li

printf


  • printf '输出类型输出格式' 内容

输出类型:

- %ns: 输出字符串。n是数字,指输出几个字符
  - %ni: 输出整数。n是数字,指输出几个数字
  - %m.nf: 输出浮点数。m和n是数字,分别指输出的整数位数和小数位数。如%8.2f代表共输出8位数,其中2是小数,6是整数。

输出格式:

- \a : 输出警告声音
  - \b : 输出退格键,也就是Backspace键
  - \f : 清除屏幕
  - \n : 换行
  - \r : 回车,也就是Enter键
  - \t : 水平输出退格键,也就是Tab键
  - \v : 垂直输出退格键,也就是Tab键

printf %s 1 2 3 4 5 6 # 把123456当成一个字符串输出,没有格式
printf %s %s %s 1 2 3 4 5 6 # 把%s%s123456当做字符串输出,没有格式
printf '%s ' 1 2 3 4 5 6 # 把1 2 3 4 5 6当做字符串输出,输出格式为空格
printf '%s\n' 1 2 3 4 5 6 # 输出格式为1个一行
printf '%s %s %s' 1 2 3 4 5 6 # 把内容当做字符串三个为一组输出,1 2 34 5 6
printf '%s %s %s\n' 1 2 3 4 5 6 # 输出格式为3个一行
printf '%s' $(cat user.txt) # 输出文本内容为字符串
printf '%s\t %s\t %s\t %s\n' $(cat user.txt)  # 把文本内容格式化输出
  • 建议 man printf 查看可用的输出格式,和C的 printf 格式一样。

awk


命令

awk '条件1{动作1} 条件2{动作2} ...' 文件名
( 如果条件1,执行动作1;如果条件2,执行动作2 )

条件(pattern):一般使用关系表达式作为条件

  • x > 10 : 判断变量x是否大于10
  • x >= 10 : 大于等于
  • x <= 10 : 小于等于

动作(Action)

  • 格式化输出
  • 流程控制语句

例子

# 大括号前面没有条件,直接执行命令,这里的printf 是awk的命令,$2 提取文件第二列,$3 提取文件第三列,$0 提取所有列
awk '{printf $2 "\t" $3"\n"}' user.txt

# 打印三列,这里的print是awk的命令,系统并没有print命令,所以只能在awk里使用;与printf的区别是:print会自动在行尾加换行符,而printf不会
df -h | awk '{print $1 "\t" $5 "\t" $6 "\t"}'

# 提取系统已使用硬盘空间,可以把结果赋给一个变量,判断是否大于某个值,进行报警
df -h | grep sda3 | awk '{print $5}' | cut -d '%' -f 1

# 查看剩余内存不包含单位M
free -h | grep Mem | awk '{print $4}' | cut -d 'M' -f 1 

说明

  • grep 取行,awk 按条件取指定列,cut 按分隔符取指定列。
  • BEGIN:先执行一条多余的动作
awk 'BEGIN{print "this is a text"} {print $2 "\t" $3}' user.txt
  • END:用于在所有命令处理完之后执行
  • FS内置变量:用于定义分割符,如果需要手工定义分割符,一定要在分割符前面加BEGIN;
awk 'BEGIN{FS=":"} END{print "this is end text"} {print $1 "\t" $3}' /etc/passwd
  • BEGIN、END也是条件。
  • 关系运算符:
# user.txt中不包含ID这行,提取满足条件为第四列值大于18的第二列
cat user.txt | grep -v ID | awk '$4 > 18 {printf $2 "\n"}'

sed


sed主要是用来将数据进行选取、替换、删除、新增的命令。可以放在管道符之后处理。

命令

  • sed [选项] '[动作]' 文件名
  • sed命令有两种形式:sed [options] 'command' file(s);sed [options] -f scriptfile file(s)

选项:

  • -n : 一般sed命令会把所有数据都输出到屏幕;如果加入此选项,则只会把经过sed命令处理的行输出到屏幕。
    • sed -n '2p' user.txt # 输出第二行
  • -e : 允许对输入数据应用多条sed命令编辑
  • -f : 添加脚本文件的内容到执行的动作
  • -i : 用sed的修改结果直接修改读取数据的文件,而不是由屏幕输出

动作:(要加双引号)

  • a\ : 追加,在当前行后添加一行或多行。添加多行时,除最后一行外,每行末尾需要用""代表数据未完结。
  • c\ : 行替换,用c后面的字符串替换原数据行,替换多行时,除最后一行外,每行末尾需要用""代表数据未完结。
  • i\ : 插入,在当前行前插入一行或多行。插入多行时,除最后一行外,每行末尾需要用""代表数据未完结。
  • d : 删除,删除指定的行。
  • p : 打印,输出指定的行。
  • s : 字串替换,用一个字符串替换另外一个字符串。格式为“行范围s/旧字串/新字串/g”(和vim中的替换格式类似)

例子

sed -n '2p' user.txt        # 输出第二行, p一般都要和-n使用,不-n会显示出所有的行
df -h | sed -n '2p'          # 管道符结果作为操作内容
sed '2,4d' user.txt        # 删除文件的第2行到第4行,显示剩下的行,没有加 i 选项,不会更改文件内容
sed '2a hello' user.txt      # 在第二行后追加hello,仅仅修改命令输出
sed '2i hello \
  world' user.txt        # 在第二行前插入两行数据,仅仅修改命令输出
sed '2c No person' user.txt    # 把第二行替换为No person
sed '2s/M/F/g' user.txt      # 把第二行的M替换为F后输出
sed -i '2s/M/F/g' user.txt  # 把替换后的结果写入文件
sed -e 's/zhang//g ; s/wang//g' user.txt    # -e 允许多条命令顺序执行,用分号隔开,s前面不加数字表示所有行
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270

推荐阅读更多精彩内容

  • 本文承接之前写的三十分钟学会AWK一文,在学习完AWK之后,趁热打铁又学习了一下SED,不得不说这两个工具真的堪称...
    mylxsw阅读 4,361评论 3 74
  • linux资料总章2.1 1.0写的不好抱歉 但是2.0已经改了很多 但是错误还是无法避免 以后资料会慢慢更新 大...
    数据革命阅读 12,016评论 2 34
  • sed与awk实例 文本间隔 在每一行后面增加一空行 将原来的所有空行删除并在每一行后面增加一空行。这样在输出的文...
    stuha阅读 1,840评论 0 21
  • 基础命令 主要的命令和快捷键 Linux系统命令由三部分组成:cmd + [options]+[operation...
    485b1aca799e阅读 1,016评论 0 0
  • 知识点 sort uniq cut wc sed命令 awk命令 crontab定时器 sort sort 命令对...