sed的流艺术

本文章参考《Linux大棚命令百篇》,推荐买着看,很好的一本书。

sed (stream editor)被称之为流编辑器。
sed命令是针对于行处理的工具,对每一行进行处理,并将处理的结果输出到标准输出。

sed的命令格式:

sed  command file

command部分:针对每行的内容要进行的处理
 file部分:要处理的文件,如果忽略file参数,则sed会把标准输入作为处理对象。

sed的工作原理:
sed会一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出

一个简单的栗子:

# cat  example.txt 
test 1
test2
testtest
XtestX
BBtest

# sed  '/2/d'  example.txt 
test 1
testtest
XtestX
BBtest

这个栗子是删除文件中包含字符"2"的行。命令要用单引号括起来!

/2/d中的d表示删除,意思就是说只要某行含有字符2,则删除之。

想实现类似于cut -d : -f 1 /etc/passwd的效果,用sed怎么做呢?

# head -n 5 /etc/passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin


# head -n 5 /etc/passwd | sed  's/:.*$//' 
root
bin
daemon
adm
lp

一些命令

sed会将模式空间里的行经过处理后输出到标准输出,这是默认的处理方式。就是说,除非你使用d命令来删除此行,否则它无论变成什么样子,无论它被替换成什么形状,它都会多多少少被输出到屏幕上。

-n选项一般会和-p配合使用,意思是输出那些匹配到的行。

# cat  example.txt                 
test 1
test2
testtest
XtestX
BBtest

# sed -n   '/test2/p'  example.txt 
test2

sed的command部分可以分为两块:一块是范围设定,一块是动作处理。
范围设定可以采用两种不同的方式来表达:

  • 指定行数:比如'3,5',表示第3行,4行,5行;而'5,$'表示第5行至文件最后一行。
  • 匹配模式:例如/[dD]/表示匹配行首不是以d或D开头的行等等。

动作部分:

  • d:表示删除行

  • p:打印该行

  • r:读取指定文件的内容

  • w:写入指定文件

  • a:在下面插入新行新内容

看一下例子吧:

显示文件的第10到20行:
# sed -n '10,20p' example.txt 
vfinj
VBFNJ
VFEANKM
VREF
VERFD
 VF
 BTERS F
 3RQEVAF
 BQTAW SV
 Qreafd
 qVWAD 

将所有以V或v开头的行的所有小写n变为大写N
# sed  '/^[vv]/s/n/N/g'  example.txt 

我们在command命令部分采用 /AA/s/BB/CC/g 的语法,这表示我们要匹配到文件中带有AA的行,并且将这些行中的BB替换成CC。

删除每行最后两个字符:
# sed  's/..$//'  example.txt  

删除每一行的前两个字符:
# sed ‘s/..//’ test

&符号的妙用:
&表示“被匹配的部分”

# cat  mysed.txt 
Beijing
London

# sed 's/Bei/&2008/'  mysed.txt 
Bei2008jing
London

更好的定位方法:

# cat mysed.txt  
Beijing 2003
Beijing 2004
Beijing 2005
Beijing 2006
Beijing 2007
Beijing 2008
Beijing 2007


# sed  -n '/2005/,/2007/p' mysed.txt 
Beijing 2005
Beijing 2006
Beijing 2007

我们使用/2005/来匹配行范围的首行,用/2008/来匹配行范围的最尾行。可以看到,在匹配尾行时,只要遇到符合要求的行,即停止,不会再继续向后匹配了。(只是匹配到第一个2007,并没有匹配到第二个2007)

使用-e选项来设置多个command:
当包含超过一个的command的时候,必须在每个command前面加上选项-e

# sed  -n  -e '1,2p' -e '4p' mysed.txt 
Beijing 2003
Beijing 2004
Beijing 2006

注意:-e后面必须立即接command,不允许再夹杂其他的选项

使用 -f指定command文件:
如果你的command很长,那么可以将其写在文件里,然后使用-f来设定这个文件作为command部分:

# cat callsed 
/2004/,/2006/p

# sed -n -f callsed   mysed.txt 
Beijing 2004
Beijing 2005
Beijing 2006

插入和控制

在多个command之间,是按照在命令中的先后顺序来执行的。

插入内容:

将要插入的内容保存到一个单独的文件
$ cat ins.txt
====China====

使用r 实现插入
sed ‘/2005/r ins.txt’ mysed.txt

除了可以通过指定文件来插入外,还可以使用 'a'在特定行的下面插入特定内容:

# sed '/2004/a\china'  mysed.txt 
Beijing 2003
Beijing 2004
china
Beijing 2005
Beijing 2006
Beijing 2007
Beijing 2008
Beijing 2007

还可以使用 '\i'在指定行的上面添加内容:

# sed '/2004/i\china'  mysed.txt  
Beijing 2003
china
Beijing 2004
Beijing 2005
Beijing 2006
Beijing 2007
Beijing 2008
Beijing 2007

y动作:
y就是按照字符顺序,实现前后的替换

# sed  'y/ei/ie/'  mysed.txt 
Biejeng 2003
Biejeng 2004
Biejeng 2005
Biejeng 2006
Biejeng 2007
Biejeng 2008
Biejeng 2007

y的语法格式: y/source/dest/
如果source中出现了重复的字符,则只有第一次对应的替换会产生效果,后面的不会起作用。

原文
# cat mysed.txt 
Beijing 2003
Beijing 2004
Beijing 2005
Beijing 2006
Beijing 2007
Beijing 2008
Beijing 2007

在iji到iba的替换中,只有j到b起到了作用
# sed  'y/iji/iba/' mysed.txt 
Beibing 2003
Beibing 2004
Beibing 2005
Beibing 2006
Beibing 2007
Beibing 2008
Beibing 2007

对匹配行的下一行进行处理:

# sed '/2004/{n;y/eijing/EIJING/;}'  mysed.txt 
Beijing 2003
Beijing 2004
BEIJING 2005
Beijing 2006
Beijing 2007
Beijing 2008
Beijing 2007

这个例子就是找含有2004的行,然后将它下面的一行中的eijng替换为大写的EIJNG。这里面的“n;”起到了“移至下一行”的作用。n背后的含义其实是将下一行放到模式空间中去。

将指定行写入到指定文件中:
w动作会将匹配到的内容保存到另一个文件中:

# sed '/200[4-6]/w  new.txt'  mysed.txt

# cat  new.txt 
Beijing 2004
Beijing 2005
Beijing 2006

如果想在原文件中进行操作,需要加 -i 选项。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,165评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,720评论 1 298
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,849评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,245评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,596评论 3 288
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,747评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,977评论 2 315
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,708评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,448评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,657评论 2 249
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,141评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,493评论 3 258
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,153评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,108评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,890评论 0 198
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,799评论 2 277
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,685评论 2 272

推荐阅读更多精彩内容

  • linux资料总章2.1 1.0写的不好抱歉 但是2.0已经改了很多 但是错误还是无法避免 以后资料会慢慢更新 大...
    数据革命阅读 12,022评论 2 34
  • 本文承接之前写的三十分钟学会AWK一文,在学习完AWK之后,趁热打铁又学习了一下SED,不得不说这两个工具真的堪称...
    mylxsw阅读 4,363评论 3 74
  • sed篇总共分成6章:(简书版) Sed&awk笔记之sed篇:简单介绍 Sed&awk笔记之sed篇:模式空间与...
    magic5650阅读 768评论 0 3
  • sed与awk实例 文本间隔 在每一行后面增加一空行 将原来的所有空行删除并在每一行后面增加一空行。这样在输出的文...
    stuha阅读 1,840评论 0 21
  • Ubuntu的发音 Ubuntu,源于非洲祖鲁人和科萨人的语言,发作 oo-boon-too 的音。了解发音是有意...
    萤火虫de梦阅读 98,535评论 9 468