读shell scripts的总结

今天读程序,遇到一些sed命令和awk命令不太明白,于是去认真查了查,搞清楚并且总结于此。

mnt=$(readlink -f $(grep -P "_dbdir_.*_nodeid_" some.conf | sed "s#.*_dbdir_\(.*\)_nodeid_#$dbdir\1$nd#")|sed 's#/HAS[0-9]*/\([a-zA-Z0-9_-]*\)#\1#')
好长,打字都好累,这么多符号,当初谁写的啊= =

又遇到一个比较难的sed命令行,简直醉了。
sed -n '/^\['$nd_str'\]/,/^\[/{s/ *'DBDir'[ ]*= *\(.*\)[ ]*$/\1/p;}' kernelite.ini

  1. readlink命令
    readlink是用来找出符号链接指向的位置,使用readlink --help to print value of symbolic link or canonical name
    -f 参数是 递归跟随给出文件名的所有符号链接以标准化
  2. grep -P -o -c命令
    -P, --perl-regexp: Interpret PATTERN as a Perl regular expression.
    -o, --only-matching: Show only the part of a matching line that matches PATTERN.
    -c,只输出匹配行的计数
    -s ,不显示不存在或无匹配文本的错误信息。
    -q: 静默模式, 不输出任何结果
    -w: does a word search 全字匹配
  3. ps命令
    显示当前进程的状态
    -e-A,显示所有进程
    -o 表示自定义显示
    -C<命令> 列出指定命令的状况
    pid=$(ps -e -o pid,args | awk '/'$SysGov'$/{print $1}')
  4. xargs
    将前一个命令的输出作为参数
    ps -e -o pid,args | egrep "$SysGov$|$SysGov .*ini$" |cut -c1-5 | xargs kill -9 2>/dev/null
    另外一个例子
    file -Lz *|grep ASCII |cut -d":" -f1 | xargs ls -ltr
  5. killall命令
    killall命令用于杀死指定名字的进程,kill是杀死指定PID的进程,但是在这之前要使用ps等命令再grep来查找进程
    ssh $i "killall -9 $UBSH 2>/dev/null
  6. scp命令
    -p 保留原文件的修改时间以及权限
    -q 不显示传输进度条
    scp -qp $srcdir/SysGovernor $SysGov
  7. ln命令
    -f 强制执行
    -s 软连接,符号链接
    第一个是源文件,第二个是目标文件,硬链接是一个档案可以有多个名称,软链接是一个特殊的档案指向另外一个档案的位置。
    ln -fs $UBClient UBClient
  8. sed命令
    sed是在线编辑器,一次处理一行内容,处理的时候把当前的行存储在临时缓冲区中,sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。
    sed 1d删除第一行
    \(..\):保存括号内匹配的字符,在上面的匹配中,括号中一般匹配到的是/
    sed 's/test/mytest/g example 将整行范围内进行替换,没有g标记,每行直邮第一个匹配的test被替换
    sed 's/\(love\)able/\1rs/p' examplelove被标记为 1,然后进行替换成lovers
    sed 's#19#100#g' example不论什么字符,紧跟着s命令的都被认为是新的分隔符,#代替了/作为分隔符
    *表示匹配0个或者多个字符
    .表示匹配一个非换行符的字符
    sed -n 取消默认输出,等同于--quiet, --silent
    sed -n '/test/,/check/p' example所有在test和check所确定的范围内的行都将被打印,主要是有p选项
    sed '/test/,/check/s/$/sed test/' example 对于模版test和check之间的行,每行的末尾都用sed test进行替换。上面的程序就是如此,只不过后面的替换s命令太长,所以就使用了{},然后里面命令后面要加分号,也就是对于每一个node的信息段,将DBDir的路径打印出来,注意-n选项的使用,以及p选项的使用。
  9. awk命令
    awk同样也是行处理器,在与屏幕处理相比较,处理庞大文件的时候不会出现内存溢出或者处理缓慢,用来格式化文本信息。
    has=$(grep -P "^$mnt\t" $autohas | awk -F '\t|:' '{print $2}' | sort -u)
    awk [-F|-f|-v] 'BEGIN{} //{command1;command2} END{}' file是awk命令形式
    awk -F '\t|:'用于指定分隔符是\t或者:
    -f 参数是调用脚本
    -v 定义变量 var=value
    $0 表示整个当前行
    $1 表示每行的第一个字段
    NF 字段数量变量
    NR 每行的纪录号,多个文件递增
    FNR 每行的记录号
    FS BEGIN定义分隔符
    RS 输入的纪录分隔符,默认是一行一行输入,换行符
    OFS 输出字段分隔符,默认是空格
    ORS 输出的纪录分隔符,默认是换行符
    -F '[:#/]' 定义三个分隔符
    awk -f script.awk file 'BEGIN{FS=":"} {print $1}'
  10. 一些例子
    1)sed与awk
    sed 's/#.*//; s/[:=]/ /g' param.ini|awk '/NodeIP/ {print ++c-1,$2}'|grep -w x139|cut -d' ' -f1
    首先sed执行了替换操作,第一个替换是把#以及后面的内容替换为空,然后是将: =这两个符号替换为空白字符串,接下来寻找有NodeIP的一行,打印c以及第二个字段,c默认初始值为0,也就是nodes的序号,然后执行精确匹配grep -w匹配出需要的nodes的行,然后获取其序号。
    2). pgrep以及awk
    ki=$(pgrep -lf $SysGov | awk '/-k/{print $NF}')
    pgrep查看进程的消息,通过进程名字来查询进程,判断程序是否在运行
    -l 表示同时显示进程名和PID
    -f 表示全部命令行,包括命令执行参数
    /-k/{print $NF} 表示匹配-k,然后NDF表示字段数量,也就是说打印出最后一个字段
    3).一个循环处理
i=0
while((i<3));do 
echo $(uptime|cut -d, -f3-|cut -d: -f2)
i=$[ $i + 1 ]
done|awk '{x += $1} END{printf "%.0f\n",x}'```
打印出3次uptime之和,因为END是当程序运行结束后才会运行的。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容

  • 知识点 sort uniq cut wc sed命令 awk命令 crontab定时器 sort sort 命令对...
  • sed与awk实例 文本间隔 在每一行后面增加一空行 将原来的所有空行删除并在每一行后面增加一空行。这样在输出的文...
    stuha阅读 1,840评论 0 21
  • linux资料总章2.1 1.0写的不好抱歉 但是2.0已经改了很多 但是错误还是无法避免 以后资料会慢慢更新 大...
    数据革命阅读 12,016评论 2 34
  • 本文承接之前写的三十分钟学会AWK一文,在学习完AWK之后,趁热打铁又学习了一下SED,不得不说这两个工具真的堪称...
    mylxsw阅读 4,361评论 3 74
  • 行走过许多地方,从未有哪里像伊春这样让我魂牵梦绕,回来一个多月了,身已远,心长留! 7月下旬,北京的桑拿天初起,我...
    简姝k阅读 577评论 0 1