linux文本处理常用命令--初级

今天莫名其妙会自由泳了,好开心!

1. >

">" 用于定向输出到文件,如果文件不存在,就会创建文件;如果文件存在,会源文件内容清空,再写入。

$ echo Hello World > hello.txt  # 将'Hello World'写入hello.txt
$ echo ''>hello.txt #清空hello.txt文件内容

2. >>

跟">"不同的是,">>"符并不会清空原文件内容,而是在文件结尾追加。

$ echo Hello World > hello.txt # 将'Hello World'写入hello.txt
$ echo My name is Leo >> hello.txt # 将''My name is Leo" 追加在hello.txt文件最后

3. |

"|"管道符将前面的输出信息作为输入信息交给下一个命令继续处理。

$ ls -a /etc | less # 用less命令查看 /etc目录下的文件信息
$ px -aux | grep nginx # 显示含有'nginx'的进程

4. tee

'tee'双重定向,存到文件/设备的同时也输出到屏幕,可以不打断当前操作。

$ ls | tee save_ls.txt 

5. cut

'cut'将一段信息的某一段切割出来,处理信息的单位是行。

$ cat hello.txt # 现有的文件
hello world
My name is Leo

$ cut -c 2 hello.txt # 切割出每行的第二个字符
e
y

$ cut -c 2-4 hello.txt # 切割出每行的第二到第四个字符
ell
y n

$ cut -f 2 -d ' ' hello.txt #  切割出用空格分割的每行第2段, -f 以段分割, -d 指定分割符,默认为TAB
world
name

6.paste

'paste' 跟cat命令相似,不同的是paste可以让所有行合并成一行输出。

$ cat hello.txt  # 现有的文件
hello
world
$ cat name.txt # 现有的文件
My
name
is
Leo
$ paste hello.txt # 现有的文件
hello
world
$ paste name.txt # 现有的文件
My
name
is
Leo

$ paste -s hello.txt # 合并成一行输出hello.txt的内容,默认以TAB分割
hello   world

$ paste -s -d ',' name.txt # 以逗号分割
My,name,is,Leo

$ paste -s -d ' ' hello.txt name.txt # 同时操作多个文件也可以
hello world
My name is Leo

7. head

'head' 显示文件/文本最前面的信息

$ head -n 15 /var/log/syslog # 显示前15行
$ head -c 15 /var/log/syslog # 显示前15个字符

8. tail

'tail' 显示文件/文本最后面的信息

$ tail -n 10 /var/log/syslog # 显示最后10行
$ tail -f /var/log/syslog # 持续输出最新写入的信息(非常实用)

9. expand

'expand' 将TAB转化成空格

$ expand -t 4 sample.txt > result.txt # 将文件里的每个tab用4个空格代替

10. join

'join' 将两个文件当中有相同数据的那一行加在一起。顺序要一致。

$ cat file1.txt
1 Loe
2 Hh
3 Yy
$ cat file3.txt
1 100
2 99
3 88
$ join file1.txt file3.txt
1 Loe 100
2 Hh 99
3 Yy 88

$ cat file1.txt
1 Loe
2 Hh
3 Yy
$ cat file4.txt
100 1
99 2
88 3
$ join -1 1 -2 2 file1.txt file4.txt
1 Loe 100
2 Hh 99
3 Yy 88

11. split

'split'将一个文件分隔成若干个文件。

$ ls
file1.txt
$ cat file1.txt
1 Loe
2 Hh
3 Yy

$ split -l 1 file1.txt # 已一行为单位分隔file1.txt文件
$ ls # 分隔出来的文件默认已x**命名
file1.txt  xaa  xab  xac 

$ cat xaa
1 Loe
$ cat xab
2 Hh
$ cat xac
3 Yy

11. sort

'sort'用于排序。

$ sort file1.txt
$ sort -r file1.txt # 倒序

12. uniq

'uniq' 用于去重。

$ cat name.txt
Leo
Leo
Hh
Hh
Yy
Yy
Ky
$ uniq name.txt # 去重显示,重复的显示一次
Leo
Hh
Yy
Ky
$ uniq -c name.txt # 统计每个出现的次数
      2 Leo
      2 Hh
      2 Yy
      1 Ky
$ uniq -u name.txt # 只显示不重复的
Ky
特别要注意的是:uniq命令只能去重连续的数据!
$ cat name.txt
Leo
Hh
Leo
Hh
Yy
Ky
Yy
$ uniq -c name.txt
      1 Leo
      1 Hh
      1 Leo
      1 Hh
      1 Yy
      1 Ky
      1 Yy
$ uniq name.txt
Leo
Hh
Leo
Hh
Yy
Ky
Yy
所以去重操作一般都要结合上面介绍的 '|' 和 'sort' 命令来处理。
$ sort name.txt | uniq
Hh
Ky
Leo
Yy

13. wc

'wc'(word count)用于统计文本信息。-l 行数 -w 单词数 -c字节数

$ wc /etc/passwd # 行数 单词数 字节数
  29   40 1457 /etc/passwd
$ wc -l /etc/passwd # 统计行数
29 /etc/passwd

14. grep

'grep' 文本匹配。

$ cat test # 现有的文件
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/bin/false,aaa,bbbb,cccc,aaaaaa
DADddd:x:2:2:daemon:/sbin:/bin/false
mail:x:8:12:mail:/var/spool/mail:/bin/false
ftp:x:14:11:ftp:/home/ftp:/bin/false
&nobody:$:99:99:nobody:/:/bin/false
Leo:x:1000:100:,,,:/home/Leo:/bin/bash
http:x:33:33::/srv/http:/bin/false
dbus:x:81:81:System message bus:/:/bin/false
hal:x:82:82:HAL daemon:/:/bin/false
mysql:x:89:89::/var/lib/mysql:/bin/false
aaa:x:1001:1001::/home/aaa:/bin/bash
ba:x:1002:1002::/home/Leo:/bin/bash
test:x:1003:1003::/home/test:/bin/bash
@Loe:*:1004:1004::/home/test:/bin/bash
policykit:x:102:1005:Po

$ grep root test
root:x:0:0:root:/root:/bin/bash # 匹配含有root的行

$ cat test | grep -n root # 匹配含有root的行,并输出行号
1:root:x:0:0:root:/root:/bin/bash

$ cat test  | grep '^\(root\|http\)' # 匹配以 root或http开头的行
root:x:0:0:root:/root:/bin/bash
http:x:33:33::/srv/http:/bin/false

15. tr

'tr'(translate) 从标准输入中替换、缩减和/或删除字符,并将结果写到标准输出。

$ echo Leo| tr a-z A-Z # 小写转成大写
LEO
$ echo Leo | tr 'e' 'a' # e 改成 a
Lao
$ echo Leo | tr -d 'e' # 删除 d
Lo
$ echo Leeoe | tr -s [a-zA-Z] # 删除重复的字母
Leoe
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,585评论 4 365
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,923评论 1 301
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 110,314评论 0 248
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,346评论 0 214
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,718评论 3 291
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,828评论 1 223
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,020评论 2 315
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,758评论 0 204
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,486评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,722评论 2 251
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,196评论 1 262
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,546评论 3 258
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,211评论 3 240
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,132评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,916评论 0 200
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,904评论 2 283
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,758评论 2 274

推荐阅读更多精彩内容

  • 本文笔记源自这里——[实验楼]欢迎大家在下面交流其中有问题的地方喜欢请点收藏,每日更新(全部已亲自实践). 一. ...
    东皇Amrzs阅读 3,853评论 7 54
  • 命令行的艺术 前言 基础 日常使用 文件及数据处理 系统调试 单行脚本 冷门但有用 仅限 OS X 系统 仅限 W...
    进击的诺基亚阅读 3,801评论 0 19
  • 基础 1. 学习基础的bash用法,具体地说,阅读bash的man手册(man bash 并通读一遍);很简...
    Leon_Geo阅读 1,094评论 1 19
  • linux资料总章2.1 1.0写的不好抱歉 但是2.0已经改了很多 但是错误还是无法避免 以后资料会慢慢更新 大...
    数据革命阅读 12,028评论 2 34
  • 第1章 小试牛刀 $ 是普通用户,# 表示管理员用户 root。 shebang:#!。sharp / hash ...
    巴喬書摘阅读 6,256评论 1 4