常用命令: sort学习笔记

本文的sort命令是GNU版本(8.22), 和BSD的sort不同

sort是我最常用Linux命令之一，它的功能就是排序，一般后面还会和uniq搭配，对数据进行去重。

下面的操作假设你有一个文件，叫做chr.txt, 内容如下, 不同列之间用制表符分隔

Chr3    20251812    20254323    +
Chr1    471971  473336  -
Chr3    21701520    21703114    +
Chr3    18709613    18710836    +
Chr5    25645209    25646845    -
Chr1    3055231 3056997 -
Chr1    28881539    28885023    +

最简单的用法就是只给一个文件作为输入，默认就是从左到右逐个字符的进行比较，

$ sort chr.txt
Chr1    28881539    28885023    +
Chr1    3055231 3056997 -
Chr1    471971  473336  -
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -

默认是从小到大，也可以用-r, --reverse实现从大到小进行排序

$ sort -r chr.txt
Chr5    25645209    25646845    -
Chr3    21701520    21703114    +
Chr3    20251812    20254323    +
Chr3    18709613    18710836    +
Chr1    471971  473336  -
Chr1    3055231 3056997 -
Chr1    28881539    28885023    +

如果你想指定某一列进行排序，需要用到参数-k, --key=KEYDEF, 其中KEYDEF就是你指定的列

$ sort -k2 chr.txt 
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -
Chr1    28881539    28885023    +
Chr1    3055231 3056997 -
Chr1    471971  473336  -

你会发现一个不对劲的情况，为啥28881539会比3055231小？因为默认情况下，sort将数字当做字符处理，从左到右，逐个比较字符，在第一个数字上，2是比3小，因此28881539在前3055231在后。如果你需要按照数值大小进行排序，那么就需要一个额外参数-n,--numeric-sort

$ sort -nk2 chr.txt
Chr1    471971  473336  -
Chr1    3055231 3056997 -
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -
Chr1    28881539    28885023    +

那能不能先根据第一列然后根据第二列排序呢？

$ sort  -k1,1 -k2,2n chr.txt
Chr1    471971  473336  -
Chr1    3055231 3056997 -
Chr1    28881539    28885023    +
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -

你可能对这里面-k1,1 -k2,2n感觉特别的奇怪，这是因为我还没有说明KEYDEF到底是什么

KEYDEF的定义是 F[.C][OPTS][,F][.C][OPTS]]。这里[]就是可填可不填的意思，例如一开始的k2就是只填了第一个F。F表示filed, 也就是列，这里一共有两个F，分别用于排序键值的起始位置列和结束位置列。举个例子

$ sort -k1,2 chr.txt 
Chr1    28881539    28885023    +
Chr1    3055231 3056997 -
Chr1    471971  473336  -
Chr3    18709613    18710836    +
Chr3    20251812    20254323    +
Chr3    21701520    21703114    +
Chr5    25645209    25646845    -

效果就是将第一列和第二列进行合并，然后从左到右进行逐个比较。

.C适用于Chr23 和 Chr2这种字符和数字混合的情况，我们希望Chr2 < Chr23，但是默认是Chr23 > Chr2. .C表示从第C个位置开始，当做数字处理

$ cat test.txt 
Chr1
Chr23
Chr2
$ sort -k1.4 test.txt
Chr1
Chr2
Chr23

最后OPTS表示该列的排序类型，可选项是 [bdfgiMhnRrV], 我比较常用的就是n和r。

那么-k1,1 -k2,2n就很好理解了，就是先按照第一列排序，然后按照第二列排序，其中第二列是数值型数据。

除了按数字排序，sort还支持按照月份缩写-M,--month-sort, 例如'JAN'<'DEC', 人类可读数值-h,--human-numeric-sort, 例如 2K < 1G。

如果你的输入内容是 0.04,1,123,1e-10,3.23 这种数字记录类型，sort也提供-g,--general-numeric-sort,对其排序

$ sort numbers.txt 
0.04
1
123
1e-10
3.23
$ sort -g numbers.txt
1e-10
0.04
1
3.23
123

还有一个和软件版本开发相关的排序-V, --version-sort。你是不是觉得1.21 的版本比 1.3新。然而在软件开发领域，1.3 比1.21新

$ sort -V version.txt 
1.3
1.21

其他你可能会用得到的参数

-b: 获取开头的空白
-f: 忽略大小写
--parallel=N: 并行
-o, --output=FILE: 指定输出文件，而非标准输出
-c, --check: 检查是否排序, 输出第一个排序不对的位置
-C, --check=quiet, --check=silent: 检查是否排序，没有任何输出，echo $?返回1
-t, --field-separator=SEP: 默认是空格分隔，可以指定分隔符
-m,--merge: 合并已经排序的文件