16boke - 一路博客

linux命令之sort命令

sort命令是帮我们依据不同的数据类型进行排序,sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出,其语法及常用参数格式:

sort [-bcfMnrtk][源文件][-o 输出文件] 

补充说明:sort可针对文本文件的内容,以行为单位来排序,默认的排序方式是升序。

参数:

  -b:忽略每行前面开始出的空格字符。

  -c:检查文件是否已经按照顺序排序。

  -f:排序时,忽略大小写字母。

  -M:将前面3个字母依照月份的缩写进行排序。

  -n:依照数值的大小排序。number

  -o<输出文件>:将排序后的结果存入指定的文件。

  -r:以相反的顺序来排序。Reverse

  -t<分隔字符>:指定排序时所用的栏位分隔字符。

  -k:选择以哪个区间进行排序。

-u:在输出行中去除重复行。unique

1、sort的-u选项

[zookeeper@master rh]$ cat seq.txt
banana
apple
pear
orange
pear

[zookeeper@master rh]$ sort seq.txt 
apple
banana
orange
pear
pear
[zookeeper@master rh]$ sort -u seq.txt
apple
banana
orange
pear

2、sort的-r选项

[zookeeper@master rh]$ cat number.txt
1
3
5
7
11
2
4
6
10
8
9
[zookeeper@master rh]$ sort number.txt  --sort默认的排序方式是升序
1
10
11
2
3
4
5
6
7
8
9
[zookeeper@master rh]$ sort -n number.txt 
--排序程序将这些数字按字符来排序了,排序程序会先比较1和2,显然1小,所以就将10放在2前面
1
2
3
4
5
6
7
8
9
10
11
[zookeeper@master rh]$ sort -n -r number.txt      --r表示降序,n表示按数字进行排序
11
10
9
8
7
6
5
4
3
2
1

3、sort的-o选项

由于sort默认是把结果输出到标准输出,所以需要用重定向才能将结果写入文件,形如sort filename > newfile。

但是,如果你想把排序结果输出到原文件中,用重定向可就不行了。

[zookeeper@master rh]$ sort -n -r number.txt -o number.txt
[zookeeper@master rh]$ cat number.txt
11
10
9
8
7
6
5
4
3
2
1

4、sort的-t和-k选项

需求:下面文件有三列,列与列之间用冒号隔开了,第一列表示水果类型,第二列表示水果数量,第三列表示水果价格。那么我想以水果数量来排序,也就是以第二列来排序,如何利用sort实现?sort提供了-t选项,后面可以设定间隔符

[zookeeper@master rh]$ cat facebook.txt
banana:30:5.5
apple:10:2.5
pear:90:2.3
orange:20:3.4
[zookeeper@master rh]$ sort -n -k 2 -t : facebook.txt
apple:10:2.5
orange:20:3.4
banana:30:5.5
pear:90:2.3

4.1、准备素材

第一个域是公司名称,第二个域是公司人数,第三个域是员工平均工资

[root@FDMdevBI opt]# cat testsort.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

4.2、让这个文件按公司的字母顺序排序,也就是按第一个域进行排序

[root@FDMdevBI opt]# sort -t ' ' -k 1 testsort.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

4.3、按公司人数排序

[root@FDMdevBI opt]# sort -n -t ' ' -k 2 testsort.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

4.4、按照公司人数排序,人数相同按照员工平均工资升序排序

[root@FDMdevBI opt]# sort -n -t ' ' -k2 -k3 testsort.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

4.5、按照员工工资降序排序,如果员工人数相同的,则按照公司人数升序排序

[root@FDMdevBI opt]# sort -n -t ' ' -k3r -k2 testsort.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

也可以这样,将-n加到列后台,然后去掉前面的-n
[root@FDMdevBI opt]# sort -t ' ' -k3rn -k2n testsort.txt 
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

5、sort的-k选项

-k选项的语法格式,如下:

[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]

这个语法格式可以被其中的逗号(“,”)分为两大部分,Start部分和End部分。

先给你灌输一个思想,那就是“如果不设定End部分,那么就认为End被设定为行尾”。这个概念很重要的,但往往你不会重视它。

Start部分也由三部分组成,其中的Modifier部分就是我们之前说过的类似n和r的选项部分。我们重点说说Start部分的FStart和C.Start。

C.Start也是可以省略的,省略的话就表示从本域的开头部分开始。之前例子中的-k 2和-k 3就是省略了C.Start的例子喽。

FStart.CStart,其中FStart就是表示使用的域,而CStart则表示在FStart域中从第几个字符开始算“排序首字符”。

同理,在End部分中,你可以设定FEnd.CEnd,如果你省略.CEnd,则表示结尾到“域尾”,即本域的最后一个字符。或者,如果你将CEnd设定为0(零),也是表示结尾到“域尾”。

5.1、突发奇想,从公司英文名称的第二个字母开始进行排序

[root@FDMdevBI opt]# sort -t ' ' -k1.2 testsort.txt
baidu 100 5000
sohu 100 4500
google 110 5000
guge 50 3000

我们使用了-k 1.2,这就表示对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。你会发现baidu因为第二个字母是a而名列榜首。sohu和 google第二个字符都是o,但sohu的h在google的o前面,所以两者分别排在第二和第三。guge只能屈居第四了。

5.2、只针对公司英文名称的第二个字母进行排序,如果相同的按照员工工资进行降序排序

[root@FDMdevBI opt]# sort -t ' ' -k1.2,1.2 -k3,3nr testsort.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

由于只对第二个字母进行排序,所以我们使用了-k 1.2,1.2的表示方式,表示我们“只”对第二个字母进行排序。(如果你问“我使用-k 1.2怎么不行?”,当然不行,因为你省略了End部分,这就意味着你将对从第二个字母起到本域最后一个字符为止的字符串进行排序)。对于员工工资进行排 序,我们也使用了-k 3,3,这是最准确的表述,表示我们“只”对本域进行排序,因为如果你省略了后面的3,就变成了我们“对第3个域开始到最后一个域位置的内容进行排序” 了。

5.3、在modifier部分还可以用到哪些选项?

可以用到b、d、f、i、n 或 r。

其中n和r你肯定已经很熟悉了。

b表示忽略本域的签到空白符号。

d表示对本域按照字典顺序排序(即,只考虑空白和字母)。

f表示对本域忽略大小写进行排序。

i表示忽略“不可打印字符”,只针对可打印字符进行排序。(有些ASCII就是不可打印字符,比如\a是报警,\b是退格,\n是换行,\r是回车等等)

5.4、-k和-u联合使用

[root@FDMdevBI opt]# cat testsort.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500
[root@FDMdevBI opt]# sort -n -k2 testsort.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000
[root@FDMdevBI opt]# sort -n -k2 -u testsort.txt
guge 50 3000
baidu 100 5000
google 110 5000

当设定以公司员工域进行数值排序,然后加-u后,sohu一行就被删除了!原来-u只识别用-k设定的域,发现相同,就将后续相同的行都删除。

[root@FDMdevBI opt]# sort -k1 -u testsort.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500
[root@FDMdevBI opt]# sort -k1.1,1.1 -u testsort.txt
baidu 100 5000
google 110 5000
sohu 100 4500

当设置了两层排序优先级的情况下,使用-u就没有删除任何行。原来-u是会权衡所有-k选项,将都相同的才会删除,只要其中有一级不同都不会轻易删除的

[root@FDMdevBI opt]# sort -n -k2 -k3 -u testsort.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

sort