linux去除重复行命令 重复行不固定。不是相邻的 求命令

发布网友 发布时间:2022-04-23 06:05

我来回答

5个回答

热心网友 时间:2023-09-08 08:51

awk '!a[$0]++' file  这个去重貌似挺好的。

再结合sort排序就好了。

awk '!a[$0]++' file | sort  

举例:

cat test.txt 
b
b
a
a
c
c

awk '!a[$0]++' test.txt |sort >sorted.txt

cat sorted.txt 
a
b
c

热心网友 时间:2023-09-08 08:51

[root@-xl ~]# vim 1.sh
aaa
bbb
ccc
aaa
ddd
eee
bbb
ddd

[root@-xl~]# cat 1.sh |sort -u > xx.txt

[root@-xl ~]# vim xx.txt
aaa
bbb
ccc
ddd
eee

追问

我的QQ。能加下帮我解决下吗

追答我现在不能上QQ,上面不是已经写出结果了么,还要什么效果?

热心网友 时间:2023-09-08 08:52

sort aaa.txt | uniq > xxx.txt

热心网友 时间:2023-09-08 08:52

是可以的, 如果你不是学生做实验的话, 你可以私信我

热心网友 时间:2023-09-08 08:53

sort -u xxx.txt

声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com