详解Linux uniq命令:从文件中删除重复的行

  • Post category:Linux

uniq 命令是一个用于文本文件去重的工具,它能将重复的行过滤掉,只保留不重复的部分。下面是该命令的详细使用方法:

命令格式

uniq 命令的基本语法如下:

uniq [OPTION]... [INPUT [OUTPUT]]

命令参数

uniq 命令支持的选项参数如下:

  • -c : 显示每行重复出现的次数。
  • -d : 只显示重复的行。
  • -i : 将字符大小写视为相同。
  • -f N : 忽略前 N 个字段。
  • -s N : 忽略前 N 个字符。

例子

示例一:简单去重

假设有一个文本文件 example.txt,需要去重。可以使用以下命令:

uniq example.txt

执行该命令后,example.txt 文件中的所有重复行都会被过滤掉,只留下不重复的行,结果将直接输出到终端。

示例二:统计重复行出现次数

假如需要统计 example.txt 文件中每个行出现的次数,可以使用以下命令:

uniq -c example.txt

执行该命令后,会输出每个重复的行出现的次数和该行的具体内容。最后还会输出一个没有重复的行的统计信息。

总结

uniq 命令是一个可以帮助用户快速去重的工具,它一般用于文本文件的处理。在使用该命令时,需要选择合适的参数进行搭配,以满足具体的需求。