linux去重复命令

作者：空白篇pia~ 发布日期:2026-06-07 浏览:94

# 使用 sort 和 uniq 命令去重
# 说明：先使用 sort 对文件内容进行排序，然后使用 uniq 去除相邻的重复行

# 示例：假设有一个文件名为 input.txt
sort input.txt | uniq > output.txt

# 如果需要去除所有重复行（不仅仅是相邻的），可以使用以下命令：
sort input.txt | uniq -u > output.txt

# 如果需要保留第一个出现的重复项，可以使用 awk：
awk '!seen[$0]++' input.txt > output.txt

# 如果需要在不排序的情况下去除重复行，可以使用以下命令：
grep -Fxv -f <(grep -Fxv -f input.txt input.txt) input.txt > output.txt

以上代码展示了如何在 Linux 中使用不同的命令来去除文件中的重复行。

上一篇：linux批量删除文件

下一篇：查看日志命令linux