linux去重

作者：殘月殺手发布日期:2026-06-02 浏览:78

# 使用 sort 和 uniq 命令去重
# 说明：先使用 sort 对文件内容进行排序，然后使用 uniq 去除相邻的重复行

# 示例代码：
sort file.txt | uniq > unique_file.txt

# 如果文件已经是排序过的，可以直接使用 uniq 命令
uniq sorted_file.txt > unique_sorted_file.txt

# 使用 awk 命令去重（无需排序）
# 说明：awk 会遍历文件并记录每行的内容，只输出第一次出现的行

# 示例代码：
awk '!seen[$0]++' file.txt > unique_file.txt

# 使用 sed 命令去重（适用于简单的文本处理）
# 说明：sed 可以通过脚本去除相邻的重复行

# 示例代码：
sed '$!N; /^\(.*\)\n\1$/!P; D' file.txt > unique_file.txt

下一篇：linux定时关机命令