1.单个文件 去除重复的行

注意：q是原文件 写你自己的文件名

命令
cat q |awk '!x[$0]++' 

也可以写作：
awk '!x[$0]++' Afile

或者把结果输出到另外一个文件w中
cat q |awk '!x[$0]++' >> w

输出结果后