hans

cat old.txt | sort | uniq > new.txt

最初にソートし、隣接する重複したコンテンツを削除して新しいドキュメントに保存します。