ファイルから重複しているデータを抽出する

ファイルから重複しているデータを調べる方法ですが、コマンドを使う場合は以下のようになります。

sort hoge.txt > hoge2.txt
uniq -d hoge2.txt

-dオプションで、重複している行を削除せずに表示だけします。

予めソートをしておく必要があります。

重複行を削除してファイルに書き出す場合は

uniq hoge2.txt hoge3.txt