Необходима программа для удаления слов-дубликатов.

Программа предназначена для удаления слов-дубликатов и слов-клонов, а также словосочетаний-дубликатов и словосочетаний-клонов.
Различие между "дубликатами" и "клонами":
дубликаты это полностью одинаковые слова/словосочетания, например:
банка,