Подскажите есть ли скрипт или софт для поиска дублей ?

Question

Подскажите есть ли скрипт или софт для поиска дублей ?

Есть текстовый документ, в нем находятся стихи, каждый стих идет с новой строки, вот примерно так:

Достигли мы своей вершины, в стране загадочных скриптов,
И интернет своей любовью обнял нас индексом с тобой.
Но дядя Яша, злой наш гений, решил урок нам преподать,
И стал веб-мастерам упрямо, свои он правила пихать.

***

Терпел тирана наш веб-мастер, а дяде Яше наплевать,
Задумал он в свой индекс грешный, партнеров сайты размещать.
Один каталог дяди Яши вселят в нас земной покой,
Жаль регистрация бесплатна, там не доступна нам с тобой.

***

....

и так далее ...

Так вот нужен софт или скрипт который поможет искать и удалять одинаковые стихи (дубли) автоматически или полуавтоматически, короче говоря упростить работу.

Количество стихов более 10000 так что ручками делать такую работу не предлагайте.

0

поиск дублей

Ответы на пост (6)

Этот раздел заморожен и является архивом. Новые ответы добавлять нельзя.

Answer 1

evoman

0

22.12.2012 06:39

Notepad++ (находит заменяет удаляет итд итп)

0

Answer 2

Notepad++ для этого также не подходит, или я не нашел такой функции в нем.
Да, он может находить, заменять, удалять, но мне нужно что бы программа сама нашла все дубли и удалила, а тут получается надо указывать например одну строку или слово, и тогда идет поиск дублирования этой строки или слова, это тоже не то что нужно. Спасибо за помощь.

Answer 3

minsky

405

22.12.2012 07:57

TextDuplicateKiller1.1

0

Answer 4

Спасибо, но немного не то, функционал программы не подходит.

Answer 5

Могу за $ написать локальную программу, которая автоматически будет это делать, нажатием одной кнопки. Если интересно, то пишите в личку.

Answer 6

Всем спасибо за помощь и советы. Данную проблему решил с помощью Excel.
Каждую отдельную запись помещаю в отдельную ячейку столбца, потом - Данные - Удалить дубликаты.

Подскажите есть ли скрипт или софт для поиска дублей ?

Похожие посты

Анализ сайта