Подскажите есть ли скрипт или софт для поиска дублей ?

promolink promolink   22.12.2012 05:26   577  
Есть текстовый документ, в нем находятся стихи, каждый стих идет с новой строки, вот примерно так:

Достигли мы своей вершины, в стране загадочных скриптов,
И интернет своей любовью обнял нас индексом с тобой.
Но дядя Яша, злой наш гений, решил урок нам преподать,
И стал веб-мастерам упрямо, свои он правила пихать.

***

Терпел тирана наш веб-мастер, а дяде Яше наплевать,
Задумал он в свой индекс грешный, партнеров сайты размещать.
Один каталог дяди Яши вселят в нас земной покой,
Жаль регистрация бесплатна, там не доступна нам с тобой.

***

....

и так далее ...

Так вот нужен софт или скрипт который поможет искать и удалять одинаковые стихи (дубли) автоматически или полуавтоматически, короче говоря упростить работу.

Количество стихов более 10000 так что ручками делать такую работу не предлагайте. 

Ответы на вопрос (6) Написать ответ
evoman evoman   22.12.2012 06:39
Notepad++ (находит заменяет удаляет итд итп)
0
promolink promolink   22.12.2012 18:24
Notepad++ для этого также не подходит, или я не нашел такой функции в нем.
Да, он может находить, заменять, удалять, но мне нужно что бы программа сама нашла все дубли и удалила, а тут получается надо указывать например одну строку или слово, и тогда идет поиск дублирования этой строки или слова, это тоже не то что нужно. Спасибо за помощь.
0
minsky minsky   22.12.2012 07:57
TextDuplicateKiller1.1
0
promolink promolink   22.12.2012 18:13
Спасибо, но немного не то, функционал программы не подходит.
0
mikef mikef   22.12.2012 09:39
Могу за $ написать локальную программу, которая автоматически будет это делать, нажатием одной кнопки. Если интересно, то пишите в личку.
0
promolink promolink   22.12.2012 21:45
Всем спасибо за помощь и советы. Данную проблему решил с помощью Excel.
Каждую отдельную запись помещаю в отдельную ячейку столбца, потом - Данные - Удалить дубликаты.
0

Войдите, чтобы написать ответ
Вход Регистрация

Гарант сделок продажи и покупки сайтов, всего за 5%.