Как скоро будут проиндексированы страницы?

Тут как в песне - "Может завтра, может никогда".
Если все нормально настроено в техническом плане, то потерпите с недельку. Яндекс должен начать хавать понемногу, Гугл помедленнее, он вообще в последнее время негативно удивляет...

Так вот кто этот нехороший человек который чужие (и мои) сайты парсит обогащаясь на чужом труде! Уже замахался по IP блокировать все автоматические парсеры. Правильно поисковики делают, что такие сайты не замечают! Делайте нормальные сайты и вкладывайте свой труд, а не воруйте чужой труд у других людей, делая им подляну в итоге. Сделаь и раскрутить нормальный сайт и так тяжело, вывести хоть на небольшой доход, а эти халявщики берут и всё с сайта тупо копируют, в итоге посещаемость падает.

Скорее всего нет. Можно url? Последне 4 символа домена, возможно.

Да нет, я не имел в виду Вас конкретно, просто уже так нагадили те кто парсит мой сайт, стараешься-стараешься, корпишь над каждой статьёй, а тут смотришь уже несколько сайтов парсером копируют статьи, да ещё парсеры противные каким-то образом оставляют у меня в комментариях обратные ссылки на стыренные статьи. Они берут не только у меня но и у других смежных по тематике сайтах, причём за минуту у них появляется сразу статей 10, явно автоматический парсер работает. Таких сайтов появляется всё больше и больше, если сначала я пытался бороться с ними безуспешно, по IP они никак не блокируются, всё-равно тырят каким-то образом, то потом забил на них.. Неприятно ведь, согласитесь..

Неприятно. Поставьте бесплатный CloudFlare. Я нашел английский сайт, который был вот прям идеален в плане воровства, но там стоял CloudFlare(видимо, на самой минимальной настройке защиты). Так вот, пришлось под него ставить куки в запрос + отказаться от Tor proxy + сильно ограничить кол-во запросов(ранее воровал ~500 статей в минуту, пришлось снизить до < 100, но контент того стоил). Думаю, если поставить степерь защиты по-выше, ламер вообще  не полезет, а человек который что-то шарит в разработке будет сильно заторможен.

Охотно? Несколько раз приходилось обращаться к хостерам по поводу воровства контента, включая такие как автоматические парсеры, максимум что делают хостеры так это передают жалобу владельцу сайта который никак обычно не реагирует, а зачастую они пишут, что не отвечают за действия тех кто у них хоститься.

Ну.. я в качестве прокси использую Tor. Думаю, дудосить Exit Node Tor - плохая идея)

+ в случае русских сайтов я специальными скриптами превращаю русский текст в русский с тем-же смыслом но уникальным. Даю 95%, что вы не найдете сайт, на котором использовался украденный контент.

У меня несколько топовых статей кто только не воровал, к счастью все они в опе, а мои годами в топе =))

Ну так дело в том, что я не просто ворую, а ворую на разных языках, а потом перевожу на русский.
+ сколько эти сил вам стоило? а кто-то украл, заработал 5-10к рублей и ушел в фильтр, пошел новый сайт делать

А такие парсеры на PHP пишутся или Python? И где можно подобный достать или только самому писать?

Это воообще не проблема. На PHP, например, существуют специальные фреймворки, разобраться в настройках которых для программиста - десятки минут, для непрограммиста - часы.

В теории можно и на PHP, но это извращение и вообще нельзя.
Я пишу на Python, писать нужно самому. Под известные сайты есть парсеры уже готовые(под какие-то цели). На данный момент, имея нужную информацию, думаю, знания html и 2-3 месяца изучения Python будет достаточно. Но когда я начинал - нужно было четкое понимание в том, что использовать, как это работает и для чего.

А есть ли уроки как писать такие парсеры на Python? Просто похоже тут надо иметь конкретные знания: как скачивать питоном такие странички, обрабатывать их, переводить, загружать на сервер и т.д. Можно ли чтобы скрипты работали на хостинге как-то или тут надо отдельный сервер с питоном или из компа только это делается?

У меня скрипт сразу блокирует таких хитро выдуманых парсеров по 10 ip в день. Надеюсь все их сайты будут под фильтром.

Скрипт - это не выход. Код страниц с хорошими статьями с хороших сайтов могут и вручную копировать, а потом парсить. Таким образом легко десятки статей могут своровать в день.

Спасибо за пожелания) Мой вам совет - уберите скрипт и сделайте настройку через .htaccess, поставьте cloudflare(или подобное), настройте iptables.
"скрипт" приведет к бану ip, например, если одновременно зайдет на сайт 50 сотрудников одной фирмы(соответственно, в секунды прийдет 50 запросов с одного ip)

Скрипт банит только парсеры (через .htaccess) которые лезут по всем ссылкам сразу. Обычным пользователям ничего не угрожает, независимо от количества хостов. По всем IP я получаю уведомления, так что я вижу кого баню. Сloudflare это прокси, который подменяет реальные IP на свои, можно вернуть обратно, но мне он не удобен. Также на бесплатном тарифе вы будете сидеть на общем IP, который может заблочить РКН. Выделенный IP там начинается с 200$ в месяц.

+ я использую Tor в качестве прокси, как тольконачинается очередь ошибок, она автоматически меняется