Как скоро будут проиндексированы страницы?

LukentuiChannel LukentuiChannel   03.11.2019 19:47   233  

Здравствуйте.

Написал я значит небольшой сайт, автоматически парсятся сайты по игре, собираются аддоны, заливаются на сайт, в итоге получилось 6к страниц / карусель скриншотов, название, описание на русском(перевод с английского) ~1500 символов, ссылки на файлы.

Добавил сайт в Яндекс/Google 31 числа, 3 числа Google проиндексировал 10 страниц, Яндекс 1 :/

Никогда таким до этого не занимался, ничего не знаю. На какой срок стоит рассчитывать?

P.S Доргены не использовал, сам написал сайт+парсер, решил посмотреть что из этого выйдет

P.S.S sitemap есть, в яндекс даже добавил ~6k турбо-страниц(как ни странно, он их проиндексировал за день)


Ответы на вопрос (20) Написать ответ
Eserador Eserador   03.11.2019 20:07
Тут как в песне - "Может завтра, может никогда".
Если все нормально настроено в техническом плане, то потерпите с недельку. Яндекс должен начать хавать понемногу, Гугл помедленнее, он вообще в последнее время негативно удивляет...
0
Sheyb Sheyb   03.11.2019 22:09
Так вот кто этот нехороший человек который чужие (и мои) сайты парсит обогащаясь на чужом труде! Уже замахался по IP блокировать все автоматические парсеры. Правильно поисковики делают, что такие сайты не замечают! Делайте нормальные сайты и вкладывайте свой труд, а не воруйте чужой труд у других людей, делая им подляну в итоге. Сделаь и раскрутить нормальный сайт и так тяжело, вывести хоть на небольшой доход, а эти халявщики берут и всё с сайта тупо копируют, в итоге посещаемость падает.
10
LukentuiChannel LukentuiChannel   04.11.2019 00:08
Скорее всего нет. Можно url? Последне 4 символа домена, возможно.
0
Sheyb Sheyb   04.11.2019 04:19
Да нет, я не имел в виду Вас конкретно, просто уже так нагадили те кто парсит мой сайт, стараешься-стараешься, корпишь над каждой статьёй, а тут смотришь уже несколько сайтов парсером копируют статьи, да ещё парсеры противные каким-то образом оставляют у меня в комментариях обратные ссылки на стыренные статьи. Они берут не только у меня но и у других смежных по тематике сайтах, причём за минуту у них появляется сразу статей 10, явно автоматический парсер работает. Таких сайтов появляется всё больше и больше, если сначала я пытался бороться с ними безуспешно, по IP они никак не блокируются, всё-равно тырят каким-то образом, то потом забил на них.. Неприятно ведь, согласитесь..
0
LukentuiChannel LukentuiChannel   04.11.2019 08:58
Неприятно. Поставьте бесплатный CloudFlare. Я нашел английский сайт, который был вот прям идеален в плане воровства, но там стоял CloudFlare(видимо, на самой минимальной настройке защиты). Так вот, пришлось под него ставить куки в запрос + отказаться от Tor proxy + сильно ограничить кол-во запросов(ранее воровал ~500 статей в минуту, пришлось снизить до < 100, но контент того стоил). Думаю, если поставить степерь защиты по-выше, ламер вообще  не полезет, а человек который что-то шарит в разработке будет сильно заторможен.
0
v3663 v3663   05.11.2019 20:51
Жалуйтесь хостерам этих негодяев. Хорошие хостинги охотно реагируют на такие жалобы. Если не отреагируют, дидосьте.
0
Решение
Sheyb Sheyb   06.11.2019 00:40
Охотно? Несколько раз приходилось обращаться к хостерам по поводу воровства контента, включая такие как автоматические парсеры, максимум что делают хостеры так это передают жалобу владельцу сайта который никак обычно не реагирует, а зачастую они пишут, что не отвечают за действия тех кто у них хоститься.
0
LukentuiChannel LukentuiChannel   06.11.2019 18:42
Ну.. я в качестве прокси использую Tor. Думаю, дудосить Exit Node Tor - плохая идея)
0
LukentuiChannel LukentuiChannel   06.11.2019 18:43
+ в случае русских сайтов я специальными скриптами превращаю русский текст в русский с тем-же смыслом но уникальным. Даю 95%, что вы не найдете сайт, на котором использовался украденный контент.
0
dasig dasig   04.11.2019 10:23
У меня несколько топовых статей кто только не воровал, к счастью все они в опе, а мои годами в топе =))
0
LukentuiChannel LukentuiChannel   04.11.2019 10:40
Ну так дело в том, что я не просто ворую, а ворую на разных языках, а потом перевожу на русский.
+ сколько эти сил вам стоило? а кто-то украл, заработал 5-10к рублей и ушел в фильтр, пошел новый сайт делать
0
Sheyb Sheyb   05.11.2019 20:39
А такие парсеры на PHP пишутся или Python? И где можно подобный достать или только самому писать?
0
v3663 v3663   06.11.2019 07:03
Это воообще не проблема. На PHP, например, существуют специальные фреймворки, разобраться в настройках которых для программиста - десятки минут, для непрограммиста - часы.
0
LukentuiChannel LukentuiChannel   06.11.2019 18:41
В теории можно и на PHP, но это извращение и вообще нельзя.
Я пишу на Python, писать нужно самому. Под известные сайты есть парсеры уже готовые(под какие-то цели). На данный момент, имея нужную информацию, думаю, знания html и 2-3 месяца изучения Python будет достаточно. Но когда я начинал - нужно было четкое понимание в том, что использовать, как это работает и для чего.
1
Sheyb Sheyb   07.11.2019 22:58
А есть ли уроки как писать такие парсеры на Python? Просто похоже тут надо иметь конкретные знания: как скачивать питоном такие странички, обрабатывать их, переводить, загружать на сервер и т.д. Можно ли чтобы скрипты работали на хостинге как-то или тут надо отдельный сервер с питоном или из компа только это делается?
0
wprazor wprazor   04.11.2019 11:17
У меня скрипт сразу блокирует таких хитро выдуманых парсеров по 10 ip в день. Надеюсь все их сайты будут под фильтром.
0
v3663 v3663   06.11.2019 06:57
Скрипт - это не выход. Код страниц с хорошими статьями с хороших сайтов могут и вручную копировать, а потом парсить. Таким образом легко десятки статей могут своровать в день.
0
LukentuiChannel LukentuiChannel   06.11.2019 18:46
Спасибо за пожелания) Мой вам совет - уберите скрипт и сделайте настройку через .htaccess, поставьте cloudflare(или подобное), настройте iptables.
"скрипт" приведет к бану ip, например, если одновременно зайдет на сайт 50 сотрудников одной фирмы(соответственно, в секунды прийдет 50 запросов с одного ip)
0
wprazor wprazor   07.11.2019 13:05
Скрипт банит только парсеры (через .htaccess) которые лезут по всем ссылкам сразу. Обычным пользователям ничего не угрожает, независимо от количества хостов. По всем IP я получаю уведомления, так что я вижу кого баню. Сloudflare это прокси, который подменяет реальные IP на свои, можно вернуть обратно, но мне он не удобен. Также на бесплатном тарифе вы будете сидеть на общем IP, который может заблочить РКН. Выделенный IP там начинается с 200$ в месяц.

bc7958a50da728d477b72e5be73b2215.JPG
0
LukentuiChannel LukentuiChannel   06.11.2019 18:52
+ я использую Tor в качестве прокси, как тольконачинается очередь ошибок, она автоматически меняется
0

Войдите, чтобы написать ответ
Вход Регистрация

Антикризисное продвижение! Продвижение от 10 рублей за слово