SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Как скоро будут проиндексированы страницы?

IvanO-f IvanO-f  
1
  03.11.2019 19:47       772    

Здравствуйте.

Написал я значит небольшой сайт, автоматически парсятся сайты по игре, собираются аддоны, заливаются на сайт, в итоге получилось 6к страниц / карусель скриншотов, название, описание на русском(перевод с английского) ~1500 символов, ссылки на файлы.

Добавил сайт в Яндекс/Google 31 числа, 3 числа Google проиндексировал 10 страниц, Яндекс 1 :/

Никогда таким до этого не занимался, ничего не знаю. На какой срок стоит рассчитывать?

P.S Доргены не использовал, сам написал сайт+парсер, решил посмотреть что из этого выйдет

P.S.S sitemap есть, в яндекс даже добавил ~6k турбо-страниц(как ни странно, он их проиндексировал за день)


Ответы на пост (20) Написать ответ
Ouroboros Ouroboros
1446
03.11.2019 20:07
Тут как в песне - "Может завтра, может никогда".
Если все нормально настроено в техническом плане, то потерпите с недельку. Яндекс должен начать хавать понемногу, Гугл помедленнее, он вообще в последнее время негативно удивляет...
0
Sheyb Sheyb
39
03.11.2019 22:09
Так вот кто этот нехороший человек который чужие (и мои) сайты парсит обогащаясь на чужом труде! Уже замахался по IP блокировать все автоматические парсеры. Правильно поисковики делают, что такие сайты не замечают! Делайте нормальные сайты и вкладывайте свой труд, а не воруйте чужой труд у других людей, делая им подляну в итоге. Сделаь и раскрутить нормальный сайт и так тяжело, вывести хоть на небольшой доход, а эти халявщики берут и всё с сайта тупо копируют, в итоге посещаемость падает.
10
IvanO-f IvanO-f
1
04.11.2019 00:08
Скорее всего нет. Можно url? Последне 4 символа домена, возможно.
0
Sheyb Sheyb
39
04.11.2019 04:19
Да нет, я не имел в виду Вас конкретно, просто уже так нагадили те кто парсит мой сайт, стараешься-стараешься, корпишь над каждой статьёй, а тут смотришь уже несколько сайтов парсером копируют статьи, да ещё парсеры противные каким-то образом оставляют у меня в комментариях обратные ссылки на стыренные статьи. Они берут не только у меня но и у других смежных по тематике сайтах, причём за минуту у них появляется сразу статей 10, явно автоматический парсер работает. Таких сайтов появляется всё больше и больше, если сначала я пытался бороться с ними безуспешно, по IP они никак не блокируются, всё-равно тырят каким-то образом, то потом забил на них.. Неприятно ведь, согласитесь..
0
IvanO-f IvanO-f
1
04.11.2019 08:58
Неприятно. Поставьте бесплатный CloudFlare. Я нашел английский сайт, который был вот прям идеален в плане воровства, но там стоял CloudFlare(видимо, на самой минимальной настройке защиты). Так вот, пришлось под него ставить куки в запрос + отказаться от Tor proxy + сильно ограничить кол-во запросов(ранее воровал ~500 статей в минуту, пришлось снизить до < 100, но контент того стоил). Думаю, если поставить степерь защиты по-выше, ламер вообще  не полезет, а человек который что-то шарит в разработке будет сильно заторможен.
0
v3663 v3663
399
05.11.2019 20:51
Жалуйтесь хостерам этих негодяев. Хорошие хостинги охотно реагируют на такие жалобы. Если не отреагируют, дидосьте.
0
Решение
Sheyb Sheyb
39
06.11.2019 00:40
Охотно? Несколько раз приходилось обращаться к хостерам по поводу воровства контента, включая такие как автоматические парсеры, максимум что делают хостеры так это передают жалобу владельцу сайта который никак обычно не реагирует, а зачастую они пишут, что не отвечают за действия тех кто у них хоститься.
0
IvanO-f IvanO-f
1
06.11.2019 18:42
Ну.. я в качестве прокси использую Tor. Думаю, дудосить Exit Node Tor - плохая идея)
0
IvanO-f IvanO-f
1
06.11.2019 18:43
+ в случае русских сайтов я специальными скриптами превращаю русский текст в русский с тем-же смыслом но уникальным. Даю 95%, что вы не найдете сайт, на котором использовался украденный контент.
0
dasig dasig
3
04.11.2019 10:23
У меня несколько топовых статей кто только не воровал, к счастью все они в опе, а мои годами в топе =))
0
IvanO-f IvanO-f
1
04.11.2019 10:40
Ну так дело в том, что я не просто ворую, а ворую на разных языках, а потом перевожу на русский.
+ сколько эти сил вам стоило? а кто-то украл, заработал 5-10к рублей и ушел в фильтр, пошел новый сайт делать
0
Sheyb Sheyb
39
05.11.2019 20:39
А такие парсеры на PHP пишутся или Python? И где можно подобный достать или только самому писать?
0
v3663 v3663
399
06.11.2019 07:03
Это воообще не проблема. На PHP, например, существуют специальные фреймворки, разобраться в настройках которых для программиста - десятки минут, для непрограммиста - часы.
0
IvanO-f IvanO-f
1
06.11.2019 18:41
В теории можно и на PHP, но это извращение и вообще нельзя.
Я пишу на Python, писать нужно самому. Под известные сайты есть парсеры уже готовые(под какие-то цели). На данный момент, имея нужную информацию, думаю, знания html и 2-3 месяца изучения Python будет достаточно. Но когда я начинал - нужно было четкое понимание в том, что использовать, как это работает и для чего.
1
Sheyb Sheyb
39
07.11.2019 22:58
А есть ли уроки как писать такие парсеры на Python? Просто похоже тут надо иметь конкретные знания: как скачивать питоном такие странички, обрабатывать их, переводить, загружать на сервер и т.д. Можно ли чтобы скрипты работали на хостинге как-то или тут надо отдельный сервер с питоном или из компа только это делается?
0
wprazor wprazor
517
04.11.2019 11:17
У меня скрипт сразу блокирует таких хитро выдуманых парсеров по 10 ip в день. Надеюсь все их сайты будут под фильтром.
0
v3663 v3663
399
06.11.2019 06:57
Скрипт - это не выход. Код страниц с хорошими статьями с хороших сайтов могут и вручную копировать, а потом парсить. Таким образом легко десятки статей могут своровать в день.
0
IvanO-f IvanO-f
1
06.11.2019 18:46
Спасибо за пожелания) Мой вам совет - уберите скрипт и сделайте настройку через .htaccess, поставьте cloudflare(или подобное), настройте iptables.
"скрипт" приведет к бану ip, например, если одновременно зайдет на сайт 50 сотрудников одной фирмы(соответственно, в секунды прийдет 50 запросов с одного ip)
0
wprazor wprazor
517
07.11.2019 13:05
Скрипт банит только парсеры (через .htaccess) которые лезут по всем ссылкам сразу. Обычным пользователям ничего не угрожает, независимо от количества хостов. По всем IP я получаю уведомления, так что я вижу кого баню. Сloudflare это прокси, который подменяет реальные IP на свои, можно вернуть обратно, но мне он не удобен. Также на бесплатном тарифе вы будете сидеть на общем IP, который может заблочить РКН. Выделенный IP там начинается с 200$ в месяц.

bc7958a50da728d477b72e5be73b2215.JPG
0
IvanO-f IvanO-f
1
06.11.2019 18:52
+ я использую Tor в качестве прокси, как тольконачинается очередь ошибок, она автоматически меняется
0