SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Зарегистрироваться Войти
Q&A SEO
  1. Сообщество
  2. Вопросы и ответы
  3. Нужно спарсить большую базу объектов у партнера

Нужно спарсить большую базу объектов у партнера

fors926 fors926  
3
  04.09.2017 14:22       1 603    
В соответствии с договоренностью с новым партнером по APi, после успешной синхронизации, на наш сайт необходимо перенести его базу, состоящую из 800 000 объявлений, в настоящее время в индексе нашего сайта всего 1000 страниц, возраст сайта 1 год.


С какой скоростью  лучше парсить объявления, чтобы не получить пессимизацию от поисковых систем? 
0

Ответы на пост (10) Написать ответ
Быстрая регистрация для ответа Войти
Женя Замаев Женя Замаев
16
04.09.2017 18:21
Думаю проблем со стороны пс не должно быть. Если есть большая база то почему бы ее не залить, а вот как выше говорилось главное что бы сервер потянул.
0
Решение
k-park k-park
168
04.09.2017 15:20
Смотрите количество посещений вашего сайта. Условно, один уник может сделать 1-2 объявления в день. Отсюда и "пляшите"
0
fors926 fors926
3
04.09.2017 16:05
у нас 2000 посещений в день, но у нас не люди генерируют контент! У нас интернет магазин!
0
fors926 fors926
3
04.09.2017 15:35
у нас 2000 посещений в день, но у нас не люди генерируют контент! У нас интернет магазин!
0
k-park k-park
168
04.09.2017 17:30
Перечитайте пожалуйста ваше первое сообщение и мой ответ.
0
Денис Стародубцев Денис Стародубцев
163
04.09.2017 17:57
неправильно названа тема. Парсинг это условно говоря "воровство" контента промышленным способом, а у вас вопрос к скорости наполнения относится.
Гуглу и яндексу насрать сколько страниц вы занесли единовременно, но занесение большого количества товаров может жестко повесить ваш сайт и сервер, ну и скорость индексирования сайта будет тоже зависеть от ограничений по трафику и процессору.
1
support2 support2
31
04.09.2017 18:01
Аккуратней надо быть. Битра подыхает после 250тыс товаров. Мне надо было 5млн. Залил 300 и начались проблемы с жестким тупняком сервера с хорошими показателями, но и он не справлялся
0
support2 support2
31
04.09.2017 18:02
А яндексу насрать он еще долго пережевывать будет
0
fors926 fors926
3
04.09.2017 18:22
Спасибо большое ! Теперь после ваших слов задумались и правда не уверены потянем ли =))))) Но будем работать над ошибками)) загрузим столько сколько сможем .
0
Frendlix Frendlix
10
04.09.2017 20:09
Перед тем как это сделать
Подумайте про две вещи:
1. Выдержит ли сервер (если сайт нормальный, то проблем не будет, если сайт "WP без напильника" то 800 00 его положит)
2. Вы схватите бан за парсинг контента, копипасту иначе говоря, ну и всё собственно (:
0
Быстрая регистрация для ответа Войти

Похожие посты

Анализ сайта

Поможем улучшить ваш сайт.