Нужен парсер всех url сайта

Question

Парни, подскажите хороший способ сделать парсинг всех url сайта донора. Пробовал массу сервисов и они видят лишь малую часть страниц.

В среднем сайт из 30 000 страниц

Многие линки ведущие на другие страницы динамические

В индексе этого сайта болтается примерно 7 000 страниц..остальных в Поисковой выдаче нет.

Если какой-то способ прогнать сайт чтобы вывести абсолютно все url-ы?

0

Ответы на пост (9) Написать ответ

Answer 1

Timur Mailov

30

10.05.2019 14:58

лягушка

0

Answer 2

Mahrachiov-3

0

10.05.2019 15:09

что за лягушка?дай ссылку плиз

0

Answer 3

2. как вариант найти бесплатную версию (но чаще всего платная за копейки) генератор карты сайта с скачать txt-всех урлов.

Answer 4

Mahrachiov-3

0

10.05.2019 15:14

гонял по топовым, видит 3к url из 30к

0

Answer 5

vituson

2363

10.05.2019 15:09

Бесплатная программа xenu.

0

Answer 6

Mahrachiov-3

0

10.05.2019 15:13

с программами блин проблем. я на маке

0

Answer 7

И в радиусе 100 км нет компьютера или захудалого ноутбука на windows? На авито их от 500 рублей продают.

Answer 8

нашёл. поставил. дно. на сайте с 30к url прога показала 14 страниц.

Answer 9

чувак кинь ссылку в личку / попробую спарсерить или на мой вк id362826053