Нужен краулер для сайта

Всем привет. Ищу решение для огромного сайта и как сформулировать запрос для гугла не придумал.

Нужно что то, что посетит десятки тысяч страниц. Бот или программа краулер.

Дело в том, что перевод страницы осуществляется при ее посещении, хотя бы один раз. Вручную это сделать нереально. Xenu не помогает. Обход ботами поисковиков невозможен и нежелателен, так как сайт представляет собой технический черновик и соответственно закрыт от индексации.

Может кто то знает примеры программ или сервисов, которые смогут пройти по всем страницам сайта?