Об этом стало известно благодаря диалогу в Твиттере:
«Интересно узнать, как можно гарантировать, чтобы нас сканировал бот из США или другой соответствующей страны? При этом мы бы очень хотели, чтобы нашу международную страницу с новостями не сканировал Googlebot из Китая. Особенно, что касается сайтов из Гонконга».
Ответ Джона Мюллера был кратким и однозначным:
«Увы, но такого механизма не существует».
Напомним, чаще всего к вам на сайт заходит Гуглбот с американской пропиской. Реже, но бывают ситуации, когда Google шлет к вам в гости армию ботов из других регионов.
Комментируя переписку, Барри Шварц написал:
«Конечно, вы можете попытаться заблокировать неугодный Googlebot в robots.txt, но это чревато негативными последствиями. Google вообще может перестать заходить на сайт».
Тут можно проверить, как поисковый робот видит ваш сайт.
