В распоряжении Google имеется множество ботов, решающих самые разные задачи. Одни из них создавались для расширения индекса поисковой системы за счет нового контента (текста, картинок и видео), другие – для работы с приложениями и рекламой. Причем последние также умеют находить новый контент в сети, переходя по ссылкам. Вот только в индекс Google этот контент, судя по всему, не попадает – или попадает, но уже благодаря другим ботам.
Корпорация добра стремится "отделить мух от котлет" и не собирается превращать своих рекламных ботов в универсальные комбайны. Такой вывод можно сделать из ответа официального представителя Google Джона Мюллера на следующий вопрос от одного из вебмастеров:
Если AdsBot обнаруживает ссылки при сканировании, будут ли они добавлены в очередь для краулинга другим гуглботам?
Ответ Мюллера был лаконичен: "Насколько я знаю, это не так". Таким образом, для обнаружения новых URL-ов и добавления контента в индекс поисковика используются только боты Googlebot, Googlebot-News, Googlebot-Image и Googlebot-Video. Тогда как функционал ботов Mediapartners-Google, Mediapartners, AdsBot-Google и AdsBot-Google-Mobile-Apps для этого не подходит.
