как вариант, можно просто лог парсить и будешь тогда знать когда и кто из ботов и на какую страницу заходил. а так да, реализованы модули для многих CMS и довольно много бесплатных скриптов аналитики, в которых это есть + ТДС
Боты как правило, когда заходят, честно показывают в user agent, что это бот. по-этому достаточно проверить User agent клиента и если он вида User-Agent Mozilla/5.0 (compatible; Yandex...) , написать Яндекс-бот
Еще вариант - проверить ip клиента. у всех поисковиков он вполне определенный и всем давно известный. Но. у поисковиков есть боты, которые шифруются под обычных клиентов, это чтоб определять клоакинг. т.е. если зайдет поисковик со своим обычным агентом, а потом пот видом обычного юзера, не определившись и получит две разных страницы, вы рискуете получить ГС автоматом
а так да, реализованы модули для многих CMS и довольно много бесплатных скриптов аналитики, в которых это есть
+ ТДС
Но. у поисковиков есть боты, которые шифруются под обычных клиентов, это чтоб определять клоакинг. т.е. если зайдет поисковик со своим обычным агентом, а потом пот видом обычного юзера, не определившись и получит две разных страницы, вы рискуете получить ГС автоматом