Мэтт (Мэтт Каттс - ведущий специалист гугл интернет спаму и оптимизации) рекомендует разрешать Google боту индексировать файлы javasript и css, поскольку это позволит роботу лучше понимать, что происходит на странице и как она отображается (от себя добавлю, что их стоит открывать для индексации, если вы ничего не скрываете от робота Гугл:)). Многие люди блокируют эти файлы, т.к. думаю, что это уменьшает скорость индексации, увеличивает нагрузку на сервер (от себя: вряд ли они так думают:)), но поисковый робот достаточно быстр, чтобы не нагружать сильно сервер. Гугл с каждым разом все лучше и лучше понимает джаваскрипты и css файлы и благодаря этому лучше понимает, что более важно на странице, а что менее.
А вот видео с ним на эту тему (на английском) http://youtu.be/B9BWbruCiDc
ну так там написано закрывать шаблон.
Откуда уверенность что это самый правильный вариант?
Везде пишут что роботс у них настроен правильно. А везде по-разному.
Роботс настраивается под свои нужды. Этот настроен только для индексации категорий и статей. Всё остальное (тэги и всякая другая хрень убрана). Я просто поэкспериментировал и пришёл к выводу, что это лучше всего (нету повторных страниц в поисковиках, всё равно они их со временем отсеивают)
В Гугл в рекомендациях был отдельный пункт по этому поводу - просили на закрывать от индексации шаблон и css
Казалось бы, там ничего нет полезного для гугла
А вот видео с ним на эту тему (на английском) http://youtu.be/B9BWbruCiDc
Откуда уверенность что это самый правильный вариант?
Везде пишут что роботс у них настроен правильно. А везде по-разному.