Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'. Примеры:
User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту
Источник: Использование robots.txt http://help.yandex.ru/webmaster/?id=996567
User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту
Источник: Использование robots.txt http://help.yandex.ru/webmaster/?id=996567