Robots.txt

Robots.txt – текстовый файл, который указывает поисковым системам, какие страницы или разделы сайта нужно индексировать, а какие нет. Robots.txt задает инструкции для всего сайта и работает вместе с метатегом robots – тег управляет каждой отдельной страницей. За счет файла и тега можно заблокировать для роботов второстепенные разделы и направить на более важные. Поисковые системы воспринимают robots как рекомендацию – в некоторых случаях боты будут индексировать и те страницы, к которым прописан тег. Файл не обеспечивает защиту конфиденциальных данных и не должен содержать подобную информацию.