SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Robots.txt строка user-agent: user-agent: ahrefsbot

itlife itlife  
0
  07.02.2015 19:26       528     Помощь  
Подскажите что означает в robots.txt в конце файла надпись User-Agent: AhrefsBot  для чего она нужна? Нужна вообще? и надо после данной строки что то прописывать?

Ответы на пост (2) Написать ответ
vituson vituson
2374
07.02.2015 19:34
https://www.google.ru/search?q=User-Agent:+AhrefsBot&ie=utf-8&oe=utf-8&gws_rd=cr&ei=VT7WVNiZMuP8ywP3koKoDQ
0
itlife itlife
0
07.02.2015 19:46
Да я это видел но конкретной информации я не понял. Просто смотрю не кто не использует User-Agent: AhrefsBot, если можно поподробней?
0