SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Robots.txt нужно открыть доступ для роботов, но исключить из поиска?

glavseo glavseo  
124
  31.12.2017 13:32       1 361    
Есть папки системные сейчас они так в robots.txt

Disallow: /files/

Но google ругается, как сделать что бы у google бота был доступ к фалу но в ПС выдаче эти файлы не участвовали?

Ответы на пост (7) Написать ответ
glavseo glavseo
124
31.12.2017 13:36
По той-же причине, что нет доступа к некоторым файлам в google adwords пишет что сайт опасен и содержит вредоносное ПО
0
minsky minsky
404
31.12.2017 17:49
Для гугла пофиг закрывать в robots.txt Нельзя использовать файл robots.txt, чтобы скрыть страницу из результатов Google Поиска. На нее могут ссылаться другие страницы, и она все равно будет проиндексирована.
0
topbux topbux
26
31.12.2017 18:28
Скрывайте ссылки на файлы в ручную <a href="http://www.example.ru" rel="nofollow">Название файла/a>. Закрывать файлы в robots.txt бесполезно так как закрыта папка с файлами а сама новость с ссылкой открыта. Google: Увидев атрибут rel="nofollow" у отдельно стоящей ссылки, поисковые роботы Google не переходят по такой ссылке и не индексируют её видимую часть.
0
sansan sansan
1680
31.12.2017 21:52
Google не нужны для индексации файлы в папке /files/ - админпанели.
Но: некторые страницы открытые для индексации на эти файлы ссылаются. Отсюда и "ошибка".
0
tryam tryam
138
01.01.2018 08:55
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLOOW"/> Гугл этот мета тег уважает и слушается его, а на роботс.ТХТ, он всегда кладет.
0
sansan sansan
1680
01.01.2018 12:59
Эт неправда :) Мягко говоря.
Google индексирует всё подряд, естественно. Но в индекс выдает -контент в соответствии с директивами, прописанными на сайте. Пока что. Как в метатегах, так и в роботсе.

Не стоит вводить народ в заблуждение - откровенной ложью.
0
alexakap alexakap
325
01.01.2018 13:15
Какой движок? В любом случае, смотрим код страниц и через allow открываем те файлы, которые там есть. Заблокированные файлы можнj еще посмотреть в https://search.google.com/test/mobile-friendly
0