Robots.txt нужно открыть доступ для роботов, но исключить из поиска?

glavseo glavseo   31.12.2017 13:32   849  
Есть папки системные сейчас они так в robots.txt

Disallow: /files/

Но google ругается, как сделать что бы у google бота был доступ к фалу но в ПС выдаче эти файлы не участвовали?

Ответы на вопрос (7) Написать ответ
glavseo glavseo   31.12.2017 13:36
По той-же причине, что нет доступа к некоторым файлам в google adwords пишет что сайт опасен и содержит вредоносное ПО
0
minsky minsky   31.12.2017 17:49
Для гугла пофиг закрывать в robots.txt Нельзя использовать файл robots.txt, чтобы скрыть страницу из результатов Google Поиска. На нее могут ссылаться другие страницы, и она все равно будет проиндексирована.
0
topbux topbux   31.12.2017 18:28
Скрывайте ссылки на файлы в ручную <a href="http://www.example.ru" rel="nofollow">Название файла/a>. Закрывать файлы в robots.txt бесполезно так как закрыта папка с файлами а сама новость с ссылкой открыта. Google: Увидев атрибут rel="nofollow" у отдельно стоящей ссылки, поисковые роботы Google не переходят по такой ссылке и не индексируют её видимую часть.
0
sansan sansan   31.12.2017 21:52
Google не нужны для индексации файлы в папке /files/ - админпанели.
Но: некторые страницы открытые для индексации на эти файлы ссылаются. Отсюда и "ошибка".
0
tryam tryam   01.01.2018 08:55
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLOOW"/> Гугл этот мета тег уважает и слушается его, а на роботс.ТХТ, он всегда кладет.
0
sansan sansan   01.01.2018 12:59
Эт неправда :) Мягко говоря.
Google индексирует всё подряд, естественно. Но в индекс выдает -контент в соответствии с директивами, прописанными на сайте. Пока что. Как в метатегах, так и в роботсе.

Не стоит вводить народ в заблуждение - откровенной ложью.
0
alexakap alexakap   01.01.2018 13:15
Какой движок? В любом случае, смотрим код страниц и через allow открываем те файлы, которые там есть. Заблокированные файлы можнj еще посмотреть в https://search.google.com/test/mobile-friendly
0

Войдите, чтобы написать ответ
Вход Регистрация

Поможем не рискуя купить или продать сайт!