Как решить проблему сканирования сайта роботами гугла

psyleads psyleads   23.02.2019 17:43   479  
Всем привет!

При сканировании статей в google search console столкнулся с проблемой, что робот гугла не может загрузить необходимые ресурсы
https://pastenow.ru/0c714af5c0b010fae4626a33d2e127...
Я беру любой url изображения относящийся к данной статье моего сайта и также отправляю на проверку в той же панели google search console и получаю такой отчет
https://pastenow.ru/241de7956eb62082c76ecbc4d05ec8...
При этом мой https://obzoroff.info/robots.txt там нет запрета для индексирования изображений.
В папку uploads https://obzoroff.info/wp-content/uploads/ через браузер тоже нельзя войти

Ответы на вопрос (12) Написать ответ
alexkrit20 alexkrit20   23.02.2019 18:06
Вы пытаетесь слишком много запретить. В настоящее время многие плагины и сам ГУГЛ требуют большего доступа. Удалите всё кроме двух последних строк и вставьте вот это:
User-agent: *
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /search*
Disallow: /archive
Disallow: */trackback/
Disallow: */comments/
Disallow: */comment
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Disallow: /?s=*
Disallow: */embed*
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: *?replytocom
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/

Этого более чем достаточно для всех роботов. И ничего необходимого не блокируется.
0
psyleads psyleads   23.02.2019 18:08
Я уже делал даже вот так и не помогло((((
User-agent: *
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
0
alexkrit20 alexkrit20   23.02.2019 18:35
Просмотрите файл .htaccess возможно там заблокирована загрузка изображений с вашего сайт. Возможно потребуется сделать редирект.
0
psyleads psyleads   23.02.2019 18:38
Какой хоть примерно директивой может блокироваться? что искать?

0
vovan777 vovan777   23.02.2019 19:19
В папку uploads и не дОлжно входить с браузера. А вы в сео плагинах нигде не закрыли индексации изображений? а виртуальный robots.txt в All Seo Pack, например, смотрели?
0
psyleads psyleads   23.02.2019 19:21
не у меня yoast вместо all seo pack
0
vovan777 vovan777   23.02.2019 19:24
че-т не туда занесло, имел ввиду All in One SEO........ Yoast я не пользовал... может там тоже есть "Закрыть от индексации" и выбрать: "Записи, страницы, медиафайлы"????
0
psyleads psyleads   23.02.2019 19:29
Там из вариантов закрыть - я выбрал только архивы авторов и тегов. Это не имеет отношения к обычным постам и картинкам в них. Я по отключал уже все плагины. Удалил нафиг роботс и всё равно проблема присутствует
0
andybrok andybrok   24.02.2019 17:36
У Вас ну очень много лишнего в robots.txt, как написали выше.
Достаточно оставить:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
И всё станет нормально, даже если вдруг начнут роботы что то лишнее индексировать(что мало вероятно), в yoast можно отключить индексацию.
0
psyleads psyleads   24.02.2019 17:39
и так тоже пробовал.

Самая главная проблема, что какой url изображения не отправлю пишет что закрыто в роботс

Вот так https://pastenow.ru/241de7956eb62082c76ecbc4d05ec852
0
alexkrit20 alexkrit20   25.02.2019 22:55
Попробуйте удалить весь блок User-agent: GoogleBot
А из блока User-agent: * удалите строку Disallow: /wp-
Возможно доступ к uploads нужно прописать явно Allow: /wp-content/uploads/
0
alexkrit20 alexkrit20   25.02.2019 23:00
У вас не корректный блок Гугла. Возможно из-за него весь файл не работает.
Строки
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
В конце каждой строки много пробелов. Так не должно быть.
Потом
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
У вас что все названия картинок начинаются с wp-? Сомневаюсь. Если нет, то доступа к ним не будет.
0

Войдите, чтобы написать ответ
Вход Регистрация