Всем привет!
При сканировании статей в google search console столкнулся с проблемой, что робот гугла не может загрузить необходимые ресурсы
https://pastenow.ru/0c714af5c0b010fae4626a33d2e127...Я беру любой url изображения относящийся к данной статье моего сайта и также отправляю на проверку в той же панели google search console и получаю такой отчет
https://pastenow.ru/241de7956eb62082c76ecbc4d05ec8...При этом мой
https://obzoroff.info/robots.txt там нет запрета для индексирования изображений.
В папку uploads
https://obzoroff.info/wp-content/uploads/ через браузер тоже нельзя войти
User-agent: *
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /search*
Disallow: /archive
Disallow: */trackback/
Disallow: */comments/
Disallow: */comment
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Disallow: /?s=*
Disallow: */embed*
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: *?replytocom
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Этого более чем достаточно для всех роботов. И ничего необходимого не блокируется.
User-agent: *
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Достаточно оставить:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
И всё станет нормально, даже если вдруг начнут роботы что то лишнее индексировать(что мало вероятно), в yoast можно отключить индексацию.
Самая главная проблема, что какой url изображения не отправлю пишет что закрыто в роботс
Вот так https://pastenow.ru/241de7956eb62082c76ecbc4d05ec852
А из блока User-agent: * удалите строку Disallow: /wp-
Возможно доступ к uploads нужно прописать явно Allow: /wp-content/uploads/
Строки
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
В конце каждой строки много пробелов. Так не должно быть.
Потом
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
У вас что все названия картинок начинаются с wp-? Сомневаюсь. Если нет, то доступа к ним не будет.