Правильный ли robots.txt?

Novich0k Novich0k   17.12.2016 16:53   671  
Подскажите, правильный ли Robots.txt для WP?

User-Agent: *
Disallow: /cgi-bin
Disallow: /wp-
Disallow: */feed/
Disallow: /?s=*
Disallow: */author
Disallow: /xmlrpc.php
Allow: /wp-content/uploads/
Host: sait.ru
Sitemap: http://sait.ru/sitemap.xml
Sitemap: http://sait.ru/sitemap.xml.gz

Ответы на вопрос (17) Написать ответ
Ну сколько можно один вопрос задавать по сто раз?
0
Novich0k Novich0k   17.12.2016 17:30
Первый раз спросил. P.S. В Гугле кучу вариантов нашёл и все разные
0
metallphilin metallphilin   17.12.2016 17:10
Если сайт работает по https, то Host: https://sait.ru/

Disallow: /wp-
- это зачем?

Disallow: */feed/
- это плагином выключается, https://wordpress.org/plugins/disable-feeds/faq/

Disallow: /?s=*
- это априори в индекс не попадет..

Как по мне сильно Вы заморочились, вот у меня сделано примерно так:

User-agent: *

Host: https://site.ru/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://site.ru/sitemap.xml


- нареканий нет, работает долго.
0
vituson vituson   17.12.2016 17:23
Абсолютно неправильный роботс. Сами не понимаете - другим не советуйте.
0
Novich0k Novich0k   17.12.2016 17:26
Я видел бразцы в 2-3 раза больше чем у меня)

Disallow: /wp- - это зачем? - Закрыть сразу всё начинаюееся с wp-
Disallow: */feed/ - это плагином выключается - а зачем мне лишний плагин?
0
metallphilin metallphilin   17.12.2016 17:26
Хочется больше конкретики.
0
Roman2002 Roman2002   17.12.2016 17:17
Запрещать cgi-bin - классика копи-паста)
0
Novich0k Novich0k   17.12.2016 17:23
Можно по подробней?
0
slava0708 slava0708   17.12.2016 19:38
Меня вот тоже интересуют подробности )))что общего у служебной папки и копипаста??)))
0
Roman2002 Roman2002   18.12.2016 01:20
Вот вы мне, дураку, и объясните как wp использует папку cgi-bin? И зачем она вам нужна)
0
slava0708 slava0708   18.12.2016 21:40
Ну так ты же сказал что для копипаста -вот мне правда это интересно ,потому что я не знаю, но очень хочу узнать. ..а так как ты поднял эту тему ,да еще так уверенно,значит осведомлен.

Обычно в папку cgi-bin помещают CGI-скрипты (т.е. сценарии, исполняющиеся на стороне сервера), чаще всего, это скрипты написанные на языке Perl

Но скажи что с копипастом? ??если это секрет, то можно в личку
0
Roman2002 Roman2002   19.12.2016 02:00
slava0708, потому что нет необходимости закрывать то, что не используется и куда не ведут ссылки. В robots.txt закрывают url, которые присутствуют и доступны для робота, чтобы исключить их попадание в индекс.
0
slava0708 slava0708   19.12.2016 02:36
Это я знаю,и знаю для чего папка, но я прошу пояснить как она связанна с копипастом???
Ваша цитата ""Запрещать cgi-bin - классика копи-паста)""
Я
0
Roman2002 Roman2002   19.12.2016 09:55
slava0708, постараюсь объяснить подробнее, чтобы у вас более не оставалось сомнений и зуда))
Что я хотел донести: что копи-паст, в данном случае, это бескомпромиссное и бездумное копирование. Под "классикой" я подразумеваю, что в интернете (и на многих форумах) одни начинающие вебмастера спрашивают про robots.txt (для любых cms), а другие - "более продвинутые" вебмастера где-то находят нужный robots.txt (может быть даже берут свой, который работает успешно уже много лет!) и предлагают его в качестве ответа, соответственно, что может объединять robots.txt для разных cms? Правильно! Это строчка - "Disallow: /cgi-bin/"
0
Novich0k Novich0k   18.12.2016 11:09
Не знаю)) но у меня эта папка есть :)
0
Roman2002 Roman2002   19.12.2016 02:07
Хостер настраивает универсальный конфиг для всех пользователей. Когда у вас будет vps (а может и свой сервер), то, с большой вероятностью, вы не будете настраивать то, что вам не пригодится, т, е. папки cgi-bin у вас не будет.
0
kirova85 kirova85   18.12.2016 11:19
У меня тоже есть но она пустая
0

Войдите, чтобы написать ответ
Вход Регистрация

Гарант сделок продажи и покупки сайтов, доменов и услуг.