Правильный ли robots.txt?

Ну сколько можно один вопрос задавать по сто раз?

Первый раз спросил. P.S. В Гугле кучу вариантов нашёл и все разные

Если сайт работает по https, то Host: https://sait.ru/

Disallow: /wp-
- это зачем?

Disallow: */feed/
- это плагином выключается, https://wordpress.org/plugins/disable-feeds/faq/

Disallow: /?s=*
- это априори в индекс не попадет..

Как по мне сильно Вы заморочились, вот у меня сделано примерно так:

User-agent: *

Host: https://site.ru/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://site.ru/sitemap.xml


- нареканий нет, работает долго.

Абсолютно неправильный роботс. Сами не понимаете - другим не советуйте.

Я видел бразцы в 2-3 раза больше чем у меня)

Disallow: /wp- - это зачем? - Закрыть сразу всё начинаюееся с wp-
Disallow: */feed/ - это плагином выключается - а зачем мне лишний плагин?

Хочется больше конкретики.

Запрещать cgi-bin - классика копи-паста)

Можно по подробней?

Меня вот тоже интересуют подробности )))что общего у служебной папки и копипаста??)))

Вот вы мне, дураку, и объясните как wp использует папку cgi-bin? И зачем она вам нужна)

Ну так ты же сказал что для копипаста -вот мне правда это интересно ,потому что я не знаю, но очень хочу узнать. ..а так как ты поднял эту тему ,да еще так уверенно,значит осведомлен.

Обычно в папку cgi-bin помещают CGI-скрипты (т.е. сценарии, исполняющиеся на стороне сервера), чаще всего, это скрипты написанные на языке Perl

Но скажи что с копипастом? ??если это секрет, то можно в личку

slava0708, потому что нет необходимости закрывать то, что не используется и куда не ведут ссылки. В robots.txt закрывают url, которые присутствуют и доступны для робота, чтобы исключить их попадание в индекс.

Это я знаю,и знаю для чего папка, но я прошу пояснить как она связанна с копипастом???
Ваша цитата ""Запрещать cgi-bin - классика копи-паста)""
Я

slava0708, постараюсь объяснить подробнее, чтобы у вас более не оставалось сомнений и зуда))
Что я хотел донести: что копи-паст, в данном случае, это бескомпромиссное и бездумное копирование. Под "классикой" я подразумеваю, что в интернете (и на многих форумах) одни начинающие вебмастера спрашивают про robots.txt (для любых cms), а другие - "более продвинутые" вебмастера где-то находят нужный robots.txt (может быть даже берут свой, который работает успешно уже много лет!) и предлагают его в качестве ответа, соответственно, что может объединять robots.txt для разных cms? Правильно! Это строчка - "Disallow: /cgi-bin/"

Не знаю)) но у меня эта папка есть :)

Хостер настраивает универсальный конфиг для всех пользователей. Когда у вас будет vps (а может и свой сервер), то, с большой вероятностью, вы не будете настраивать то, что вам не пригодится, т, е. папки cgi-bin у вас не будет.

У меня тоже есть но она пустая