Правильный ли robots.txt?

Izafer Izafer   17.12.2016 16:53   391  
Подскажите, правильный ли Robots.txt для WP?

User-Agent: *
Disallow: /cgi-bin
Disallow: /wp-
Disallow: */feed/
Disallow: /?s=*
Disallow: */author
Disallow: /xmlrpc.php
Allow: /wp-content/uploads/
Host: sait.ru
Sitemap: http://sait.ru/sitemap.xml
Sitemap: http://sait.ru/sitemap.xml.gz
0
Ответы на вопрос (5) Написать ответ
Владислав Владислав
0
Ну сколько можно один вопрос задавать по сто раз?
Владислав Владислав
Izafer   17.12.2016 17:30  
Первый раз спросил. P.S. В Гугле кучу вариантов нашёл и все разные
metallphilin
0
metallphilin   17.12.2016 17:10
Если сайт работает по https, то Host: https://sait.ru/

Disallow: /wp-
- это зачем?

Disallow: */feed/
- это плагином выключается, https://wordpress.org/plugins/disable-feeds/faq/

Disallow: /?s=*
- это априори в индекс не попадет..

Как по мне сильно Вы заморочились, вот у меня сделано примерно так:

User-agent: *

Host: https://site.ru/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://site.ru/sitemap.xml


- нареканий нет, работает долго.
metallphilin
vituson   17.12.2016 17:23  
Абсолютно неправильный роботс. Сами не понимаете - другим не советуйте.
metallphilin
Izafer   17.12.2016 17:26  
Я видел бразцы в 2-3 раза больше чем у меня)

Disallow: /wp- - это зачем? - Закрыть сразу всё начинаюееся с wp-
Disallow: */feed/ - это плагином выключается - а зачем мне лишний плагин?
metallphilin
metallphilin   17.12.2016 17:26  
Хочется больше конкретики.
Roman2002
0
Roman2002   17.12.2016 17:17
Запрещать cgi-bin - классика копи-паста)
Roman2002
Izafer   17.12.2016 17:23  
Можно по подробней?
Roman2002
slava0708   17.12.2016 19:38  
Меня вот тоже интересуют подробности )))что общего у служебной папки и копипаста??)))
Roman2002
Roman2002   18.12.2016 01:20  
Вот вы мне, дураку, и объясните как wp использует папку cgi-bin? И зачем она вам нужна)
Roman2002
slava0708   18.12.2016 21:40  
Ну так ты же сказал что для копипаста -вот мне правда это интересно ,потому что я не знаю, но очень хочу узнать. ..а так как ты поднял эту тему ,да еще так уверенно,значит осведомлен.

Обычно в папку cgi-bin помещают CGI-скрипты (т.е. сценарии, исполняющиеся на стороне сервера), чаще всего, это скрипты написанные на языке Perl

Но скажи что с копипастом? ??если это секрет, то можно в личку
Roman2002
Roman2002   19.12.2016 02:00  
slava0708, потому что нет необходимости закрывать то, что не используется и куда не ведут ссылки. В robots.txt закрывают url, которые присутствуют и доступны для робота, чтобы исключить их попадание в индекс.
Roman2002
slava0708   19.12.2016 02:36  
Это я знаю,и знаю для чего папка, но я прошу пояснить как она связанна с копипастом???
Ваша цитата ""Запрещать cgi-bin - классика копи-паста)""
Я
Roman2002
Roman2002   19.12.2016 09:55  
slava0708, постараюсь объяснить подробнее, чтобы у вас более не оставалось сомнений и зуда))
Что я хотел донести: что копи-паст, в данном случае, это бескомпромиссное и бездумное копирование. Под "классикой" я подразумеваю, что в интернете (и на многих форумах) одни начинающие вебмастера спрашивают про robots.txt (для любых cms), а другие - "более продвинутые" вебмастера где-то находят нужный robots.txt (может быть даже берут свой, который работает успешно уже много лет!) и предлагают его в качестве ответа, соответственно, что может объединять robots.txt для разных cms? Правильно! Это строчка - "Disallow: /cgi-bin/"
Izafer
0
Izafer   18.12.2016 11:09
Не знаю)) но у меня эта папка есть :)
Izafer
Roman2002   19.12.2016 02:07  
Хостер настраивает универсальный конфиг для всех пользователей. Когда у вас будет vps (а может и свой сервер), то, с большой вероятностью, вы не будете настраивать то, что вам не пригодится, т, е. папки cgi-bin у вас не будет.
kirova85
0
kirova85   18.12.2016 11:19
У меня тоже есть но она пустая

Войдите, чтобы написать ответ
Вход Регистрация


Garant.deals
Гарант сделок продажи и покупки сайтов.

Реклама здесь


Продвигаете Казино, Фарм, Адалт? Для вас есть трастовые площадки под ВЕЧНЫЕ ССЫЛКИ!