Правильная настройка robots.txt для dle
Всем доброго вечера знатоки и уважаемые форумчане!
Подскажите пожалуйста, как правильно настроить файл "robots.txt" для движка dle?
Что будет если файл оставить дефолтным? (с настройкой от производителей движка)
Чего не хватает в моём файле?
http://kino-sphere.ru
Я только начинаю вникать в seo, ещё новичок в этом деле, прошу сильно не ругать за такие вопросы))
Спасибо ребят!
Чего не хватает не знаю, но последних 4 строки точно лишние, это из .htaccess строки
Для адекватного составления файла - нужны Яндекс и Гугл Вебмастер, немного времени и... желание.
Ну... ничего этого нет, пусть так:
User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /*statistics
Disallow: /*download
Disallow: /*subaction
Disallow: /*search
Disallow: /*index
Disallow: /*page
Disallow: /*2011
Disallow: /*2012
Disallow: /*2013
Disallow: /*2014
Disallow: /*2016
Disallow: /*2017
Disallow: /*?
Allow: /*.png
Allow: /*.jpg
Allow: /*.gif
Allow: /*.js
Allow: /*.js?
Allow: /*.css
Host: http://kino-sphere.ru
Sitemap: http://kino-sphere.ru/Sitemap.xml
Не помню в dle как там (года три не видел), наверное что-то упустил или напутал, на-пямять.
Disallow: /*2011
Disallow: /*2012
Disallow: /*2013
Disallow: /*2014
Disallow: /*2016
Disallow: /*2017
По сути: вам нужно оставить в поиске ТОЛЬКО страницы фильмов, остальное - мусор.
Но: 2017 и пр - ато свойство всех cms выпускаит в сеть - архивы. Я не нашел как это отключить за 10 лет эксплуатации сотен сайтов. Точнее: конечно я их отключаю, но google - где-то их периодически находит. Это скорее... перестаховка, не на всех сайтах бывают проиндексированы страницы архивов.
DLE стал много лучше (сравнивая 10 лет назад). Вообще-то - отличный cms (для определенных целей), но он платный... это - минус.
Нелицензионные установки у меня лично - закрыли четыре года назад, более не интересовался.
идеальный robots.txt для DLE
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
остольное в /engine/engine.php настраивайте например так:
if (
$do == 'rules' OR /* Страница правил сайта */
($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML;
А вообще нужно учится поиском пользоваться, потом уж сайтами заниматься.
Уважаю чужое мнение.
По сабж я смотрел (давно) много теории. И robots ваял, примерно, такой же. Но:
Google плевать не теорию. Я - только практик.
Но... dle я взаправду - давно "не пыхаю" :)
// Мои рекомендации не идут "вразрез" вашим умопостроениям (лишние 3 кб), а если я прав - принесут пользу.
Я знаю лишь то, что ничего не знаю. - попробуйте принять.
Все так начинали, никто из нас сразу разработав свой веб-сайт одновременно не вникал в сео, хостинги, программирование и т.п.
На счет шаблона, например?