SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Правильная настройка robots.txt для dle

Сергей Захаров Сергей Захаров  
0
  12.07.2017 21:09       3 092    
Всем доброго вечера знатоки и уважаемые форумчане!


Подскажите пожалуйста, как правильно настроить файл "robots.txt" для движка dle?
Что будет если файл оставить дефолтным? (с настройкой от производителей движка)

Чего не хватает в моём файле?
http://kino-sphere.ru

Я только начинаю вникать в seo, ещё новичок в этом деле, прошу сильно не ругать за такие вопросы))
Спасибо ребят! 

Ответы на пост (14) Написать ответ
alexakap alexakap
325
12.07.2017 21:19
Прикольно однако!
Чего не хватает не знаю, но последних 4 строки точно лишние, это из .htaccess строки
0
Сергей Захаров Сергей Захаров
0
12.07.2017 21:32
от склейки многие рекомендуют избегать, вот и я избегаю.
0
sansan sansan
1680
12.07.2017 21:39
В вашем файле не хватает логики. (постов пять назад обсуждали же этот сайт, на-фиг дубль-топик?)

Для адекватного составления файла - нужны Яндекс и Гугл Вебмастер, немного времени и... желание.
Ну... ничего этого нет, пусть так:

User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /newposts/
Disallow: /*statistics
Disallow: /*download
Disallow: /*subaction
Disallow: /*search
Disallow: /*index
Disallow: /*page
Disallow: /*2011
Disallow: /*2012
Disallow: /*2013
Disallow: /*2014
Disallow: /*2016
Disallow: /*2017
Disallow: /*?
Allow: /*.png
Allow: /*.jpg
Allow: /*.gif
Allow: /*.js
Allow: /*.js?
Allow: /*.css

Host: http://kino-sphere.ru
Sitemap: http://kino-sphere.ru/Sitemap.xml

Не помню в dle как там (года три не видел), наверное что-то упустил или напутал, на-пямять.
0
Сергей Захаров Сергей Захаров
0
12.07.2017 21:49
Это как я понял, категории фильмов мы скрываем от поисковиков?
Disallow: /*2011
Disallow: /*2012
Disallow: /*2013
Disallow: /*2014
Disallow: /*2016
Disallow: /*2017
0
Сергей Захаров Сергей Захаров
0
12.07.2017 21:50
В dle всё так и осталось как было раньше)
0
sansan sansan
1680
12.07.2017 22:09
Категории фильмов - дубликаты контента (основного).
По сути: вам нужно оставить в поиске ТОЛЬКО страницы фильмов, остальное - мусор.

Но: 2017 и пр - ато свойство всех cms выпускаит в сеть - архивы. Я не нашел как это отключить за 10 лет эксплуатации сотен сайтов. Точнее: конечно я их отключаю, но google - где-то их периодически находит. Это скорее... перестаховка, не на всех сайтах бывают проиндексированы страницы архивов.

DLE стал много лучше (сравнивая 10 лет назад). Вообще-то - отличный cms (для определенных целей), но он платный... это - минус.
Нелицензионные установки у меня лично - закрыли четыре года назад, более не интересовался.
0
VirusiX VirusiX
275
12.07.2017 22:06
как дети малые, если dle не курите, зачем молоть языком тогда?
идеальный robots.txt для DLE
User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
остольное в /engine/engine.php настраивайте например так:
if (
$do == 'rules' OR /* Страница правил сайта */
($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML;
А вообще нужно учится поиском пользоваться, потом уж сайтами заниматься.
0
Сергей Захаров Сергей Захаров
0
12.07.2017 22:22
И так для каждого раздела в engine.php нужно проделать это?
0
sansan sansan
1680
12.07.2017 22:24
Почему я не обижаюсь? :)
Уважаю чужое мнение.

По сабж я смотрел (давно) много теории. И robots ваял, примерно, такой же. Но:
Google плевать не теорию. Я - только практик.

Но... dle я взаправду - давно "не пыхаю" :)

// Мои рекомендации не идут "вразрез" вашим умопостроениям (лишние 3 кб), а если я прав - принесут пользу.
Я знаю лишь то, что ничего не знаю. - попробуйте принять.
0
VirusiX VirusiX
275
12.07.2017 22:26
Да чего угодно что вам ненужно, например профили пользователей, ихние новости и т.д.
0
VirusiX VirusiX
275
12.07.2017 22:32
sansan я не хотел вас обидеть если что, вы специалист как я заметил в другом движке
0
traffik traffik
3
12.07.2017 22:10
Да лучше вообще удали этот сайт, а то он у тебя корявый и шаблон у него честно говоря ужасный. Для DLE движка есть куча кино шаблонов, которые в десять раз красивее твоего.
0
Сергей Захаров Сергей Захаров
0
12.07.2017 22:21
Вместо того, чтобы объяснить что к чему, вы даете такие советы... Просто ужас.
Все так начинали, никто из нас сразу разработав свой веб-сайт одновременно не вникал в сео, хостинги, программирование и т.п.
На счет шаблона, например?
0
sansan sansan
1680
12.07.2017 22:28
Не лицензионных? :) Или за 40 евро?,,
0