Подскажите, правильно ли я составил robots.txt мне нужно было запретить к индексации только две папки image и files, а все остальное чтобы было проиндексировано?
Составляем правильный robots.txt для DataLife Engine
http://mikisoft.ru/web/38096-sostavlyaem-pravilnyy-robotstxt-dlya-datalife-engine.html
читаем должно помочь
Disallow: /image
Disallow: /files
User-agent: Yandex
Disallow: /image
Disallow: /files
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
http://mikisoft.ru/web/38096-sostavlyaem-pravilnyy-robotstxt-dlya-datalife-engine.html
читаем должно помочь