Htaccess новости

Если в самом движке этого не предусмотрено, то вряд ли что поможет. Можно, конечно, сделать двойной редирект (точнее, редирект на поддомен, а потом правило, которое преобразовывает ссылку в обычный вид и вызывает скрипт-обработчик), но на сайте ссылки все равно будут ссылки вида site.ru/category/.
Т.е. получается примерно такое:
#редиректим из подкаталога в поддомен
RewriteRule /category/(.*?) http://category.site.ru/$1 [R=301,L]

#преобразуем адрес из поддомена в адрес для обработки
RewriteCond %{HTTP_HOST} ^category.site.ru$
RewriteRule ^(.*)$ /category/$1

Насчет последней строки не уверен, возможно, можно сразу ее передавать скрипту в параметрах (с DLE дела не имел никогда, не знаю, как там это делается).