Vbulletin 4+ suite

do_not_upload папка там tools.php, прописываем адрес поддомена в настройках форума, только патом запускаем tools.php, если Вы имели ввиду про разделение CMS булки и форума, то это не возможно, хотя возможно путем ее отключения и forward на новую старничку форума

Перенаправление так делаем

RewriteEngine on
RewriteCond %{HTTP_HOST} ^forum\.site\.ru$ [NC]
RewriteCond %{REQUEST_URI} !^/forum/$ [NC]
RewriteRule (.*) /forum/ [L]