Robots.txt нужно открыть доступ для роботов, но исключить из поиска?

По той-же причине, что нет доступа к некоторым файлам в google adwords пишет что сайт опасен и содержит вредоносное ПО

Для гугла пофиг закрывать в robots.txt Нельзя использовать файл robots.txt, чтобы скрыть страницу из результатов Google Поиска. На нее могут ссылаться другие страницы, и она все равно будет проиндексирована.

Скрывайте ссылки на файлы в ручную <a href="http://www.example.ru" rel="nofollow">Название файла/a>. Закрывать файлы в robots.txt бесполезно так как закрыта папка с файлами а сама новость с ссылкой открыта. Google: Увидев атрибут rel="nofollow" у отдельно стоящей ссылки, поисковые роботы Google не переходят по такой ссылке и не индексируют её видимую часть.

Google не нужны для индексации файлы в папке /files/ - админпанели.
Но: некторые страницы открытые для индексации на эти файлы ссылаются. Отсюда и "ошибка".

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLOOW"/> Гугл этот мета тег уважает и слушается его, а на роботс.ТХТ, он всегда кладет.

Эт неправда :) Мягко говоря.
Google индексирует всё подряд, естественно. Но в индекс выдает -контент в соответствии с директивами, прописанными на сайте. Пока что. Как в метатегах, так и в роботсе.

Не стоит вводить народ в заблуждение - откровенной ложью.

Какой движок? В любом случае, смотрим код страниц и через allow открываем те файлы, которые там есть. Заблокированные файлы можнj еще посмотреть в https://search.google.com/test/mobile-friendly