Циклическая переадресация robots.txt при работе с cloudflare (Решение)
Котаны, мы охренеть как задолбались решать серьезную проблему с циклической переадресацией файла robots.txt у сайта на сервисе Cloudflare. Пишу вам не вопрос, а решение, так как в интернете его не найти, а этот ад по его поиску у нас длился несколько часов. Отдельное спасибо тех. поддержке хостинг компании, которая тоже помучилась но все сделала, а потом детально объяснила нашей сотруднице как и в каком порядке.
Сразу отметаем идиотские советы на форумах по поводу правок Apache или Nginx, а также какие либо правки в файле .htaccess, которых я начитался за сегодня и в рунете и в буржунете.
Заходим на Cloudflare в Caching - там первый блок Purge Cache, рядом с ним синяя кнопка Purge Individual Files - жамкаем ее и добавляем в появившееся поле два абсолютных пути к файлу к файлу robots.txt: один с http (http://site.ru/robots.txt), второй с https (https://site.ru/robots.txt) - только после этого идем в Overview и жмем на Quick Actions - там в выпадающем меню выбираем Development Mode, тем самым очищая кэш, ждем 30 секунд, а потом нажимаем на появившуюся вместо него синюю кнопку Disable, то есть возвращаем обратно статус сайта Active. Все нахрен!
И будьте уверены, эта тема вам скоро станет очень актуальной, учитывая возможность бесплатно пользоваться Cloudflare и вынужденную необходимость переносить сайты на https. Всем бобра!