Падение посещаемости после смены дизайна

Я бы не связывал с дизайном (изменения не затронули структуру), быстрее всего-сезонные колебания.
Например, у меня на узкотематическом сайте изменения посещаемости до 200% в год.

CSS не должно влиять, а все, что касается текста, текстовых блоков, ссылок на сайте и т.д., может повлиять. Проще говоря верните назад то, что поисковые системы индексируют и выдают в поисковой выдаче. Если это ваше изменение повлияло на падение посещаемости, то, вероятнее всего, все вернется. Но имейте в виду, у Гугла недавно было обновление алгоритма, могло и это повлиять.

Я тоже так подумал, но прошло столько времени, а посещаемость ровным куском каждый день падает. Вернул все обратно, посмотрю что будет дальше

Если правили только стили, то маловероятно что это могло повлиять, разве что только от внешнего вида изменились поведенческие факторы, посмотрите по статистике. Другое дело, если вносили правки в структуру, в особенности относится к заголовкам либо дополнительным блокам в которых выводятся какие либо записи и заголовки. 

Посмотрите точки входа которые были при большом трафике и сравните, что сейчас, возможно какие то страницы выпали из поиска или сильно просели в нём.

Поведеньческие факторы наверное тоже пали.