Как оптимизировать время ответа сервера?

Если вы пользуетесь обычным хостингом, никак.
Повлиять на это вы можете вроде как только если у вас будет виртуалка или VDS, для конкретной настройки конкретного сервака.

Брать хостинг физически поближе. Само собой, что хостинг в США будет дольше отвечать пользователям в странах СНГ.
От оборудования тоже много зависит.

Настройте кеш через фаил htaccess

А причём тут время ответа сервера?

Делал на днях на днях у себя, ответ сервера составлял 1.2 секунды.

Много чего делал:

Оптимизация сервера MySQL

Установка и настройка Memcached

Установка Nginx

Сжатие, объединение и оптимизация CSS и Java

КОРОЧЕ ВСЕГО НЕ ПЕРЕЧЕСТЬ! Гугл Вам в помощь.

Вот для начала проверьте сайт и элементарное сделайте https://developers.google.com/speed/pagespeed/insights/

Да и естественно на ВПС сайт должен быть!