Может ли хостинг влиять на посещаемость?

Йес, может. Если галимый хостинг что выдает 503 ошибку либо часто висит, посещалка будет ой. Причем бывает как с Timeweb - был крутой хостинг, а теперь говно что висит через страницу. Так что надо держать на пульсе, и если хостинг стал совсем плох - не ждать, что будет лучше (не будет), а махать ему ручкой.

С сайтом на джумле проблемы - ошибка 500, страницы вылетают - грешу на хостера.

может и весьма существенно

На Мажордомо у меня частенько сайт был не доступен, пришлось переехать

Вопрос глупее некуда. Когда ваш хостинг не работает- вы теряете посетителей. Когда он жутко тормозит - тоже самое. Когда на вашем сайте лезут ошибки из-за кривой настройки сервера- снова теряете..

Самое главное - если при обходе роботами поисковиков сайт был недоступен - страницы могут выкинуться из поиска, из-за чего всего лишь минутный простой сайта может на недели убить посещаемость.

Да,это напрямую зависит от хостинга!

26-27 декабря один мой сайт не работал из-за хостинга, 530 страниц вылетело из Яндекса. Прошло около 4 месяцев, за это время в индекс вернулось только 100 с небольшим страниц. Так что, да! Хостинг влияет, и еще как!
Если кто знает каким образом можно вернуть страницы обратно, дайте ссылку почитать. Метрика установлена, думал она сообщит, что все страницы рабочии, но 4 месяца говорят, что ей пох на вылетевшие страницы.