Сколько секунд должен загружаться удобный, хороший и современный сайт?

не больше 2 сек.
Если вы в зеленой зоне то все ок

PageSpeed Insights '100'
GTmetrix Grade 'A'

зависит от начинки. Если это большой красивый медиапортал, то десять секунд до полной загрузки — вполне приемлемо.
а если одностраничный лендинг и дольше двух сек — сразу конверсии минус 80%, инфа 100%

Скорость загрузки сайта это как хвост у собаки, вроде есть, а по факту ни на что не влияет. Все современные цмс обладают норм скоростью, если гнаться за зеленой зоной, то сайт будет как в 2000 году

поясните?

Согласен про "2000 год", но скорость как раз таки влияет, как на ПФ, так и на позиции. Гугл, к примеру, давно уже ранжирует сайты с учётом скорости загрузки.

Кешированые страницы быстрей загружаются и это положительно сказывается на seo

Точного ответа на этот вопрос нет, и он не очень нужен. Проблема в том, что ваш GET запрос из браузера порождает серию запросов к различным ресурсам, указанным в HTML контенте отданного сервером ответа, иногда эти ресурсы могут располагаться на различных серверах. Чем больше ресурсов требует конкретная страница, тем дольше она будет грузиться и рендериться. Значение имеет скорей время ответа сервера на первый в списке GET запрос. Если сервер даёт ответ на GET запрос в приделах 1-3 секунд, результат можно считать удовлетворительным. Если до секунды включительно - хорошим. Если полсекунды и менее - отличным. Самым медленным компонентом любого обработчика любого GET запроса является доступ к базе данных. Кроме этого, скорость загрузки и отрисовки страницы зависит ещё и от клиента, если в браузере отключить кеш, объективно скорость загрузки страницы будет отличаться от показателя с включенным кешем. Как-то так.

а как это отражается на ранжировании? Имею в виду, включенный/отключенный кэш.
типа, если заспамить кучу переходов с сохраненным кэшем, Гугл посчитает сайт топовым?

Я вам показал отключение кеша клиента. Этот кеш хранится на клиенте и к google никакого отношения не имеет. Ибо робот google опрашивает сервер, и что происходит на вашем конкретном клиенте google не может даже предположить. Роботы обычно опрашивают как раз первый GET-request и в его ответе ищут контент, как долго страница рендерится на клиенте роботов вообще мало интересует, если и интересует, то постольку-поскольку, для них важно время ответа сервера на первый запрос и возвращаемый в этом ответе контент. Иногда роботы тоже рендерят страницу, но не всегда и не обязательно.