Думаю поменять все картинки на сайте jpeg и png на webp. стоит?

Нет. WebP практически мало ещё поддерживается. https://ru.stackoverflow.com/questions/915267/Современные-форматы-изображения-jpeg-2000-jpeg-xr-и-webp/915298

Тоже думал. Но это займет много времени, а по факту полезно или нет - неизвестно. Не стал заморачиваться.

Я начал менять для начала незначительные фотографии и страницы.

Ну я менял для главных, что бы гугл спид тест выдавал зеленое значение. Вот если была бы пакетная обработка + покатом обновить в базе. Если wp там еще это расширение нужно в functions.php прописать, иначе могут быть конфликты. А так вообще по большому счету желательно все рекомендации ПС выполнять, думаю.

А надо менять ? Мне не понравился этот формат. При небольшой экономии размера рисунка, рисунок приобретает пластиковую структуру. Чтобы такого эффекта не возникало, надо уменьшать степень сжатия, но тогда выигрыша в размере нет.
Ерунда. Я не буду переходить на этот формат.

32% сжатие на 500 фотках. Хороший результат я считаю.