Как писать с почты своего сайта?

Ставите постовую программу, например, The Bat, создаете почтовый ящик и вбиваете нужные данные, логины, пароли (в данных хостинга это должно быть). Переадресацию убираете, а письма получаете и отправляете с помощью почтовой программы.

* создаете почтовый ящик внутри программы на компе

Спасибо, теперь понятно)

Скажите, а из функционала wp, возможен такой вариант отправки писем? Через плагин. В Гугле поискал, но видимо не правильно задаю вопрос, ничего не находит.

Просто не всегда есть доступ к ПК

Либо, учитывая тот факт, что за последние 15 лет технологии сильно скакнули вверх, можно обойтись и без почтового клиента.
В настройках почтового ящика (Вашего личного, с которого Вы собираетесь отвечать людям) возможно есть настройки, где Вы можете выбрать от чьего почтового адреса отправлять письма.
На Гмейле, к примеру, такая штука находится во вкладке "Аккаунты и импорт". В остальных - хз, надо смотреть. Пользуйтесь нормальной почтой.

1. Заведите "Почту для домена" (для этого потребуется перенести управление доменом на DNS Яндекса или Mail.RU), пишите с веб-интерфейса из любого места.
2. Или поставьте любого почтового клиента себе на смартфон, он-то всегда при Вас.