Что не так с сайтом?

Не понял связь между сообщением яндекса о заражении и анкорными и безанкорными ссылками.

Да, верно связи нет.
Не может же Яндекс считать вирусом Callback Killer?

Яндекс "глючит" и часто. Был аналогичный случай, и не раз.
Хуже, что нанесенный реальный ущерб выдаче - не восстановить. Никак.
Если сайт был в топ-е, то не исключен "стук" конкурентов. И Яндекс "находит вирус" - по-наводке (имхо - за деньги).
Один из хороших способов "убийства" сайтов. Месяцок повисит красная табличка в выдаче - и "прощай топ". Навсегда.

Есть ли на сайте какие-то фАЙЛЫ ДЛЯ СКАЧИВАНИЯ? Из-за них может выдавать вирус

Нет, такого нет. Так самое интересное, что письма на почту приходят, а в Вебмастере ничего нет.

А письма на почту от кого приходят?

Может мошенники вас "разводят" таким образом? Если в ВМ ничего нет, а на почту письма идут?

Пишут то с Яши я проверил.

А хостер что говорит? Я имею в виду вирусы?

Если на почту идут письма, как вы пишите, но сам Вэбмастер проблем не видит - задайте вопрос в техподдержку Вэбмастера, они скажут точнее. Если техподдержка даст отрицательный ответ, а письма идут не от хостера, то вероятность 99% что вас пытаются развести мошенники.