Вообще то есть красивые решения, но описать не доходят руки ... Я реализовывал на Sendmail и Exim. В общем случае вам нужно при построении своей почтовой системы отработать такие моменты, и именно в этой последовательности:

+ проверка существования отправителя. Реализуется
== в Sendmail фильтрами, например, milter-sender (www.snert.com). Он платный сейчас, но мне, например, повезло - в своё время - лет назад - скачивал еще свободные релизы. По лицензии их можно использовать для себя - неважно коммерчески или нет, но нельзя распространять. Так что не просите выслать пакет - я лицензии уважаю, сам пописываю кой чего
== В Exim - опция callback - встроенная и бесплатная
== В Postfix - как показывали коллеги, тоже есть похожие опции в новых релизах

+ по возможности - серые списки

+ антивирусные пакеты с ежечасным обновлением

+ SpamAssassin или что то похожее - для распознавания и маркировки СПАМа
== в Sendmail - это опять подключаемые фильтры. Я, опять же, пользуюсь решениями от www.snert.com - еще бесплатными релизами
== в Exim есть встроенный интерфейс для Spamassassin, также замечательно линкуется KasperskyAntiSpam - если вы готовы платить, а не тырить ПО
== в Postfix антисмамы также линкуются

+ контент-фильтры, в т.ч. для удаления распознанного СПАМа, приходящего на определнных пользователей из вашего домена
== в Sendmail - это опять подключаемые фильтры. Рекомендую milter-regex, который успешно справляется с задачей
== в Exim - нужно рыть в сторону условий, системных фильтров, фильтров пользователей,функции local_scan()
== в Postfix - не сталкивался, но решения есть

+ фильтры-перлюстраторы для контроля проходящей почты
== в Sendmail - это опять подключаемые фильтры. Я разрабатывал свой - в составе системы КоСиКУЛС http://www.ourorbits.org/cosiculs
== в Exim - сам не разрабатывал, но у коллег есть замечательная разработка, обеспечивающая online сканирование содержимого письма и принятие решения - доставка, недоставка, копия ... это закрытый продукт, но можете написать свой - главное, что это реально
== в Postfix - не сталкивался, но решения есть. Например реализация крупного перлюстрирующего комплекса Jet Дозор от известного интегратора

=================================================================================

такая почтовая система реализована на одном из крупных предприятий, а мелкие считаются десятками ... Статистика эффективности для крупного предприятия такова:

- флуктуация ежедневного объема почты - от 20 до 60 тыс. входящих писем ежедневно
- средний дневной объем отсеиваемого на проверке существования отправителя - около 70%. Да - две трети
- средний дневной объем фильтруемых зараженных писем - 100-300 писем ежедневно
- средний дневной объем маркируемого как СПАМ - 3-7 тыс. писем (такие письма доставляются пользователям по утвержденным спискам, или удалаяются - не доставляются пользователям - также по утвержденным спискам пользователей)

Удачи