The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Выпуск системы фильтрации спама SpamAssassin 3.4.2

17.09.2018 20:15

Спустя три c половиной года с момента прошлого выпуска представлен релиз платформы для фильтрации спама - SpamAssassin 3.4.2. В SpamAssassin реализован комплексный подход в принятии решения о блокировании: сообщение подвергается ряду проверок (контекстный анализ, черные и белые списки DNSBL, обучаемые байесовские классификаторы, проверка по сигнатурам, аутентификация отправителя по SPF и DKIM и т.п.). После оценки сообщения разными методами, накапливается определенный весовой коэффициент. Если вычисленный коэффициент превышает определенный порог - сообщение блокируется или помечается как спам. Поддерживаются средства автоматического обновления правил фильтрации. Пакет может использоваться как на клиентских, так и на серверных системах. Код SpamAssassin написан на языке Perl и распространяется под лицензией Apache.

Особенности нового выпуска:

  • Добавлены плагины (отключены по умолчанию):
    • Mail::SpamAssassin::Plugin::HashBL - интерфейс к EBL (Email Blocklist), списку блокировки email-адресов, специфичных для spam-сообщений. Список блокировки может оказаться полезен в ситуациях, когда блокировка по доменам и IP невозможна из-за значительного числа ложных срабатываний;
    • Mail::SpamAssassin::Plugin::ResourceLimits - использует perl-модуль BSD::Resource для ограничения ресурсов CPU и памяти для дочерних процессов spamd;
    • Mail::SpamAssassin::Plugin::FromNameSpoof - выявляет спуфинг содержимого поля "From:", когда спамеры подставляют в качестве отправителя адреса легитимных пользователей;
    • Mail::SpamAssassin::Plugin::Phishing - осуществляет поиск в сообщении ссылок на фишинговые сайты, присутствующие в чёрных списках OpenPhish и PhishTank;
  • Из соображений безопасности из spamc удалена поддержка протокола SSLv3, который уже не считается надёжным;
  • Проведена оптимизация кода, позволившая ускорить запуск процесса spamd;
  • В скрипт sa-update добавлена возможность проверки целостности загружаемых правил с использованием хэщ-функций SHA-256 и SHA-512, вместо ранее применяемого SHA1 (SpamAssassin прекращает применение цифровых подписей на базе SHA1 для верификации обновлений правил);
  • Проведена работа по усилению безопасности плагина TxRep. Переработан код для работы с временными файлами. Усилены проверки в обработчиках spamd;
  • В плагины RelayCountry и URILocalBL добавлена поддержка API GeoIP2;
  • Добавлены новые элементы конфигурации, в том числе тег шаблонов "_DKIMSELECTOR_" для извлечения из сигнатуры селектора DKIM (тег 's'), опция 'uri_block_cont' для учёта континентов в плагине URILocalBL, 'country_db_type', 'country_db_path' и 'uri_country_db_path' для выбора баз территориальной привязки IP (GeoIP, GeoIP2, IP::Country::Fast или IP::Country::DB_File), 'resource_limit_cpu' и 'resource_limit_mem'для задания лимита на потребление ресурсов CPU и памяти;
  • Добавлена возможность сборки с OpenSSL 1.1.0;
  • Устранены четыре уязвимости:
    • CVE-2018-11780 - уязвимость в плагине PDFInfo, позволяющая организовать удалённое выполнение кода при обработке специально оформленных PDF-файлов;
    • CVE-2017-15705 - позволяет осуществить отказ в обслуживании. При указании в тексте письма определённой комбинации незакрытых HTML-тегов, обработка письма не завершается до истечения таймаута, что можно использовать для исчерпания доступных ресурсов в системе;
    • CVE-2016-1238 - в одном из скриптов конфигурации в пути поиска модулей (@INC) использовался символ ".", что могло привести к переопределению модулей при доступе атакующего к каталогу из которого был запущен SpamAssassin;
    • CVE-2018-11781 - возможность подстановки кода локальным пользователем через манипуляции со значением в правиле meta.

Дополнительно сообщается о начале подготовки выпуска SpamAssassin 4.0.0, основным изменением в котором станет полноценная встроенная поддержка окружений с кодировкой UTF-8.

 
  1. Главная ссылка к новости (https://lists.apache.org/threa...)
  2. OpenNews: Доступна система фильтрации спама Rspamd 1.7
  3. OpenNews: В рамках проекта Spamnesty развивается бот для увеличения затрат спамеров
  4. OpenNews: Увидел свет Apache SpamAssassin 3.4.1
  5. OpenNews: Увидел свет Apache SpamAssassin 3.4.0
  6. OpenNews: Критическая уязвимость в Milter-плагине к Spamassassin. Проблемы в MaxDB, TikiWiki и Samba
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/49285-spamassassin
Ключевые слова: spamassassin, spam
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (47) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 20:55, 17/09/2018 [ответить] [﹢﹢﹢] [ · · · ]  []     [к модератору]
  • +/
    Вопрос администраторам почтовиков. Какие альтернативы сабжу сейчас актуальны?
     
     
  • 2.2, Аноним (2), 21:06, 17/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +12 +/
    Rspamd
     
  • 2.6, администратор почтовика (?), 21:33, 17/09/2018 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • –10 +/
    альтернативы сабжу сейчас - неактуальны. Так же как и он сам. Доисторическое тормозное ненужно.

    байесовые фильтры спаммеры прекрасно научились обходить. А поскольку всем лень/некогда кормить их ham'ом - то реальная почта как раз отлично попадается.
    валидные dkim/spf - сегодня неотъемлемая фича каждого уважающего себя спаммера (а у корпоративной почтовки/вебмагазина/много кого еще - их может и не быть)
    остальные критерии дают массу ложных срабатываний, поскольку являются лишь чьим-то представлением о том, как выглядят "правильные" почтовки, а пользователь, вот сюрприз, имеет совершенно другие.
    Даже когда-то казавшаяся панацеей relay reputation в эпоху облачков не стоит выеденного яйца.

    ставьте ironport, не мелочитесь. Это работает.

     
     
  • 3.8, Sw00p aka Jerom (?), 22:10, 17/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    ironport - его давно уже закрыли, там щас другое название
     
  • 3.10, Catwoolfii (ok), 22:23, 17/09/2018 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +1 +/
    Rspamd как раз таки с ham'ом поставляется
     
     
  • 4.18, Sw00p aka Jerom (?), 23:47, 17/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    китайским ham-ом?
     
  • 3.21, лютый лютик__ (?), 05:35, 18/09/2018 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    > ставьте ironport, не мелочитесь. Это работает.

    Ну, с точки зрения юзера со старым, но особо не незасвеченным корпоративным адресом - через ironport регулярно пролетает спам. И наоборот в блокировку уходят вполне адекватные письма от всяких саппортов или даже рабочая переписка.

    А вот в бесплатном gmail никакого спама не вижу. Так что не молочитесь с ironport, идите в гмэйл!

     
     
  • 4.22, пох (?), 07:41, 18/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • –1 +/
    странно, я, правда, давно с ним дела не имел, но он был хорош именно минимальным числом ложных срабатываний. Подписка-то у вас не протухла ли пару лет назад? С тех пор как касперский окончательно засветился как вор данных, выбора что-то и не осталось :-(

    > А вот в бесплатном gmail никакого спама не вижу. Так что не молочитесь с ironport, идите в гмэйл!

    это если почту получать собираетесь только с gmail'а. Ну, может еще с яндекса и мэйлсpy, они партнеры.
    Причем спам на мой "не особо засвеченный" но времен когда их можно было завести только по invite, почтовый ящик эпизодически таки прорывается (и даже мимо spam-folder - "оно ж с gmail, на гугле ж не могут быть спамеры, у него капча и номер телефона!"), а вот нормальная почта уже иногда и реджектится, даже до спам-фолдера не доходя.

    Эх, а было ведь время, когда я действительно его советовал людям, спрашивавшим "где бы завести почту для сайтика"... Сейчас советую нанять, наконец, нормального админа (не помогает).

     
  • 2.16, Аноним (16), 23:24, 17/09/2018 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +/
    А чем плох спамасазин?
     
     
  • 3.17, Аноним (17), 23:41, 17/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +1 +/
    Никто не говорит, что он плох. Вопрос, какие ещё варианты народ использует. Для расширения кругозора, так сказать.
     
  • 3.23, Catwoolfii (ok), 07:58, 18/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +2 +/
    В первом абзаце:
    https://habr.com/post/125007/
     
  • 3.36, ann none (?), 18:54, 18/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +1 +/
    perl. а в этом вашем rspamd lua.
    для настоящего хардкора товарищ Эрик Реймонд написал еще ндцать лет назад bogofilter. но у него ровно один недостаток - девопсы и админы локалхостов не могут нагуглить готовый рецепт как его присобачить к экзиму.
     
     
  • 4.38, GedNN (?), 08:50, 19/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Пошел тестить...
    На вскидку хаутушек не хватает. Пришлось по тем, что для SpamProbe делать.
     
  • 2.34, GedNN (?), 18:21, 18/09/2018 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +/
    RspamD и забытый проект spamprob. :-) Работают в паре.

    Корпоратив, около 300 пользователей. Обучение на исходящих + перемещение спам/не спам.

    Detected spam by ALL    1849
    Detected spam by SpamProbe and RSpamD     895
    Detected spam only by RSpamD      43
    Detected spam only by SpamProbe     911

     
     
  • 3.48, Vsevolod Stakhov (?), 14:22, 23/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Я как-то читал ваш пост в ЖЖ, но так и не смог понять, зачем тут этот spamprobe? Разве что если он уже натренирован, корпусов не сохранилось, а учить Bayes в Rspamd лень.

    В прошлом этих bayes фильтров наплодили множество: bogofilter, spamoracle, spamprobe, crm114, dspam. У всех примерно одинаковые проблемы: паршивый (а то и дырявый) парсинг mime, наивный bayes (кроме crm/dspam), отсутствие поддержки стоп слов, отсутствие поддержки utf8 (например, нормализации юникода), отсутствие лингвистической нормализации, неумение работать с заголовками (то, что написано в документации spamprobe про это, меня умиляет, да).

     
  • 2.39, linvinus (?), 11:07, 19/09/2018 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +1 +/
    amavis + spamassain + самописные плагины

    1) автоматический белый список по полю TO для всех исходящих писем кроме системных, присутствие в списке добавляет отрицательные балы в spamassian
    2) при получении письма проверка на то что отправитель существует на сервере отправителя (конект + RCPT TO == 250?) (по полю from), проверка добавляет положительные баллы, частично задевает рассылки
    3) автоматическая тренировка баяса на spam по ящикам уволенных пользователей на которые клиенты писать не будут
    4) автоматическая тренировка на ham по исходящим письмам (случайная выборка, не всё подряд)
    5) автоматическая тренировка на spam если письмо перемещено из входящей папки в папку нежелательная почта (powershell на exchange).
    6) ручная тренировка на ham, для пользователей есть инструкция как обучить антиспам путём пересылки сообщения на специальный адрес, некоторые пользуются, но в основном работает п.1

    порядка 200 пользователей за два дня
          1 Passed BAD
       1348 Passed CLEAN
       1812 Passed SPAM

    какие баллы сколько раз сработали https://pastebin.com/tjum6pEJ (самописные начинаются с AWL_)
    если больше 3 баллов то спам.

     
     
  • 3.42, GedNN (?), 15:48, 19/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    А почему случайная, а не всё подряд?
    >4) автоматическая тренировка на ham по исходящим письмам (случайная выборка, не всё подряд)
     
     
  • 4.47, linvinus (?), 16:24, 20/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +1 +/
    в идеале баяс нужно кормить только теми письмами которые он пропустил как спам тогда как пользователь посчитал что это не спам.

    Но автоматизировать это очень сложно, если почтовик exchange, поэтому для баланса подкармливаю случайными исходящими письмами.

    если кормить всеми словами как не спам он мало что будет ловить, у меня получалось так что он реагировал только на точные копии спаммерских писем которыми его обучили, а чуть текст меняется всё считает не спам.

    я думаю лучше не перекармливать его ham'ом :)

     
     
  • 5.50, GedNN (?), 18:53, 25/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Нинаю. Я все что уходит скармливаю как Ham, все что люди положили в папку Spam скармливаю как спам.

    Еще есть доверенные организации/сервера, письма от которых скармливаю как Ham.

    Вроде не жалуются.

     

  • 1.3, Аноним (3), 21:20, 17/09/2018 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [к модератору]
  • +/
    Как нубу запустить почтовый сервер?
     
     
  • 2.4, Anonymouss (?), 21:24, 17/09/2018 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Вам для исходящей почты или входящей?
     
     
  • 3.5, IdeaFix (ok), 21:31, 17/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +10 +/
    Да :)
     
  • 3.14, Аноним (-), 23:20, 17/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    И входит... и выходит... Замечательно выходит!
     
  • 3.19, Аноним (3), 23:58, 17/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    И для входящей, и для исходящей
     
  • 2.7, Аноним (7), 21:43, 17/09/2018 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +7 +/
    yum install postfix

    Главное не забыть в конфиг в mynetworks 0.0.0.0/0 вписать.

     
     
  • 3.9, Sw00p aka Jerom (?), 22:10, 17/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    так он по дефолту стоит в место сендмейлера
     
  • 3.11, Аноним (11), 22:25, 17/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Да кому сейчас нужны те опенрелеи.
     
     
  • 4.15, Аноним (-), 23:22, 17/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Да и почта уже устарела, щас быдло сидит в телеграме.
     
     
  • 5.20, fske (?), 00:32, 18/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +5 +/
    Ну так вылазь из телеграма, что ты там забыл?
     
     
  • 6.35, А (??), 18:47, 18/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Он не может, как как попадает под определение)
     
  • 2.12, PereresusNeVlezaetBuggy (ok), 22:30, 17/09/2018 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +5 +/
    «Эй, Алиса, запусти почтовый сервер»
     
  • 2.13, Аноним (-), 23:19, 17/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +22 +/
    Не служай этих безумцев! Use iRedMail, Luke.
     

  • 1.24, CHERTS (ok), 08:25, 18/09/2018 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [к модератору]
  • +1 +/
    Rspamd - самая адекватная альтернатива, если правильно его настроить + посадить всех юзеров на web-интерфейс в котором есть кнопки Spam/Ham для обучения rspamd, то он вполне нормально обучается и начинает неплохо отлавливать спам.
     
     
  • 2.26, Mikula (?), 09:37, 18/09/2018 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    >посадить всех юзеров на web-интерфейс в котором есть кнопки Spam/Ham для обучения rspamd

    Это где такое в rspamd реализовано?

     
     
  • 3.27, exSun (ok), 09:59, 18/09/2018 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Я просто по крону Maildir разбираю. Всё прочитанное более 3 часов назад (find -cmin) и оставшееся в INBOX или его потомках, уходит в хам, всё прочитанное более 3 часов назад из Junk - в спам. Перемещение в Junk и обратно - работа сторонних средств (веб-интерфейса или IMAP-клиента). Не шибко быстро, но работает.
     
     
  • 4.30, Аноним (30), 10:56, 18/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +2 +/
    Правильное решение это через Sieve
     
     
  • 5.31, exSun (ok), 11:15, 18/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > Правильное решение это через Sieve

    Согласен. Просто лень делать, когда и так хорошо работает. Но как запихивать в ham по Sieve то, что пришло в инбокс, там было прочитано и там осталось?

     
  • 3.29, Аноним (30), 10:56, 18/09/2018 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Легко реализуемо через два хука ManageSieve и stdin
     
  • 2.44, Аноним (44), 16:21, 19/09/2018 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • –1 +/
    как может быть адекватной альтернатива, которую ведет 1 (один) человек.
     
     
  • 3.46, Аноним (30), 05:39, 20/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Человек пароход! Ведет всю компанию с дна!
     

  • 1.33, Аноним (44), 13:53, 18/09/2018 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [к модератору]
  • +1 +/
    Самую смешняшку не озвучили. 3.4.1 не резолвил через локалхост, ошибка в перловке. Это-то починили ?

     
     
  • 2.41, An (??), 12:28, 19/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Сообщение о баге было отправлено?
     
     
  • 3.43, Аноним (44), 16:15, 19/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    ога. было пофикшено в транке. но в сипане до последнего лежала багнутая версия.
     

  • 1.37, SubGun (ok), 23:48, 18/09/2018 [ответить] [﹢﹢﹢] [ · · · ]  []     [к модератору]
  • –4 +/
    Переписали бы его уже на питоне или на новомодном го. Нет, блин, тянут это тормозное чудовище на перле.
     
     
  • 2.40, xm (ok), 12:16, 19/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +2 +/
    Так вперёд - переписывайте
     
  • 2.45, angra (ok), 01:43, 20/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Я тебя сейчас ошарашу. На go будет работать медленее, так как у него очень тормозной регекс движок. Вот на rust другое дело, но кто же это осилит.
     
  • 2.49, Vsevolod Stakhov (?), 17:30, 23/09/2018 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Давно уже переписали, когда новомодных go и растов еще в проекте не было. Зачем тянут это чудовище - я сам не очень понимаю: лучше бы присылали идеи, багрепорты, а еще лучше - pull request'ы - мне.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2025 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру