spamprobe

warning: Creating default object from empty value in /usr/data/www/drupal6/modules/taxonomy/taxonomy.pages.inc on line 33.

Анализ внедрения автоматического обучения спам фильтров.

Прошло два месяца, как внедрил обучение спамфильров на основе спам ловушек (spamtrap) и исходящей почты.

Сейчас провел мелкий анализ результатов на основании выборки за два месяца до и два месяца после внедрения:

Критерий до (всего/ среднее в день) после (всего/среднее в день)
Ложные определения как спам (ощущение, что что-то не так, очень похоже, что отыграло начало внедрения) 676/16.4878

767/17.8372
без учета первой недели внедрения 391/10.8611

0
Your rating: Нет

Использование спам ловушек для обучения байесовских фильтров

В продолжение игрушек со спамом захотелось прикрутить автоматическое обучение байесовских фильтров спаму на основе спам ловушек.

У меня используются SpamProbe и Rspamd.

Основной вопрос был, как эти самые ловушки придумать и как туда заставить рассылать спам. Решение придумалось самое простое и, на мой взгляд, логичное.

  1. Анализируем лог почтового сервера на попытку доставить письмо в несуществующий ящик.
  2. Считаем количество попыток для каждого ящика.
  3. Если попыток больше определенного, я решил, что более 30, то заносим в базу спам ловушек. Порог требуется для того, чтобы не попадали адреса, которые люди неправильно набрали при вводе.
  4. Все письма поступающие на эти адреса передаем спам фильтру на обучение.
  5. Смотрим результат и периодически перепроверяем какие еще адреса имеет смысл добавить.

Реализация для EXIM:

Сбор адресов

( bzcat /var/log/exim/rejectlog.* ; cat /var/log/exim/rejectlog ) | grep -E 'Unrouteable|not found' | grep -v -E 'root|abuse|postmaster' | sed 's/.*rejected RCPT//;s/.*<//;s/>.*//' | sort | uniq -c | awk '$1 > 30 {print $2}' | sort > /usr/local/etc/exim/spam_trap.txt

0
Your rating: Нет

Описание подключения SpamProbe на exim и результат работы

Судя по всему, в марте прошлого года подключил к своему почтовому серверу на Exim спамфильтр SpamProbe.

По виду, все делалось по статье -  SpamProbe - фильтруем спам

Схема работы следующая:

  • Подключен к Exim через system_filter, который по необходимости сам как-то дергает SpamProbe. Хорошо это или плохо не знаю, но SpamProbe не висит демоном, а запускается каждый раз на проверку письма.
  • В Exim настроен роутер, который передает в транспорт по доставке писем пользователям в папочку Spam в случае если:
    • У получателя включен спамфильтр
    • SpamProbe определил письмо как спам
    • адрес отправителя не находится в белом листе
  • Транспорт по доставке спама передат письма dovecot с указанием положить в папку Spam.

Обучение идет с использованием dovecot, протокола imap и Antispam плагина к dovecot по следующей схеме:

0
Your rating: Нет
Ленты новостей