Адрес для входа в РФ: exler.world

БЛОГ

Антиспамерский фильтр

25.05.2007 00:00 6476 Комментарии (25)

Недели две назад вдруг резко увеличилось количество спама. И того, который вылавливался локальным байесовским фильтром, и того - и это значительно более неприятно, - который не вылавливался. Подумал, что это уинклеровский фильтр под The Bat! стал дурить - у байесовских фильтров такое бывает. Переустановил, заново обучил - та же фигня. Откатился на виноградовский фильтр - еще хуже.

Попробовал поставить новый антиспамерский фильтр от Agava (его сами Ритлабовцы рекомендуют). Поставил, потестировал. Стало несколько лучше, но все равно - невыловленного спама значительно больше, чем раньше. А тут еще в Штаты отправился - стало не до экспериментов, и в поездке замучился этот спам разгребать.

И только сегодня наконец-то выяснил, в чем дело. Оказывается, у нас на сервере закончилась лицензия на антиспамерский фильтр Касперского, который раньше аккуратненько выгребал и убивал 60-70% спама (мы специально его настроили так, чтобы в спам в любом случае не попадало ничего ценного, и чтобы это все можно было грохать прямо на сервере). Неудивительно, что без него так конкретно поплохело.

Лицензию мы восстановили, спам снова начал рубиться как положено. Вопрос не в этом. Вопрос в том, почему байесовский фильтр так плохо реагировал на спам, который раньше убивал фильтр Касперского. Причем я его обучал на этом спаме вовсю - все время заботливо говорил: "Это спам, это спам, это спам", но ни черта не помогало. Неужели настолько разные технологии? В таком случае их действительно нужно использовать только парно, иначе вилы: мощный, но аккуратный фильтр на сервере и локальный байес, который обучен под данный конкретный ящик.

софт

25.05.2007 00:00

Предыдущая запись Следующая запись

Комментарии 25

Между прочим, точно так баесовский фильтр начал пропускать спам месяца 2 назад.
Накормлен и спамом, и хамом по самое немогу. Но работать отказывается.

skyward78

03.06.07 21:21

0 0

Тогда извиняюсь 😄 Много раз пропустил значит 😄

Liels BUGs

29.05.07 17:14

0 0

Поставил полгода наза грейлистинг на свой сервак и с тех пор всё прочее вымел на фиг... Не нужны больше никакие фильтры. Спам сыпется по несколько сообщений в секунду круглосуточно, но догодят единицы в неделю. Всё совершенно бесплатно.

Liels BUGs

28.05.07 15:53

0 0

Liels BUGs: Поставил полгода наза грейлистинг на свой сервак и с тех пор всё прочее вымел на фиг...

Мы уже много раз обсуждали, почему мне грейлистинг не подходит как класс.

Alex Exler

Liels BUGs

29.05.07 00:17

0 0

Алекс, а SpamPal, о котором вы писали 4 года назад, вы давно перестали использовать? Мне бы хотелось его попробовать в деле, хочу узнать насколько он актуален.

perseus

27.05.07 16:08

0 0

perseus: Алекс, а SpamPal, о котором вы писали 4 года назад, вы давно перестали использовать? Мне бы хотелось его попробовать в деле, хочу узнать насколько он актуален.

Я уже года три его не использую. На сервере стоит фильтр Касперского (который бывший Ашмановский), в Бате стоит байесовский фильтр от AGAVA.

Alex Exler

perseus

28.05.07 10:44

0 0

вообще согласен, комбинация KAS + ещё что-нибудь - очень эффективная штука.

из опыта: доверять касперу рубить почту на своё усмотрение ни в коем случае нельзя. не всё что он считает spam таковым является, не говоря уж о probable spam.

на предыдущей работе (крупная контора) была комбинация KAS + spamassassin. стояли подряд, сначала первый, потом второй.

второй был обучен видеть заголовки первого и давать за них 3 очка, а рубить почту - за 12 очков (то есть скорее всего каспер + свой байес + ещё что-нибудь из правил, типа dcc или razor).

работало очень хорошо, цифры примерно такие же: 65-70% зарезалось ещё до доставки в ящик, ещё ~10% помечалось как спам и оставлялось на усмотрение юзера.

sl_> К сожалению с Батом я распрощался пока (несмотря на то, что честно купил лицензию себе и жене), за столько лет они не смогли нормально сделать работу с imap - это просто жопа!

а можно уточнить, когда это произошло? т.к. у меня терпение кончилось 3 года назад. неужели до сих пор не победили? (и да, у меня тоже были лицензии на 1.x и 2.x)

rojer

27.05.07 03:06

0 0

Опечатку исправил, Орфус ставить никакого смысла нет - глючит он и проблемы создает.

Alex Exler

26.05.07 08:32

0 0

Alex Exler, сразу прошу прощения за оффтоп. Заметил опечатку: "И того, который вылавливался локальным байесовским фильтров(м)". Ни в коем случае не критикую и не указываю. Понимаю что за всем не уследишь. Но есть предложение: воспользоваться системой Орфус: dklab.ru

Vitaly

25.05.07 23:09

0 0

Со своей маленькой колокольни замолвлю доброе слово про Kaspersky Internet Security 6. До его покупки на одну из рабочих машин ежедневно приходили от семидесяти спам-писем. После установки и нехитрой настройки в неделю фильтр проскакивает 2-3.

russel

25.05.07 15:13

0 0

Всеволод: Eney : Эффективность работы spamassassin определяется не только байес-фильтром, используется алгоритм подсчета баллов, который базируется на суммировании набранных "очков" за вхождение в DNS-листы типа "spamcop", за отсутствие обратной PTR записи в ДНС и прочее...

Согласен. Поэтому бралась последняя версия с обновленным набором правил фильтрации. В результате спам не проходит.

Eney

25.05.07 14:41

0 0

Используется SpamAssassin (+MDaemon). После отключения автообучения и обучения байесовского фильтра на двоих коллекциях писем (ham и spam) проходят только спам-письма которые маскируются под whitelist. Остальные отсеиваются. Почта используется для более 500 ящиков. Нареканий на работу нет. Рекомендую 😄

Eney

25.05.07 14:02

0 0

Eney : Эффективность работы spamassassin определяется не только байес-фильтром, используется алгоритм подсчета баллов, который базируется на суммировании набранных "очков" за вхождение в DNS-листы типа "spamcop", за отсутствие обратной PTR записи в ДНС и прочее...

Всеволод

Eney

25.05.07 14:14

0 0

Алекс, вся соль байесовского фильтра в том, что его недостаточно "кормить" спамом". КПД ниже среднего. Ему нужно давать "ham", т.е. "не-спам"

+

Всеволод

25.05.07 13:43

0 0

Всеволод: Алекс, вся соль байесовского фильтра в том, что его недостаточно "кормить" спамом". КПД ниже среднего. Ему нужно давать "ham", т.е. "не-спам"

Я вообще-то в курсе.

Alex Exler

Всеволод

26.05.07 08:33

0 0

Alex Exler: В таком случае их действительно нужно использовать только парно, иначе вилы: мощный, но аккуратный фильтр на сервере и локальный байес, который обучен под данный конкретный ящик.

вот что я имел ввиду, указывая на эталон. У себя в организации долго искали лучшую комбинацию фильтров сервер-локальная машина пользователя.

Oleg V.

25.05.07 12:30

0 0

Я думаю, что на сервере можно анализировать не только содержимое, а например сколько копий одного и того же пришло, ну и другие вещи которые на клиенте не видны

lofa

25.05.07 12:14

0 0

У меня в последнее время тоже несколько увеличилось количество спама. Что интересно - пропускаются довольно-таки однообразные сообщения. Т.е. или с одинаковым текстом, или с одинаковым сабжем. Целый месяц пирходили какие-то письма от какого-то доктора М. Вместо текста - картинка. И это не смотря на то, что я так же тщательно его обучаю.

Подозреваю, спамеры выявили какую-то дыру в технологии - уж боьлно похожие симптомы на разных производителях баесовских фильтров..

Использую SpamBayes 1.0.4 + Outlook 2003

13th

25.05.07 11:52

0 0

Да! Да! Да!

Только вместо Касперского Spamassassin с общей базой для всех пользователей.

И вместо Бата - мозила гремучая птичка.

К сожалению с Батом я распрощался пока (несмотря на то, что честно купил лицензию себе и жене), т.к. за столько лет они не смогли нормально сделать работу с imap - это просто жопа!

sl_

25.05.07 11:14

0 0

sl_: т.к. за столько лет они не смогли нормально сделать работу с imap - это просто жопа!

Да, с IMAP там жопа, полностью согласен. Но я IMAP не пользуюсь, поэтому меня устраивает.

Alex Exler

sl_

25.05.07 11:34

0 0

Эталонная модель.

Oleg V.

25.05.07 09:20