Адрес для входа в РФ: exler.world
Антиспамерский фильтр
25.05.2007 00:00
6383
Комментарии (25)
Недели две назад вдруг резко увеличилось количество спама. И того, который вылавливался локальным байесовским фильтром, и того - и это значительно более неприятно, - который не вылавливался. Подумал, что это уинклеровский фильтр под The Bat! стал дурить - у байесовских фильтров такое бывает. Переустановил, заново обучил - та же фигня. Откатился на виноградовский фильтр - еще хуже. Попробовал поставить новый антиспамерский фильтр от Agava (его сами Ритлабовцы рекомендуют). Поставил, потестировал. Стало несколько лучше, но все равно - невыловленного спама значительно больше, чем раньше. А тут еще в Штаты отправился - стало не до экспериментов, и в поездке замучился этот спам разгребать.
И только сегодня наконец-то выяснил, в чем дело. Оказывается, у нас на сервере закончилась лицензия на антиспамерский фильтр Касперского, который раньше аккуратненько выгребал и убивал 60-70% спама (мы специально его настроили так, чтобы в спам в любом случае не попадало ничего ценного, и чтобы это все можно было грохать прямо на сервере). Неудивительно, что без него так конкретно поплохело.
Лицензию мы восстановили, спам снова начал рубиться как положено. Вопрос не в этом. Вопрос в том, почему байесовский фильтр так плохо реагировал на спам, который раньше убивал фильтр Касперского. Причем я его обучал на этом спаме вовсю - все время заботливо говорил: "Это спам, это спам, это спам", но ни черта не помогало. Неужели настолько разные технологии? В таком случае их действительно нужно использовать только парно, иначе вилы: мощный, но аккуратный фильтр на сервере и локальный байес, который обучен под данный конкретный ящик.
Войдите, чтобы оставить комментарий.
Между прочим, точно так баесовский фильтр начал пропускать спам месяца 2 назад.
Накормлен и спамом, и хамом по самое немогу. Но работать отказывается.
Накормлен и спамом, и хамом по самое немогу. Но работать отказывается.
Тогда извиняюсь 😄 Много раз пропустил значит 😄
Поставил полгода наза грейлистинг на свой сервак и с тех пор всё прочее вымел на фиг... Не нужны больше никакие фильтры. Спам сыпется по несколько сообщений в секунду круглосуточно, но догодят единицы в неделю. Всё совершенно бесплатно.
Liels BUGs: Поставил полгода наза грейлистинг на свой сервак и с тех пор всё прочее вымел на фиг...
Мы уже много раз обсуждали, почему мне грейлистинг не подходит как класс.
Алекс, а SpamPal, о котором вы писали 4 года назад, вы давно перестали использовать? Мне бы хотелось его попробовать в деле, хочу узнать насколько он актуален.
perseus: Алекс, а SpamPal, о котором вы писали 4 года назад, вы давно перестали использовать? Мне бы хотелось его попробовать в деле, хочу узнать насколько он актуален.
Я уже года три его не использую. На сервере стоит фильтр Касперского (который бывший Ашмановский), в Бате стоит байесовский фильтр от AGAVA.
вообще согласен, комбинация KAS + ещё что-нибудь - очень эффективная штука.
из опыта: доверять касперу рубить почту на своё усмотрение ни в коем случае нельзя. не всё что он считает spam таковым является, не говоря уж о probable spam.
на предыдущей работе (крупная контора) была комбинация KAS + spamassassin. стояли подряд, сначала первый, потом второй.
второй был обучен видеть заголовки первого и давать за них 3 очка, а рубить почту - за 12 очков (то есть скорее всего каспер + свой байес + ещё что-нибудь из правил, типа dcc или razor).
работало очень хорошо, цифры примерно такие же: 65-70% зарезалось ещё до доставки в ящик, ещё ~10% помечалось как спам и оставлялось на усмотрение юзера.
sl_> К сожалению с Батом я распрощался пока (несмотря на то, что честно купил лицензию себе и жене), за столько лет они не смогли нормально сделать работу с imap - это просто жопа!
а можно уточнить, когда это произошло? т.к. у меня терпение кончилось 3 года назад. неужели до сих пор не победили? (и да, у меня тоже были лицензии на 1.x и 2.x)
из опыта: доверять касперу рубить почту на своё усмотрение ни в коем случае нельзя. не всё что он считает spam таковым является, не говоря уж о probable spam.
на предыдущей работе (крупная контора) была комбинация KAS + spamassassin. стояли подряд, сначала первый, потом второй.
второй был обучен видеть заголовки первого и давать за них 3 очка, а рубить почту - за 12 очков (то есть скорее всего каспер + свой байес + ещё что-нибудь из правил, типа dcc или razor).
работало очень хорошо, цифры примерно такие же: 65-70% зарезалось ещё до доставки в ящик, ещё ~10% помечалось как спам и оставлялось на усмотрение юзера.
sl_> К сожалению с Батом я распрощался пока (несмотря на то, что честно купил лицензию себе и жене), за столько лет они не смогли нормально сделать работу с imap - это просто жопа!
а можно уточнить, когда это произошло? т.к. у меня терпение кончилось 3 года назад. неужели до сих пор не победили? (и да, у меня тоже были лицензии на 1.x и 2.x)
Опечатку исправил, Орфус ставить никакого смысла нет - глючит он и проблемы создает.
Со своей маленькой колокольни замолвлю доброе слово про Kaspersky Internet Security 6. До его покупки на одну из рабочих машин ежедневно приходили от семидесяти спам-писем. После установки и нехитрой настройки в неделю фильтр проскакивает 2-3.
Всеволод: Eney : Эффективность работы spamassassin определяется не только байес-фильтром, используется алгоритм подсчета баллов, который базируется на суммировании набранных "очков" за вхождение в DNS-листы типа "spamcop", за отсутствие обратной PTR записи в ДНС и прочее...
Согласен. Поэтому бралась последняя версия с обновленным набором правил фильтрации. В результате спам не проходит.
Используется SpamAssassin (+MDaemon). После отключения автообучения и обучения байесовского фильтра на двоих коллекциях писем (ham и spam) проходят только спам-письма которые маскируются под whitelist. Остальные отсеиваются. Почта используется для более 500 ящиков. Нареканий на работу нет. Рекомендую 😄
Алекс, вся соль байесовского фильтра в том, что его недостаточно "кормить" спамом". КПД ниже среднего. Ему нужно давать "ham", т.е. "не-спам"
+
+
Всеволод: Алекс, вся соль байесовского фильтра в том, что его недостаточно "кормить" спамом". КПД ниже среднего. Ему нужно давать "ham", т.е. "не-спам"
Я вообще-то в курсе.
Alex Exler: В таком случае их действительно нужно использовать только парно, иначе вилы: мощный, но аккуратный фильтр на сервере и локальный байес, который обучен под данный конкретный ящик.
вот что я имел ввиду, указывая на эталон. У себя в организации долго искали лучшую комбинацию фильтров сервер-локальная машина пользователя.
Я думаю, что на сервере можно анализировать не только содержимое, а например сколько копий одного и того же пришло, ну и другие вещи которые на клиенте не видны
У меня в последнее время тоже несколько увеличилось количество спама. Что интересно - пропускаются довольно-таки однообразные сообщения. Т.е. или с одинаковым текстом, или с одинаковым сабжем. Целый месяц пирходили какие-то письма от какого-то доктора М. Вместо текста - картинка. И это не смотря на то, что я так же тщательно его обучаю.
Подозреваю, спамеры выявили какую-то дыру в технологии - уж боьлно похожие симптомы на разных производителях баесовских фильтров..
Использую SpamBayes 1.0.4 + Outlook 2003
Подозреваю, спамеры выявили какую-то дыру в технологии - уж боьлно похожие симптомы на разных производителях баесовских фильтров..
Использую SpamBayes 1.0.4 + Outlook 2003
Да! Да! Да!
Только вместо Касперского Spamassassin с общей базой для всех пользователей.
И вместо Бата - мозила гремучая птичка.
К сожалению с Батом я распрощался пока (несмотря на то, что честно купил лицензию себе и жене), т.к. за столько лет они не смогли нормально сделать работу с imap - это просто жопа!
Только вместо Касперского Spamassassin с общей базой для всех пользователей.
И вместо Бата - мозила гремучая птичка.
К сожалению с Батом я распрощался пока (несмотря на то, что честно купил лицензию себе и жене), т.к. за столько лет они не смогли нормально сделать работу с imap - это просто жопа!
sl_: т.к. за столько лет они не смогли нормально сделать работу с imap - это просто жопа!
Да, с IMAP там жопа, полностью согласен. Но я IMAP не пользуюсь, поэтому меня устраивает.
Эталонная модель.
Oleg V.: Эталонная модель.
И что? Байес же тоже получает модель для обучения.
