Тестирование системы "Спаморез" в ИД "Компьютерра"

Бороться со спамом можно разными способами. Одни используют фильтры на почтовом сервере, другие ставят преграду почтовому мусору уже на рабочей станции, применяя для этого клиентские приложения.

Бороться со спамом можно разными способами. Одни используют фильтры, установленные непосредственно на почтовом сервере, другие ставят преграду почтовому мусору уже на рабочей станции, применяя для этого специализированные клиентские приложения. Но, как правило, в большинстве случаев спам все-таки отнимает определенную долю интернет-трафика, который для корпоративного пользователя зачастую совсем не дешев. Кроме того, антиспамовые системы требуют настройки, обновления, обучения, неустанного внимания ИТ-персонала. А как быть небольшим компаниям, у которых порой нет даже выделенного ИТ-специалиста? В этом случае можно обратить внимание на компании, предлагающие защиту от спама на аутсорсинговой основе.

Конечно, за эту услугу придется ежемесячно выкладывать определенную сумму, но груз ответственности за состояние антиспамовых систем перекладывается на чужие плечи, а клиент в итоге просто получает чистую почту, к тому же, сэкономив на паразитном трафике можно полностью окупить затраты. Суть технологии заключается в следующем. Вся почтовая корреспонденция перенаправляется на специальные антиспамовые серверы, расположенные в дата-центре аутсорсинговой компании, где они подвергаются необходимой обработке. Чистая почта отправляется клиенту, а спам задерживается в специальном хранилище-карантине, откуда его можно при желании извлечь.

Наш издательский дом не является исключением из общего правила. Объем спама, ежедневно приходящего на наши почтовые домены, составляет 98-99%. Разумеется, на эту долю приходится огромный объем трафика, который, как известно, стоит денег. Несколько месяцев назад было принято решение о внедрении мощной корпоративной системы борьбы со спамом. По ряду причин предпочтение отдали новому отечественному решению. Речь идет о "Спаморезе" - разработке российской компании "Аутком".

Стоит отметить, что критерии спама для ИД "Компьютерра" несколько отличаются от стандартных. Дело в том, что на наши адреса приходит большое количество пресс-релизов, приглашений на мероприятия и т.п. Каждый сотрудник получает в день до сотни таких писем, а то и больше. По ряду критериев эти послания могут быть причислены к спаму, но для нас это не спам, это наша работа. Конечно, доля настоящего спама в несколько раз выше. Риск потерять нужный и полезный пресс-релиз в ворохе рекламы краденых баз данных, виагры и курсов преподавания английского языка чрезвычайно велик. По этой причине нам было необходимо решение, специально настроенное в соответствии с особенностями нашей переписки.

Было опробовано несколько систем отечественного и зарубежного происхождения, а в апреле текущего года началось тестирование "Спамореза". Вначале к нему были подключены второстепенные домены b-mag, game-exe и softerra. Через них проходило примерно 10% всего почтового трафика ИД "Компьютерра". В течение нескольких дней наши системные администраторы совместно со специалистами компании "Аутком" настраивали систему, адаптируя ее к особенностям нашей деятельности. Первые результаты превзошли все ожидания, и уже через десять дней к "Спаморезу" были подключены все домены нашего издательского дома.

Процесс тестирования занял полтора месяца. В течение этого периода система обрабатывала, в среднем, 516413 писем в сутки, из которых 509857 (98,73%) считала спамом, а 6556 (1,27%) - нормальной почтой. Кроме того, за это время "Спаморезом" было предотвращено несколько DDOS-атак на почтовые сервера "Компьютерры", а также мощная почтовая бомбардировка, когда в течение трех часов на один из адресов с внешнего адреса пришло более 4000 писем.

Что касается ложных срабатываний, то они были единичными. По крайней мере, мне не приходилось слышать о пропаже какого-либо важного письма у своих коллег из-за работы "Спамореза". В качестве иллюстрации приводим графики по статистике работы "Спамореза" за последние три месяца.

Стоит остановиться на технической стороне вопроса. Система "Спаморез" спроектирована таким образом, что почта в нее перенаправляется на основе измененной MX записи почтового домена. Все, что требуется от ИТ-специалистов заказчика, - это включить режим перенаправления почты. Никаких прочих манипуляций по настройке и конфигурированию не нужно. Подобная реализация оптимальна для средних и небольших компаний. Крупным компаниям и провайдерам возможно имеет смысл приобрести собственный "Спаморез", установленный на отдельном сервере. Когда приходится иметь дело с очень большим почтовым потоком, систему можно установить на нескольких серверах с балансировкой нагрузки.

Конечно, объем почты ИД "Компьютерра" хоть и велик (полмиллиона писем в сутки), однако с его обработкой вполне справляется и отдельный сервер с процессором Pentium D 805 и объемом оперативной памяти 1,5 Гб. Причем, в данный момент его ресурсы используются, в среднем, лишь на 50-60%. Наверняка, читателей заинтересует, насколько анализ писем "Спаморезом" влияет на скорость получения почты. По словам представителей компании "Аутком", среднее время проверки письма составляет от 3 до 7 секунд, но практически никогда не превышает 60 секунд. В тех случаях, когда из-за проблем с интернет-каналом своевременная доставка почты клиенту невозможна, письма сохраняются на серверах "Аутком", а после устранения сбоев немедленно доставляются.

По словам разработчиков, "Спаморез" сделан на основе решений open-source . В плане архитектуры он представляет собой модульную систему, состоящую из подсистемы фильтрации на уровне smtp-диалога, подсистемы фильтрации по содержимому сообщений, подсистемы фильтрации вирусов, подсистемы карантина и подсистемы доставки сообщений получателю. Каждая из указанных подсистем, в свою очередь, также имеет модульную структуру, что позволяет гибко реагировать на постоянно совершенствующиеся техники рассылки спама. К примеру, появился спам в pdf-файлах - добавился модуль в подсистему фильтрации по содержимому сообщений.

Ключевой особенностью "Спамореза" по сравнению с другими антиспам-решениями является непривязанность к какому либо конкретному способу определения спама, т.к. решение принимается на основе многих несвязанных параметров, что повышает точность и надежность определения спама. Спам определяется аналитически, а не с помощью, например, простого сигнатурного анализа.

Другое отличие "Спамореза" от других антиспамовых решений - особенная технология определения и отсева сообщений от зомби-сетей (ботнет). В результате, существенно экономятся вычислительные ресурсы компьютера (не обрабатывается заведомо стопроцентный спам) и серьезно экономится трафик.

Из технических особенностей "Спамореза", можно отметить возможности его тонкой настройки, с учётом специфики электронной почты каждого из клиентов. Например, сигнальные уровни "спам/не спам" определяются индивидуально для каждого домена и, если это необходимо, даже для отдельного почтового адреса.

Другая техническая особенность - "Спаморез" рассчитывает авторейтинг постоянных корреспондентов, т.е. электронных адресов, которые постоянно участвуют в почтовой переписке. Этот рейтинг существенно снижает ложное определение нормальной почты как спама.

"Спамoрез" самообучается в процессе работы. Обучение осуществляется на основе фильтрации общего трафика всех доменов, то есть "Спаморез" учится определять спам, основываясь не только на почтовом трафике какого-то конкретного клиента, но и анализируя признаки вообще всех прошедших писем, разумеется, с необходимыми поправочными коэффициентами. Получается "эффект работы сообща".

"Спаморез" внимательно изучает "тело" письма: оно проверяется по ключевым словам, особенностям оформления и целому ряду других критериев. К примеру, механизм фильтрации по ключевым словам основан на статистическом методе Байеса. "Спаморез" определяет частоту вхождения слов и фраз в каждом почтовом сообщении и ведёт базу данных частотных словарей, на основе которых определяет вероятность принадлежности сообщения к спаму. После обработки каждого электронного почтового сообщения обновляются частотные словари. За счет этого выполняется динамическая подстройка "Спамореза" к постоянно меняющемуся потоку спамерских сообщений.

Стоит также упомянуть систему "черных" и "белых" списков, добавляющих письму положительные и отрицательные баллы, а также систему выявления "помех", к которым зачастую прибегают спамеры с целью обмануть антиспамовые системы и представить почтовый хлам в виде нормальных писем. Кроме всего указанного выше, в "Спаморез" встроено ещё несколько десятков алгоритмов определения спам.

В результате комплексной проверки письма разделяются на несколько категорий. Первая - это чистая почта, вторая - "маловероятный" спам, который приходит к адресату с соответствующей пометкой, третья - "вероятный" спам, который помещается в карантин, а четвертая - стопроцентный спам, который безвозвратно удаляется. Конечно, это не совсем правильное решение, ведь нельзя с полной уверенностью исключить факт системной ошибки, а безвозвратное удаление способно лишить адресата действительно нужного и ожидаемого письма. Впрочем, если адресат уже переписывался с отправителем такого письма, и его адрес присутствует в адресной книге, даже при полном совпадении критериев спама это письмо будет доставлено в целости и сохранности.

"Слабым звеном" системы "Спаморез" можно назвать отсутствие веб-интерфейса, позволяющего клиенту просматривать "Карантин" и вообще следить за работой системы в удобной и наглядной форме. Тем не менее, разработчики уверяют, что реализация такого интерфейса - дело ближайшего будущего, и сейчас он уже проходит стадию внутреннего тестирования и доработки. Как только веб-интерфейс будет создан, администраторы получат многофункциональную среду управления, посредством которой можно будет отслеживать статистику в реальном времени, добавлять и удалять домены и отдельных пользователей, а также управлять карантином с возможностью полноценного поиска по нему.

В заключение следует упомянуть еще один немаловажный аспект - проблему конфиденциальности. По словам создателей системы, человеческий фактор в ходе антиспамовой проверки исключается, так как фильтрация проходит полностью в автоматическом режиме. Кроме того, письма не хранятся и не архивируются "Спаморезом". Более того, по словам генерального директора компании "Аутком" Евгения Ёрхова, добавление "Спамореза", как дополнительного звена в цепочке доставки письма от отправителя к получателю, не влияет на конфиденциальность почтовой переписки принципиальным образом, из-за открытости интернет-каналов.

Несомненно, на рынке программного обеспечения для борьбы со спамом есть множество вполне достойных приложений, позволяющих бороться со спамом. Однако наш опыт использования "Спамореза" оказался более чем положительным, и мы остановили свой выбор на нём.