Архивы: по дате | по разделам | по авторам

Предъявите паспорт

АрхивСпам
автор: Сева Глущенко   13.10.2004

Спам... Это слово хрустит на зубах любого пользователя почты, имевшего неосторожность засветить свой электронный адрес в Сети. Способов борьбы со спамом существует немало. В последнее время большое внимание уделяется технологии SPF.

Интернет представляет собой уникальное объединение чрезвычайно разнородных (или, говоря наукообразно, гетерогенных) сетей, - уникальное в силу сочетания строгой иерархии и абсолютного волюнтаризма. О работе этих сетей и всего интернета в целом пользователи, как правило, знают очень мало, а то и вовсе ничего. Да им это и не нужно - им хватает веба, почты, может быть, еще ICQ, и всё. Можно вспомнить еще файлообменные сети IRC, IP-телефонию. Но веб и почта - это два краеугольных камня, которые являются непременным атрибутом в фундаменте знаний о Всемирной сети даже самого начинающего пользователя (такого, который всё ещё относится к Интернету настолько трепетно, что даже пишет его с большой буквы).

Но если веб за десять лет существования "накачал мускулы" и обогатился такими возможностями, что и не снились былым теоретикам, то многострадальная электронная почта...

Конечно, эта технология тоже не стояла на месте. Сам SMTP, протокол передачи электронной почты, оброс расширениями и дополнениями, структура доставляемых писем также усложнилась, стало возможно прилагать файлы, красиво форматировать текст. Однако ключевая идея SMTP, подразумевавшая изрядную долю автономности и распределённости потоков информации, осталась неизменной: серверы способны доставлять электронную почту многими возможными путями - главное, чтобы она была доставлена. Способность изначально полезная, поскольку повышает вероятность успешной доставки письма в случае больших отказов в сети. Но то, что рассчитано на военную или академическую сеть, не всегда подходит для взаимодействия разных сетей, которые управляются независимо. Произвольная доставка почты в условиях интернета означает бесконтрольность и как следствие неприятный побочный эффект - спам.

Пользователей, получающих тонны спама ежедневно, смело можно назвать потерпевшими. Само собой, терпят-то они терпят, но и без дела не сидят - кто-то кроет матом спамеров за распухший почтовый ящик и заодно провайдера за стоимость часа модемного доступа или мегабайта трафика. Но основной ущерб от спама не в уворованных мегабайтах, а в тех впустую затраченных минутах и часах, которые мы тратим на то, чтобы в ворохе информационного мусора выудить то, что нам действительно нужно: письма от друзей и деловых партнёров, полезные рассылки, да и веб-сайты (спам ведь бывает не только почтовым, но и поисковым).

Любителей спама можно разделить на три категории:

  1. Те, кто получает спам, просачивающийся сквозь фильтры (ибо стопроцентно успешных фильтров не существует). Их любопытство быстро отступает, стоит им денёк пожить вообще без фильтров.
  2. Образцовые потребители. Любой рекламный призыв они воспринимают как адресованный лично им, проникаются и читают... Таких немного, причём как правило это те, кому почта не нужна для работы, кто не платит за её использование, для кого время - не деньги, а почта - хобби.
  3. Производители и распространители спама. Спам - это их назойливый зуд в наши глаза и уши, их желание во что бы то ни стало всучить нам товар, невзирая на наше нежелание, их добытый сомнительным путём кусок хлеба с маслом. Кусок, надо заметить, толстый - профессиональные спаммеры "зарабатывают" очень неплохо. Правда, попутно приходится залезать в чужой карман: массовые рассылки современности производятся через взломанные компьютеры каких-нибудь далёких бразильских, канадских и прочих пользователей со скоростным доступом в интернет, которые даже не подозревают, что их компьютер используется в неблаговидных целях.

Само собой, мысль человеческая не стоит на месте, появляются идеи, как со спамом справиться, - порой наивные, порой не очень.

С некоторыми идеями дело не идёт дальше разговоров, но другие всё же находят техническое воплощение. Так появились чёрные списки открытых SMTP-ретрансляторов (open relay), анонимных прокси-серверов и сетей динамических адресов. Все эти списки в разной степени служили средством ограничения ареала приёма почты, и ни один не оказался достаточным, поскольку число захваченных троянцами пользовательских компьютеров оказалось слишком велико, а попытки полностью заблокировать приём почты от их провайдеров граничат с экстремизмом и приводят к потере важной почты. Затем появилась фильтрация по содержимому письма, которая тоже не смогла стать панацеей, ведь технологии спама тоже эволюционировали.

Следующим этапом "ущемления свобод" оказался SPF (sender policy framework) - регламент работы с отправителем. Идея ограничения диапазона возможных IP-адресов для отправки почты отдельно взятого домена сравнительно молода (ей ещё нет и двух лет) и неоднозначна. В процессе развития она менялась во многом, вплоть до названия (изначально sender permitted from, "откуда допущен отправитель"), но суть её осталась неизменной.

Как это работает

Способ реализации достаточно прост: администратор домена прописывает свой SPF-регламент в DNS, так что любой почтовый сервер, который пользуется технологией SPF, получает сведения о домене отправителя так же просто, как и любые другие сведения от своего сервера имён. Ответ DNS-сервера может быть "да" или pass (с этих адресов IP можно отправлять почту домена), "нет" или fail и "не знаю" - unknow (неправильная политика или ошибка доступа к политике). Имеется также дополнительный ответ softfail, который можно трактовать как "скорее всего, нет". Какое решение на основе полученного ответа будет принято на сервере-получателе, устанавливается его администратором. Заметим особо, что SPF распространяется только на неавторизованные отправления, - пользователю, который авторизовался на SMTP-сервере, ограничения по отправке не ставятся.

SPF-технология не может служить лакмусовой бумажкой, определяющей, является пришедшее письмо спамом, или нет. Но на сегодняшний день нет ни одной технологии, которая позволяет абсолютно точно идентифицировать спам, и любая попытка зацепиться за какой-нибудь один признак и возвести его в абсолют, ущербна по определению. С этой точки зрения бессмысленно петь технологии SPF хвалу как панацее или же клеймить её как средство убиения невинных младенцев, то есть, нормальной почты.

Сама по себе идея регламентировать точки сети, из которых пользователь почтового домена может отправить письмо, выглядит запретительно и вызывает негативную реакцию, пока рассматривается как единственно верный признак. Но в современной и разумно построенной противоспамовой системе таких признаков не один или два, а одна-две тысячи.

Мир электронной почты де-факто движется к образованию "трёхзонной" почтовой модели, в которой из "чёрной зоны" почта не принимается, из "белой" проверяется по смягчённым критериям, а из оставшейся "серой" подвергается проверкам "по полной программе". Положительный ответ SPF прекрасно подходит в качестве признака "белой" зоны, но отсутствие ответа или отрицательный ответ ещё не означает попадание в зону "чёрную", - это уже предмет оценки совершенно других технологий.

Если оглянуться на историю развития интернета, в ней всплывали и тонули самые разные идеи. NNTP и телеконференции почти забыты, а веб-форумы, наоборот, набирают. Но ни одна из технологий не была внедрена насильно - да и как? Вся действующая в интернете иерархия направлена только на поддержание предельно необходимых для его существования условий (маршрутизацию и распределение адресов). Остальные глобальные процессы в интернете не только не иерархичны, но скорее даже анархичны. Только добрая воля участников может сделать или не сделать технологию общепринятой.

Поэтому будущее технологии SPF зависит от того, насколько её примут массы. Правда, в данном случае решение останется за специалистами - рядовой пользователь вряд ли когда-нибудь будет прописывать SPF-регламент, за него это сделает оператор связи. Если SPF наберёт значительную популярность, он будет стандартизирован, нет - останется уделом энтузиастов.

Найдутся, конечно, и экстремисты, которые сперва попытаются закрутить гайки посредством SPF, а потом плюнут и скажут "не работает". Внедрение сложной технологии никогда не обходится без возмущённых реплик со стороны неумелых или ленивых специалистов, ведь именно на их голову ложится дополнительная нагрузка. Однако если все их соседи начнут применять SPF, а коллеги по переписке начнут в регулярных письмах интересоваться сроками публикования SPF-регламента - хочешь не хочешь, администраторам сетей прийдётся этим заняться.

Да, технология SPF не лишена недостатков. Она ухудшает картину пересылки почты из ящика в ящик в автоматическом режиме, для этого случая надо искать обходные пути. Однако без внедрения SPF не получится понять, для каких случаев придется изобретать такие пути. И если не начинать махать шашкой, призывая использовать SPF в запретительных целях, вреда от внедрения не будет, а вот польза вполне реальна, так как в корреспонденции появится дополнительный "обеляющий" признак.

Ранее о том, что SPF не является универсальной технологией защиты от спама уже не раз говорилось. В частности, в сентябрьском интервью "Компьютерре-Онлайн" главный редактор "Яндекса" Елена Колмановская отметила: "SPF не является универсальным антиспамовым фильтром, это лишь способ максимально возможной в существущей среде идентификации отправителя, степень доверия к которой определяет получатель. Как и любой другой признак, SPF не обладает ни стопроцентной полнотой, ни стопроцентной точностью".
Интервью полностью.

Что касается ресурсоёмкости технологии, то усилия, затрачиваемые на ее внедрение, нельзя назвать неприемлемыми для рядовой работы администраторов сетей, а потребляемые ресурсы не приводят к неоправданному росту нагрузки на почтовые серверы и ближайшие к ним серверы DNS. В современных условиях почтовый сервер по каждому письму выполняет не менее трёх запросов, а может и больше десятка. И дополнительный запрос для SPF погоды здесь не делает. Начнут спамеры стягиваться в специально созданные для спама домены? Прекрасно, там их, как говорится, и накроем!

Кроме того, есть ещё один, неочевидный на первый взгляд, довод в пользу внедрения SPF. Упоминавшаяся ранее SMTP-авторизация до сих пор не получила широкого распространения, несмотря на то, что повсеместное ее внедрение способствовало бы как минимум проверке подлинности отправителя (задаче, выполнение которой ошибочно пытаются возлагать на SPF, но SPF ее не решает), ну а в пределе, при условии что и SPF, и SMTP-авторизация применяются повсеместно, спамерам пришлось бы переквалифицироваться в управдомы.

Спамеры и SPF

Вопрос о том, что спамеры подписывают свои письма по SPF в последнее время активно обсуждается в прессе. Признаки этого заметны, например, в представленной статистике службы Яндекс.Почта.

диаграмма
Распределение результатов SPF-проверки для писем из категории "спам+рассылки", присланных из доменов, имеющих политику SPF

Статистика приведена на 7 октября 2004 года по выборке в 200000 писем. Данные брались из log-файлов реального потока на Яндекс.Почте, по результатам автоматической классификации почты на "Рассылки и Спам" и регулярную переписку. Ручная перепроверка результатов не проводилась. Таким образом в статистике "не спама" может присутвовать 1-2% спама. Всего из доменов, использующих SPF было отправлено 17,96% сообщений, из них 87,90% попали в категорию "спам+рассылки". При этом рекомендация отвергнуть письмо в 450 раз чаще приходится на спам, чем на "чистую" корреспонденцию. Выделение рассылок из спама изменило бы эту картину еще сильнее: не менее 77% писем, классифицированных как "рассылка или спам" и имеющих результат SPF_PASS обладали признаками легальной почтовой рассылки. Для корреспонденции, не являющейся спамом, в 95% случаев выдавался результат SPF_PASS.

В данном случае важно понимать, что "Яндекс.Почта" оперирует общей массой корреспонденции "рассылки+спам". При этом доля подписаных spf рассылок в трафике "Яндекс.Почты" очень велика: рассылки subscribe.ru, рассылки mail.ru и подписки на Яндекс.Новости подписаны spf. Так что подавляющее большинство результатов spf_pass приходится именно на рассылки. SPF, безусловно, не является панацеей от спама (о чем и говорится в статье Севы Глущенко). SPF является способом определить отправителя и отделить явные подделки от писем, в которых домен отправителя подтверждает свою ответсвенность за письмо.

Сама ситуация "спамеры используют SPF" состоит из двух частных случаев:

  • Спамеры создают собственные домены под рассылки
  • Спамеры используют чужие домены с не вполне адекватными политиками, такими как например +all.

И в том, и в другом случае это не затрагивает интересы сервисов, которые страдают от спама, посланного от имени их пользователей. При этом:

  • Спамерское письмо сохраняет все свои свойства, и система оперирующая множеством признаков и не работающая с одним фактором, как абсолютным, может его выделить. Для Яндекса это означает что мы не видим спамерские письма с SPF в пропущеном спаме.
  • Репутационные сервисы создаются (сейчас есть как минимум рейтинг Cloudmark) и будут создаваться в будущем.

В гипотетическая ситуация, когда все, в том числе и все спамеры, используют SPF, - является выигрышной, а не проигрышной. Для любой крупной почтовой службы и любого пользователя с "засвеченным" ящиком многочисленные квитанции о недоставке писем, которые он не отправлял (своеобразный "отход" спамерского "производства"), являются проблемой, соизмеримой со спамом. Только избавление от этой проблемы стоит того, чтобы добавить одну запись в DNS.

Павел Завьялов

Об авторах: Сева Глущенко - системный администратор "Яндекса". Павел Завьялов - менеджер проекта Яндекс.Почта.

Поделиться
Поделиться
Tweet
Google
 
© ООО "Компьютерра-Онлайн", 1997-2017
При цитировании и использовании любых материалов ссылка на "Компьютерру" обязательна.