Цунами

Минувшим летом семейство сетей FastTrack/KaZaА, с 2002 года державшее пальму первенства среди пиринговых сетей по объему трафика, откатилось сразу на третье место.

Минувшим летом семейство сетей FastTrack/KaZaА, с 2002 года державшее пальму первенства среди пиринговых сетей по объему трафика, откатилось сразу на третье место. Внезапная смена лидера тем более удивительна, что недавно клиент KaZaA стал самым популярным приложением для Windows, не считая программ, поставляющихся в комплекте с ОС.

Тучи над KaZaA сгущались давно, и происшедшее нельзя назвать полной неожиданностью. С самого рождения «Козу» регулярно таскала за рога Американская ассоциация звукозаписи (RIAA), и если поначалу эта возня лишь увеличивала популярность сети, то когда дело дошло до настоящих исков, пользователи стали переходить на альтернативные решения.

Все были уверены, что новым лидером станет eDonkey — децентрализованное пиринговое сообщество, дышавшее в затылок FastTrack/KaZaА. Хороший клиент с интерфейсом на многих языках, пусть не абсолютная, но все же значительная анонимность, продуманные алгоритмы, постоянно растущая аудитория… Что еще нужно? Оказывается, что-то все-таки было нужно, и этого не оказалось ни у «Осла», ни у «Козы». Когда 19 июля британская компания CashLogic представила результаты полугодовых наблюдений за главными сетевыми магистралями, выяснилось, что к июню больше половины P2P-данных передавалось между клиентами BitTorrent — практически неизвестного широкой публике пирингового стандарта.

BitTorrent в переводе — битовый поток, если не сказать потоп. Этот пакет создал автор-одиночка, американский программист Брэм Коэн (Bram Cohen) из городка Бельвью, штат Вашингтон. Уже в 2001 году у него была готова первая версия Bit Torrent (название еще писалось через пробел), и Брэм пытался привлечь к ней внимание, утверждая, что эта штука будет покруче Freenet и Gnutella. Старания не прошли даром, программу заметили, и в ноябре 2001 года LinuxFund.org выделил грант на ее доработку.

После этого дела быстро пошли в гору. Через два месяца журнал New Scientist назвал BitTorrent практически готовым инструментом для обмена файлами(www.newscientist.com/news/news.jsp?id=ns99991761&). Еще через два месяца продукт одобрили завсегдатаи Slashdot, а спустя год, в марте 2003-го, фирма Red Hat начала раздавать по сети свой вариант Линукса именно с помощью BitTorrent. Ситуацию в нынешнем году лучше всего описать лаконичной цитатой из упомянутого исследования CacheLogic — более трети (!) всего трафика в Интернете (!) в июне 2004 года было порождено компьютерами, передававшими друг другу данные по протоколу Брэма Коэна!

Откуда такой успех? И вообще, верны ли цифры?

Прежде всего разберемся, что же сделал Коэн. Создавая «еще один пиринг», Брэм пытался устранить основные недостатки файлообменных сетей (см., например, его статью «BitTorrent Economics Paper», www.bittorrent.com/bittorrentecon.pdf).

Главные проблемы пиринга можно разделить на три группы: пользователи-эгоисты, файлы-фальшивки и поврежденные (неполные) файлы. Если последнюю трудность можно считать технической, то корни первой кроются скорее в психологии людей, а второй — и вовсе в коммерции. Например, RIAA не раз признавалась, что, пытаясь подавить файловый обмен в пиринговых сетях, она прибегает к услугам компании OverPeer, зарабатывающей на жизнь именно засорением P2P-сетей. Выполняя заказы RIAA (и отдельных фирм), OverPeer гарантирует попадание файлов-фальшивок на первые места в результатах внутрипирингового поиска, поскольку размещает их на высокоскоростных каналах, а в сетях FastTrack место в рейтинге зависит от скорости закачки.

Все мы понимаем, что успех и богатство пиринговой сети зависит от доброй воли ее участников. Однако большинство стремится только скачивать необходимое, а затем отключается. Иногда это оправдывается финансовыми соображениями (при обычной для России системе оплаты интернет-доступа вы будете платить из своего кармана за отдаваемые неизвестным людям файлы), иногда нет, но результат всегда один: типичная пиринговая сеть — это миллионы эгоистов, паразитирующих на тысячах альтруистов.

Неполные файлы, попадающиеся в р2р-сетях, на первый взгляд кажутся результатом ненадежной связи, однако их неполнота может порождаться самой технологией пиринга. Представьте ситуацию: у вас есть редкая песня, которой вы хотите поделиться с сетевой общественностью. Выложив запись, например в KaZaА, вы наблюдаете за счетчиком выкачанных у вас мегабайт и отключаетесь, думая, что (судя по счетчику) раздали песню примерно десятку людей. Между тем может оказаться, что полной версии файла не получил никто из них! Поскольку файл раздавался линейно — от начала и до конца (разбитым на мелкие фрагменты), вы просто не успели раздать последние части песни, так как из-за большого числа подключенных скорость скачивания с вашего компьютера была слишком низкой. У всех будет начало песни, у многих — середина, но окончания может не быть ни у кого.

Работая над BitTorrent, Коэн пытался избавиться от вышеописанных проблем, используя иногда очевидные, а иногда оригинальные методы. Например, подлинность файла (то, что содержание соответствует названию) в его системе обеспечивает надежная идентификация распространителя. Именно репутация источника является своего рода гарантией, а о том, насколько качественные файлы он раздает, можно узнавать из специализированных форумов. Подобная система (существующая и в eDonkey) сильно затрудняет наводнение сети «мусорными» файлами, хотя и мешает полной анонимности участников.

Для борьбы с пользователями-эгоистами Коэн применил классическую систему вознаграждений, изобретенную еще в 80-е годы для пользователей BBS. Суть ее в том, чтобы вести своеобразный «рейтинг щедрости» и поощрять альтруистов бОльшими объемами для скачивания. В пиринговых сетях клиентам с высоким рейтингом стали выделять большие скорости, а эгоистам — урезать. Подобная система применяется, например, в KaZaА, но данные о рейтинге хранятся у самих пользователей, что позволяет этими данными манипулировать. Так, взломанный вариант клиента KaZaА Lite дает каждому неизменный рейтинг в тысячу баллов. BitTorrent защищается от таких манипуляций, храня «рейтинг щедрости» не у того, кого оценивают, а у тех, кто оценивает. Это логичное решение, но далеко не идеальное. Когда пользователи А и Б меняются файлами по этому протоколу, они оценивают и поощряют скоростью только взаимную щедрость. Если же Б захочет скачать что-то у других пользователей (В, Г или Д), то его отношения с А (прежние и будущие) не будут иметь никакого значения — В, Г и Д ничего о них не узнают.

Самое большое достижение Коэна — алгоритм раздачи файлов, чрезвычайно ускоряющий пиринг и заодно предотвращающий появление неполных копий. Раздаваемый файл не только разбивается на фрагменты (по умолчанию 256 Кбайт), но, и это главное, их раздача идет в случайном порядке. Иначе говоря, начало файла длиной десять фрагментов может быть отдано первому пользователю. А вот остальные получают уже другие фрагменты (седьмой, второй… последний) плюс указания, с каких компьютеров брать недостающие части. Фактически протокол BitTorrent изящно перекладывает основную тяжесть файлообмена на плечи конечных потребителей.

Итак, пиринговая система Брэма Коэна работает следующим образом. Владелец некоей записи, заинтересованный в ее распространении, специальной программой разбивает файл на фрагменты и генерирует для каждого из них контрольную сумму. Этот процесс, называемый хэшированием, позволяет затем правильно собрать множество кусочков и гарантировать их целостность. В процессе хэширования создается маленький файл с расширением *.torrent, содержащий имя песни, ее размер, хэш-коды всех фрагментов, а также адрес компьютера, на котором находятся фрагменты и где будет запущена программа-трекер, координирующая их раздачу. Маленький torrent-файл или ссылка на него выкладывается в несколько общедоступных мест (сетевые коллекции), где его могут заметить и, «кликнув» в клиентской программе, начать закачку.

Все участники сети BitTorrent, «кликнувшие» на torrent-файл, соединяются с компьютером, где запущена программа-трекер («раздавала»), координирующая раздачу фрагментов песни. Трекер ведет статистику: кому и что было роздано, кто из пользователей еще в онлайне, а кто уже отключился, и это позволяет трекеру эффективно управлять взаимообменом фрагментами файла между пользователями. Как уже было сказано, если клиенты не отключаются, то машина-первоисточник может отдать каждый фрагмент лишь один раз, а затем трекер будет координировать перекрестное скачивание между новыми и старыми пользователями. Как правило, чем больше людей скачивает файл, тем быстрее он раздается! Это и есть главное достоинство BitTorrent (Это достоинство бесполезно для непопулярных файлов — скачивать их в одиночку не легче, чем с FTP-сервера на слабом канале).

Впрочем, из него же вытекает и серьезный недостаток. Поскольку весь пиринг управляется одной машиной-координатором, то достаточно ей отключиться, как раздача файла будет прекращена. Даже если к тому времени полная версия файла будет у тысяч пользователей, находящихся в онлайне. Конечно, любой человек, имеющий полный файл, может быстро провести его хэширование, запустить трекер у себя и стать новым «раздавалой». Однако рядовые пользователи не горят желанием этим заниматься.

Зачем Коэн сделал свое детище таким уязвимым? Почему не был использован опыт Freenet и eDonkey, обходящихся без центральных серверов? Оказывается, Брэм вовсе не пытался создать идеальное средство для обмена нелицензионными файлами. Напротив — целью была наилучшая среда для законного пиринга — например, для массовой раздачи обновлений программ. А для таких задач центральный сервер, ведущий полную статистику обмена и способный разом его прекратить, вовсе не минус, а большой плюс системы. И крупные компании это быстро поняли.

Сегодня средствами BitTorrent свой контент в Сети пробует распространять BBC. Его активно используют многие OpenSource-проекты. А компании Red Hat и Mandrake уже на деле убедились в его достоинствах. Ранее, выкладывая в Сеть новые версии своих ОС, они сталкивались с большими трудностями в раздаче гигабайтных дистрибутивов тысячам пользователей. Классические FTP-серверы, какими бы мощными они ни были, периодически падали от такой нагрузки. Применение же BitTorrent, по словам представителя Red Hat, позволило снизить загруженность серверов на 99%. В сто раз!

«Битовый Поток» во многом уникальная система, которую не все согласны называть пиринговой сетью. Компьютеры-«раздавалы» могут существовать в Сети изолированно, а их пользователи могут ничего друг о друге не знать. Не предусмотрено никакой единой системы поиска файлов. Программа, доступная на официальном сайте Bittorrent.com, представляет собой серую панельку без единой кнопки — она стартует и начинает скачивание, когда вы кликаете на файле с расширением *.torrrent. Где вы возьмете этот файл, ее не касается. Судя по всему, Коэн считал, что достаточно придумать хороший алгоритм с открытым кодом, а всё остальное сделает само сетевое сообщество. Когда просматриваешь внушительные веб-коллекции torrent-файлов и десяток программ-клиентов на любой вкус, то понимаешь, что парень был совершенно прав. «Просто протокол» стал самым мощным средством пиринга. Хотя он далек от идеала, сегодня именно этот инструмент лучше всего подходит для обмена большими файлами между миллионами людей.

Может показаться странным, почему BitTorrent не замечали масс-медиа, пока он не занял первое место по трафику. Однако причины тому вполне объективны. Пиринговые сети вообще не стремятся привлекать к себе внимание. В то время как другие интернет-приложения четко отличаются друг от друга своего рода маркерами и специфическими каналами (портами) передачи данных, пиринговые сети, наоборот, пытаются замаскироваться. Для них вполне обычен обмен не только через случайные порты операционной системы, но и через порты других приложений. Например, раздача файлов через 80-й порт, выделенный для http-трафика, или 110-й, через который все нормальные люди принимают электронную почту. Такая маскировка защищает от неопытных системных администраторов, — просмотрев статистику своей сети по портам назначения, они замечают лишь странное увеличение доли входящей почты, думая: «Опять спам повалил». А раз трудно просто обнаружить пиринговые сети, то тем более нелегко отличить их друг от друга.

По большому счету, популярность P2P-сетей определяют самыми примитивными методами. Клиентскую программу какой сети загружают чаще всего? Чье название на слуху у большинства людей? У кого для скачивания доступно больше файлов (что там за файлы — дело десятое)? Ответить на эти вопросы не так уж трудно и потом очень соблазнительно сделать из полученных цифр быстрые выводы. Здесь мы возвращаемся к вопросу, правильно ли CacheLogic оценила размах пиринга по протоколу BitTorrent?

CacheLogic — это венчурная компания со штаб-квартирой в английском Кембридже. Ее основная продукция — аппаратные системы кэширования для крупных интернет-провайдеров. Коньком CacheLogic является кэширование, вероятно, самых сложных данных — пирингового обмена. Провайдеры хорошо знают, что даже несколько активных P2P-пользователей могут порождать гигантские объемы, перегружая свои, а заодно и межсетевые каналы. Кэшировать их данные (во многом совпадающие) хотел бы любой сетевой администратор, но решить такую задачу «по-простому», подобно кэшированию html-страниц, — невозможно. Надо разрабатывать системы, способные вникать в саму суть пирингового обмена, распознавать его содержимое и делать это в реальном времени. Именно такие устройства и создает CacheLogic (См. три модели семейства Cachepliance.).

В январе нынешнего года компания завершила разработку продукта для мониторинга и глубокого изучения трафика на магистральных интернет-каналах (CacheLogic Streamsight 510) и решила провести его полевые испытания. По договору с региональными провайдерами Streamsight-оборудование было установлено в нескольких точках на магистралях Европы, Юго-Восточной Азии и обеих Америк, и с января по июнь велся сбор данных. Анализ такой масштабной интернет-«прослушки» и лег в основу выводов, объявленных 19 июля.

Как видно из диаграмм, выложенных на сайте компании, еще в январе BitTorrent и eDonkey делили между собой второе место, почти вдвое отставая от KaZaА. К июлю «ослик» остался на месте, а вот BitTorrent с «козой» фактически поменялись. Особо подчеркнем, что на диаграммах отражено не число пользователей пиринговой сети, а именно объемы передаваемых данных.

Как у любого статистического исследования, у выводов CacheLogic есть процент погрешности, но общая картина, по-видимому, достаточно верна, чтобы сделать ряд важных выводов о серьезных сдвигах в самой природе интернет-трафика.

Интернет старого образца был (по-видимому, уже можно говорить «был») иерархической структурой, что бы там ни говорили о равенстве его членов. Неравенство лучше всего проявлялось в соотношении трафика, который рядовой пользователь получал из Сети и отправлял в нее. Все слышали о правиле «десять к одному», гласящем, что большую часть времени простой пользователь получает из Сети в десять раз больше данных, чем отправляет в нее. Эта асимметрия, казавшаяся постоянной, закрепилась даже в сетевом железе. Архитектура сетей тоже строится по схожему принципу, и тем сильнее, чем ближе к конечному потребителю.

Пиринг создает для этой стройной схемы большие проблемы. Напомним, что слово peer означает «равный, ровня, сверстник, одногодок», а пиринг — это обмен между равными, или равный обмен. Поначалу он был не такой уж равный (в Napster’е многие качали у немногих, ничего не давая взамен), но теперь все более приближается к правилу «фифти-фифти». Не от избытка альтруизма, а по принуждению алгоритмов пиринговых сетей, все больше пользователей начинают отдавать в Сеть столько же байт, сколько получают. И чем дешевле становится широкополосный доступ, тем больший аппетит разыгрывается у простого юзера. Жатая-пережатая музыка теперь неинтересна — зачем ограничивать себя MP3, если московский «Стрим» предлагает 160-килобитный канал с неограниченным трафиком за $24 в месяц, а в хороших домашних сетях тот же unlimited еще дешевле?! О вкусах интернет-пользователей стран развитого капитализма можно судить по двум цифрам: средний размер одного файла в сетях BitTorrent в январе составлял 428 Мбайт, а к июлю перевалил за 500. Понятно, что народ качает уже не столько аудио, сколько видеозаписи. Между тем «Битовый Поток» характерен именно минимальным трафиком с машины-источника и максимальным использованием каналов рядовых клиентов, которые знают, что, получая файл, им наверняка придется и раздавать его. Вот и выходит, что огромная доля сетевого трафика начинает порождаться не десятком самых популярных сайтов, а многомиллионной армией потребителей этого же трафика. Тут есть о чем задуматься, и не только провайдерам.

Можно ли подавить распухающий объем пиринговых данных техническими средствами? Глядя на борьбу со спамом, ответ будет отрицательным. Особенно если учесть, что бороться со спамерами провайдерам помогают сами пользователи, а при подавлении файлообмена они будут провайдерам активно мешать.

Можно ли надеяться на заметную эффективность судебных репрессий, как в случае с Napster и KaZaА? Несмотря на интерес, проявляемый к BitTorrent cо стороны MPAA (голливудский аналог RIAA), ответ тоже скорее отрицательный. Судить владельцев известных коллекций torrent-файлов почти бессмысленно, поскольку их коллекции содержат, по сути, лишь гиперссылки. Судиться с самими «раздавалами» (операторами трекер-программ) можно, но только в ограниченном количестве стран. Между тем широкополосный доступ с каждым месяцем проникает во все более глухие уголки; вдобавок Torrent-трекеру не нужны очень быстрые каналы — ему нужна популярность. Если она есть, его файлы легко и быстро получат миллионы, живи человек хоть на северном полюсе (при условии, что у него есть сколько-нибудь приличное подключение к Сети).

Можно ли ожидать, что в ближайшее время пользователи насытятся и перестанет расти хотя бы размер файлов, передаваемых в P2P-сетях? Даже на это надеяться не стоит, поскольку экстенсивный рост — одна из основ хайтек-индустрии. Нет сомнений, что пользователям BitTorrent с быстрым каналом качества DivX будет недостаточно и захочется DVD (а это уже 4–5 Гбайт). А там, глядишь, и HDTV подоспеет.

Что сказать в заключение… Думаю, аналитики, предполагавшие, что в ближайшие несколько лет главной проблемой Интернета окажется спам, были слишком оптимистичны. Наблюдая за чайками, гадящими нам на голову, они проворонили нечто гораздо большее. Как вам кажется, на логотипе BitTorrent изображен чей-то плавник или цунами?