Сделайте нам быстро

Прочтя письмо Владимира Васильева и проникнувшись данной им суровой оценкой того застоя, стагнации, болота, куда супостаты завели архитектуру процессоров для PC, хочется немедля призвать к ответу промышленность и правительство. Чем, черт побери, они там занимаются, когда у народа задачи считаются по несколько суток? Когда это кончится? Где стратегическая перспектива?

Эволюция грянула...

Начнем с доклада специальной комиссии (Integrated Process Team for High Performance Computers, сокращенно IPT HPC), которую созвала прошлой весной тогдашняя директриса по оборонным исследованиям и разработкам (DDR&&E) Министерства обороны США, доктор Анита Джонс (Anita Jones).

Доклад называется приблизительно так: "Значение самых мощных компьютеров для национальной безопасности" (High End Computing for National Security). В состав IPT HPC вошли ведущие специалисты чуть ли не всех ведомств военно-научно-промышленного комплекса США. Впрочем, они не продемонстрировали какой-то особенной компетентности или выдающихся интеллектуальных достижений. Скорее, IPT HPC была призвана привлечь внимание к общеизвестным фактам и оказать воздействие на законодателей своим совокупным авторитетом накануне дебатов по очередному бюджету на 1997-98 фискальный год, начинающийся в сентябре.

Доклад констатирует: американские фирмы уходят с рынка суперкомпьютеров. "Корпорация Япония" сравнялась по количеству установленных систем с компанией Cray Research (ныне, после периода больших неприятностей, бывший бизнес Сеймура Крэя перешел к Silicon Graphics, она же SGI). Замечу: комиссия исходит из того, что настоящие суперкомпьютеры переднего края - high end - делают сейчас только SGI/Cray да японцы - NEC, Fujitsu и Hitachi. Системы IBM, поставляемые в основном для бизнеса, эксперты отнесли к "выше среднему" классу, а всех остальных (SGI без Cray, TMC и Intel) - к среднему.

В докладе отмечается, что Intel и TMC в 1996 году ушли с этого рынка. Из американских фирм на нем остались только SGI/Cray, уровнем пониже - IBM, и "середнячки" - такие как Convex, ныне входящая в состав Hewlett-Packard.

Тут я должен пояснить, что IPT HPC не берет в зачет массово-параллельные системы на базе дешевых серийных процессоров - такие как IBM SP2 или Cray Superservers. Например, исключенная из рассмотрения Intel только что сообщила, что ее массово-параллельный компьютер на Pentium Pro, поставленный для национальной лаборатории Sandia, вновь перешагнул рубеж в 1 терафлоп. Этот подход часто называют COTS (Commodity Off-The-Shelf, то есть "ширпотреб с полки"). Однако в докладе речь идет о суперпроцессорах специальной архитектуры. Подчеркивая эту разницу, часто говорят о "векторных" и "параллельных" системах, что не совсем точно - например, потому, что нынешние системы на векторных процессорах тоже все стали параллельными. Может быть, суперкомпьютеры high end следовало бы называть "малопроцессорными".

Эта разница весьма существенна. Как отмечают многие эксперты, несмотря на то, что большие команды отменно образованных и изобретательных программистов упражняются на массово-параллельных машинах уже не первый год, существует немалое число задач, которые не удается - и, видимо, не удастся - запрограммировать для них. Увеличение числа процессоров во многих случаях просто ничего не дает, поскольку никто не может придумать, как ими воспользоваться.

Никто не хотел покупать

Как мы с вами могли убедиться, российские пользователи отнюдь не собираются платить за свои компьютеры более 2500 долларов, да и то при условии местной сборки. Кто же тогда будет оплачивать научно-технический прогресс? Именно этим вопросом и задается IPT HPC в своем докладе.

Оказывается, спрос на компьютеры high end во всем мире падает, а на суперкомпьютеры среднего класса -растет.

Эта тенденция интерпретируется совершенно недвусмысленно. Во-первых, параллельные системы в последние годы активно отбирают у high end те задачи, которые хорошо поддаются распараллеливанию. К тому же параллельные системы привлекательнее, поскольку хорошо масштабируются. Можно начать со сравнительно небольшого числа процессоров и постепенно прикупать их все больше.

С другой стороны, постепенно происходит "приватизация" супервычислений. Частные фирмы и небольшие организации осваивают в своей деятельности методическое и программное наследие больших правительственных проектов, которые выполнялись во время "золотого века" суперкомпьютеров, но вместо Cray покупают Convex.

Таким образом, нет оснований утверждать, что суперкомпьютеры high end стали вовсе бесперспективны. Скорее этот рынок "проходит через бутылочное горлышко". Однако - и это беспокоит IPT HPC - американские корпорации потеряли к нему интерес. В докладе приводится список из более чем двадцати американских фирм, которые признали свое поражение и вышли из игры. Из них шесть "отпали" в течение последнего года. Появилась же лишь одна - Tera, которая выступает с весьма амбициозной системой, автоматически распараллеливающей процесс выполнения программ (что само по себе тоже не новость, но это отдельная история).

Вперед, зажмурившись!

На фоне падения спроса происходит распространение суперкомпьютеров по миру. США перестали быть главным покупателем, и американские фирмы вынуждены конкурировать с японцами за рубежом - при том, что им и у себя дома становится все труднее выдерживать давление импорта. Недавно Cray обвинила Fujitsu в недобросовестной конкуренции (занижении цены), а представители последней без обиняков заявили, что американские "супера" отстали от японских на поколение.

Вообще, американские корпорации все чаще упрекают в верхоглядстве, в погоне за быстрыми результатами, хотя я не убежден, что эти упреки справедливы. Среди интеллектуалов, работающих в секторах высоких технологий, широко распространилась идея приблизившейся сингулярности - момента времени в будущем, после которого мы уже в принципе не способны ничего предвидеть. Термин, насколько я понимаю, взят из астрофизики, где он используется при описании черных дыр, то есть, "свернувшихся", сверхплотных звезд. Эти объекты называются так потому, что, подойдя к ним на некоторое критическое расстояние, материя захватывается ими безвозвратно и становится невидимой для внешнего наблюдателя: даже фотоны не могут вырваться из мощнейшего гравитационного поля черной дыры.

Лавинообразный ход прогресса последних лет буквально уподобляется падению на нейтронную звезду. Мы можем пытаться что-то предвидеть, скажем, на три года, а дальше - горизонт, за который наше воображение проникнуть не может. Есть, впрочем, и еще более радикальная точка зрения согласно которой сингулярность - это не горизонт, а момент времени, когда будет создан, к примеру, искусственный разум, который ускорит развитие до немыслимой сегодня степени.

В компьютерном бизнесе нет числа солидным, всесторонне взвешенным, всеми уважаемым, рассчитанным на отдаленную перспективу предприятиям, стандартам, продуктам, которые рассыпались в прах и исчезли в одночасье перед натиском стихийно эволюционирующих полчищ PC. Что ж, люди сделали выводы и предпочитают не заглядывать вперед. Тем временем не овладевшие новым мышлением японцы превратили захват рынка компьютеров high end в приоритетное направление национальной политики и неудержимо наступают, пользуясь поддержкой своего правительства.

Американские научные бюрократы, вошедшие в состав IPT HPC, призывают направить в этот сектор деньги из федерального бюджета, чтобы вернуть ускользающее лидерство. Зачем? По их мнению, суперкомпьютеры остаются фактором, обеспечивающим национальную безопасность США.

На испуг

Козырять национальной безопасностью становится все рискованнее. Слишком многие научились делать это не хуже вояк. Парламентариям приходится выбирать, откуда исходит главная угроза нации - от успехов японских суперкомпьютеров, от новых инфекционных болезней или, скажем, от уничтожения тропических лесов.

Я хорошо понимаю, какую реакцию упоминание национальной безопасности США вызывает у многих в России. Простите банальное сравнение, но синдром Эллочки-Людоедки - наша национальная болезнь. Тем важнее понять, угрожает ли нам их национальная безопасность, можно ли что-либо противопоставить этой угрозе и вообще, о чем речь.

Итак, IPT HPC приводит диаграмму бюджетных ассигнований на развитие высокопроизводительных компьютеров и средств связи, согласно которой, на фоне общего роста за счет увеличения финансирования, направленного на развитие информационной инфраструктуры (читай: компьютерных сетей), средств на суперкомпьютеры выделяется все меньше. Однако, говорится в докладе, компьютеры high end необходимы в целом ряде критически важных для США областей, где американскому правительству опираться на японскую продукцию как-то неловко.

На врезке показан перечень задач и рост вычислительной мощности, который, по оценке IPT HPC, необходимо обеспечить для решения эти задач к 2010 году. Некоторые пункты я показываю обобщенно, чтобы не углубляться в детали стоящих за ними технологий, многие из которых появились совсем недавно.

Задачи, для решения которых необходимо к 2010 году ускорить вычисления в 10³-10⁶ раз.

1. Поддержка ядерных арсеналов в условиях запрета испытаний и разработки новых образцов (моделирование вместо испытательных взрывов): необходим рост в 10⁵-10⁶ раз.
2. Трехмерное, с высоким разрешением компьютерное отображение пространства над большими территориями (до 10⁵ кв. миль) и анализ происходящего в этих областях (таков новый подход к созданию интерфейсов GIS, называемый 3D Imagery - вообразите себе виртуальный полет над настоящей Землей в настоящей, динамически изменяющейся обстановке): необходим рост в 2000 раз.
3. Быстрое раскрытие шифров, разрешенных к коммерческому применению: область, в которой любое правительство хотело бы на много порядков превосходить возможности граждан и фирм.
4. Разработка и испытание оружия и средств доставки.

   Авиация - полная трехмерная имитация во многих аспектах: необходим рост в 10⁴-10⁵ раз.

   Разработка радиочастотного оружия (оружие направленной энергии, или DEW, передаваемой микроволновым излучением высокой мощности, HPM) - всеобъемлющая имитация и предсказание его воздействия на сложные системы: необходим рост в 1000 раз.

   Обнаружение и распознавание целей, ввод целеуказаний в системы поражения (например, задачи типа обороны от массированной ракетно-ядерной атаки): необходим рост в 3000 раз.

5. Разведка - например, мониторинг химического, ядерного и другого оружия массового поражения, принадлежащего потенциальному противнику, с помощью распределенных в пространстве датчиков, с обработкой сложных измерительных данных (типа спектрограмм) в реальном времени: необходим рост в 3000-300000 раз.
6. Так называемый синтез театра войны для операций масштаба "Буря в пустыне" (новый подход к боевой учебе и управлению войсками, основанный на компьютерном моделировании и представлении данных средствами виртуальной реальности): необходим рост в 10⁵ раз.

Но это, отмечает IPT HPC, лишь то, что нужно для реализации уже существующих сегодня технологий, которые доказали свою полезность и заинтересовали военных. Что ни месяц, возникают все новые идеи, и аппетиты непрерывно растут. Силовые ведомства США готовы потреблять в десять и даже в сто раз большие вычислительные мощности, чем весь частный сектор страны. Применение компьютеров вполне реально сберегает солдатские жизни, ресурсы и природную среду, обеспечивая эффективное выполнение операций - главным образом "полицейского" характера - по всему миру.

Парад сильнейших

Об этих и других планах Пентагона, вне всякого сомнения, стоит задуматься злоумышленникам масштаба Ливии, Ирака или боснийских головорезов, какому бы богу они ни молились. Что касается России, то для нее, как я подозреваю, главную опасность представляет она сама. Лучше бы мы мирно занялись своим хозяйством, чтобы к 2010 году составить для тогдашних США хотя бы четверть нынешней Японии. Хотя Китай нам в эти сроки уже, пожалуй, не догнать.

На одном из сайтов Мангеймского университета в Германии можно найти список пятисот крупнейших суперкомпьютеров мира - правда, не самый свежий. Стран бывшего СССР в нем нет, хотя в России я не раз слышал сказки о каких-то "Крэях", неизвестно как оказавшихся в распоряжении тех или иных компетентных органов. Вообще говоря, суперкомпьютеры - сугубо штучный товар, который никак не может ускользнуть через границу незамеченным.

С огромным отрывом от остальных в мангеймском списке лидируют США и Япония. Кроме них встречаются следующие страны (перечислены по первому вхождению в порядке убывания мощности): Великобритания, Швейцария, Германия, Канада, Южная Корея, Нидерланды, Франция, Швеция, Дания, Италия, Китай, Гонконг, Тайвань, Австрия, Финляндия, Австралия, Мексика, Сингапур, Словения, Испания, Норвегия, Греция, Бельгия, Бразилия, Польша. Должен заметить, что производительность по бенчмарку Linpack у перечисленных в этом списке систем изменяется от 170000 до 2600, причем наибольшее разнообразие стран наблюдается как раз к концу таблицы.

В конце июня этого года IPT HPC будет вновь представлять свои выводы на заседании Совещательного комитета при Президенте США по высокопроизводительным вычислениям, информационной технологии, связи и Интернету следующего поколения. Я бы предложил пожелать членам IPT HPC успеха в их нелегком труде. Если американская казна расколется, глядишь, к 2010 году на столах российских пользователей появятся PC с производительностью нынешних "суперов", но за 2500 долларов и, конечно, местной сборки.

Сколько будет петафлоп?

Сейчас посмотрим. 10⁶ - мега, 10⁹ - гига, 10¹² - тера, а 10¹⁵, выходит, пета. То есть, петафлоп это 1000000000000000 (миллион миллиардов) операций с плавающей запятой в секунду. Вышеупомянутый новый массивно-параллельный компьютер Intel содержит 9200 процессоров Pentium Pro на 200 МГц, в сумме (теоретически) обеспечивающих производительность 1,34 терафлоп. Эта система имеет 537 Гбайт памяти и диски емкостью 2,25 Тбайт. Она весит 44 тонны (кондиционеры для нее - целых 300 тонн) и потребляет мощность 850 кВт.

Пока организаторы научно-технического прогресса ломают голову над тем, как обеспечить прирост в миллион раз от достигнутого уровня, обеспокоенные программисты вновь и вновь собираются, чтобы обсудить, как им распорядиться хотя бы в тысячу раз большей производительностью. Проводятся и встречи разработчиков аппаратных средств, но они представляют собою существенно менее захватывающий сюжет, поскольку все знают: еще до 2007 года нужная тактовая частота микропроцессоров будет достигнута, так сказать, естественным путем. Неизвестно как, но нынешние 200 мегагерц обязаны превратиться в 200 гигагерц. Достаточно экстраполировать существующие тенденции развития микроэлектроники, хотя поверить в такую частоту трудно.

Для характеристики аппаратных проблем приведу лишь несколько очевидных цифр. В силу известного соотношения, согласно которому для эффективной организации вычислений компьютер должен иметь один байт памяти на флоп, петафлопный компьютер должен иметь петабайтную оперативную память. Для сравнения: это более 50 тысяч дисков максимальной, четверной емкости в рамках осваиваемой в настоящее время системы DVD. Аналогично, полагая, что компьютеры 2010 года будут работать с нынешними 64-разрядными плавающими числами, совокупная производительность шин процессор-память должна быть не менее 8 петабайт в секунду. Как видите, рост тактовой частоты микропроцессоров - это еще не все.

Очередная рабочая встреча по петафлопным алгоритмам "PAL'97" прошла в штате Вирджиния, США, в середине апреля этого года. В отличие от IPT HPC, программисты, судя по всему, не видят пока перспектив появления единичных процессоров небывалой мощности и готовятся осваивать массово-параллельные системы с десятками и даже сотнями тысяч процессоров, взаимодействующих через сложную, иерархически организованную систему памяти.

В этой связи участники "PAL'97" вновь напоминают о том, что далеко не для всех задач существуют алгоритмы, позволяющие эффективно использовать при их решении многопроцессорные системы. Более того, многие из алгоритмов, успешно выполняемых на тысяче процессоров, не удается "натянуть" на сто тысяч.

Еще один круг проблем связан с так называемой локальностью данных. Если каждому из множества процессоров удается выделить свою часть задачи, но зато они должны интенсивно обмениваться данными, это сводит на нет все преимущества распределения вычислительной работы.

С ростом параллелизма возрастают непроизводительные потери времени на раздачу заданий, запуск их и синхронизацию выполнения. На практике эти факторы опять-таки легко "съедают" полезный эффект от увеличения числа процессоров.

Участники "PAL'97" указали на то, что для петафлопных алгоритмов нынешнее 64-битовое представление плавающих чисел может оказаться недостаточно точным. Это, между прочим, намек на то, что флопы, из которых сложится петафлоп, могут оказаться гораздо дороже нынешних. Не исключено, что пора подумать об аппаратной поддержке арифметики с неограниченной точностью.

Дальнейшие соображения, изложенные в официальном отчете о "PAL'97", выглядят скорее конструктивными. Речь идет о том, как и какую пользу можно было бы извлечь из еще более массово-параллельных систем, какие исследования необходимо стимулировать и какие условия выставить разработчикам аппаратуры.

Участники указывают на возможность изобретения принципиально новых алгоритмов, предупреждают о возможных проблемах с кэшированием памяти, об отказоустойчивости и о возможности восстановления процесса вычислений, прерванного после поломки аппаратуры. В отчете говорится о необходимости встроить в петафлопные системы средства мониторинга ее работы, чтобы разработчики алгоритмов могли получать "обратную связь", поскольку процесс счета становится принципиально не детерминированным.

Одно из типичных предложений - развернуть "гонку алгоритмов", выработав хотя бы какие-то меры для оценки их прогресса, и привлечь к изобретению новых вычислительных методов интеллектуальные ресурсы сообщества ученых-математиков. Говорится о новых языках программирования, особенно позволяющих более глубоко управлять работой аппаратуры, и о разработке библиотек стандартных, хорошо "вылизанных" программ.

В заключение, в отчете приводится список классов задач, разбитый на три категории. Первые без труда масштабируются на петафлопные вычислители, для переноса вторых нужны нетривиальные усилия, а третьи живыми не дадутся. При этом отмечается, что задачи первой категории (по большей части тривиальные в интеллектуальном отношении) представляют наибольший интерес для практики и на их решение выделяется больше всего средств, однако существует тесная связь между прогрессом в повседневной жизни и геройскими (так и сказано в отчете) усилиями ученых-первопроходцев, вычисляющих нечто невообразимо бесполезное на, так сказать, медные деньги.

Выводы официального отчета "PAL'97" прямо призывают к тому, чтобы, намечая цели, планируя выделение средств и оценивая результаты, не уклоняться от трудных задач. В конечном счете это означает: не обманываться впечатляющими суммарными оценками производительности массивно-параллельных систем COTS и продолжать искать способы сделать отдельный процессор более быстрым и производительным.

Цветы и ягоды прогресса

Кстати, к вопросу о заразах. Слыхали новость? Недавно прошло сообщение, что, по мнению работающих в Африке врачей-эпидемиологов, нынешний разгул невиданных заболеваний, включая СПИД, - прямой результат вырубания лесов. Африканцы заселяют освободившиеся территории, вступают в контакт с ранее не встречавшимися людям дикими животными, в том числе с обезьянами, поедают их, подхватывают заразу, таившуюся в джунглях, и разносят ее по свету.

А между тем, в борьбе с болезнями, в изучении экологических проблем и во множестве других важнейших для человечества областей суперкомпьютеры тоже играют ключевую роль. Обратившись к материалам Федеральной программы "Вычисления, информация и связь" (Computing, Information, Communication - CIC), в рамках которой осуществляется комплекс инициатив под общим обозначением "Высокопроизводительные вычисления и связь" (High Performance Computing and Communications), мы найдем много примеров уже осуществляемых проектов и конкретных достижений. Гораздо больше можно найти благодаря сайтам компаний, производящих суперкомпьютеры, а также сайтам центров их применения.

По большей части, правительственные органы просто предоставляют информационно-вычислительные ресурсы для университетов и других научных и образовательных организаций, не особенно интересуясь, как и для чего ученые их используют. Однако случаются выдающиеся достижения, включаемые в публичные отчеты. Так, машины Питтсбургского центра суперкомпьютеров просчитали модель Земли и позволили объяснить, почему ее внутреннее жидкое ядро вращается быстрее твердой оболочки и как происходит, что магнитные полюса Земли время от времени "меняются местами".

Рассчитанная суперкомпьютером трехмерная картина магнитного поля Земли. "Клубок" внутри находится на границе жидкого ядра и мантии.

Полюса меняются местами.

"О таком никто даже и не мечтал, - сказал один из авторов открытия, Гари Глацмейер. - Вот что значит суперкомпьютер! Он просто работает себе, решает эти уравнения снова и снова, а в них огромное число переменных - влияющих друг на друга, с нелинейными обратными связями. Все это очень трудно рассчитать. Для суперкомпьютера это была прекрасная задача, и мы пришли в восторг, увидев в динамике все эти структуры, которые никто не мог бы себе вообразить".

Крупным достижением недавнего времени явилось выполнение расчетов и визуализации макромолекул (даже таких больших, как ДНК) с помощью программы MidasPlus, разработанной в Калифорнийском университете Сан-Франциско. Заглянув на их сайт, вы можете ознакомиться с примерами "лабораторных работ", которые выполняют студенты. Все это чертовски увлекательно и совершенно не похоже на химию, какой она была в мои студенческие времена.

Одна из учебных задач

Поперечный разрез модели ДНК

Совершенно очевидны невоенные применения технологий, которые названы в докладе IPT HPC Пентагона. Скажем, трехмерное отображение реальных структур недавно нашло блестящее применение в медицине. Оказывается, специалист, которому дают возможность совершить виртуальный полет через прямую кишку пациента, рельеф которой снят с помощью специального зонда, гораздо быстрее и практически без ошибок диагностирует развивающиеся на ее стенках заболевания. А сейчас врачи подолгу напряженно всматриваются в глазок эндоскопа, пытаясь понять, что же там происходит.

Точно так же на место разведки производства, хранения и перемещения оружия массового поражения можно поставить мониторинг природной среды, а синтезировать и представлять средствами виртуальной реальности - крупные строительные работы. Мы очень часто не сознаем, на какие никчемные трудности повседневно расходуется человеческая энергия и изобретательность.

Однако главным в деятельности CIC и ее структур являются не прикладные задачи, а создание новых инструментов. Высокопроизводительные единичные процессоры должны были бы занимать ощутимое место в планах этого и других (например, военно-научных) органов. Как же обстоит с ними дело?

Просматривая отчеты за 1996-97 фискальный год, приходится признать: никак. В героическую эпоху Сеймура Крэя прогресс шел по пути изобретения новых структур, все быстрее выполнявших практически те же программные коды. Ничего подобного сейчас не происходит. Ныне на уровне национальных приоритетов находится, к примеру, программа Marquise, в рамках которой ставится цель упаковать классический Cray J90 (четыре векторных процессора и гигабайт оперативной памяти, общей мощностью около 800 мегафлоп) в "коробку от пиццы". В ней используется много интересных решений - от микросхем на алмазной подложке до фантастически эффективной системы охлаждения (компоненты опрыскиваются легко испаряющейся жидкостью, которая затем конденсируется и подается обратно). И все-таки в основе старина Cray и новый процессор не так уж далеко отстоят от нынешних PC.

Достигнут, правда, огромный прогресс в разработке специализированных процессоров - например, для обработки сигналов (так называемые насосы данных) или графики, и прилагаются большие усилия для совершенствования массово-параллельных систем.

Что касается суперпроцессоров, то остается только искать принципиально новые технологии. В конце жизни Сеймур Крэй пытался запустить проект Cray-4 на основе "более быстродействующего" полупроводникового материала - арсенида галлия, - но потерпел неудачу, и желающих последовать за ним что-то не видно. Согласно отчетам за прошлый год, наделавшие в свое время много шума оптические и сверхпроводниковые устройства использовались пока лишь для создания переключателей и каналов передачи данных. Однако в планах на следующий год оптические, биологические, квантовые, молекулярные и аморфные системы уже названы перспективными магистральными направлениями.

Оправдаются ли эти ожидания? Что касается архитектур процессоров, то здесь тупик очевиден: застой продолжается уже не один год, и расцвет массово-параллельных систем свидетельствует об этом как нельзя лучше. А вот к альтернативным технологиям обращались уже много раз, и это создало им репутацию "вечно подающих надежды". Интерес к ним возникал при каждом кризисе микроэлектроники, и каждый раз находились способы сохранить кремний.

Напоминаю мой адрес для конфиденциальной переписки:

snarky@cterra.com