SUPERкомпьютеры завтра и сегодня

Индустрия высокопроизводительных вычислений, или High Performance Computing (HPC), настолько широка и необъятна, что всякую попытку обзора, занимающую лишь несколько журнальных страниц и при этом претендующую на глубину, следует расценивать по меньшей мере как неосторожную. Посему всех интересующихся «глубиной» я отправляю к объемной аналитической работе двух общепризнанных авторитетов - Aad J. van der Steen and Jack J. Dongarra, «Overview of Recent Supercomputers» ¹, мы же сосредоточимся на «самых-самых» сверхвысокопроизводительных вершинах, то есть на области, получившей с некоторых пор название High End Computing (HEC). Да и здесь, понятное дело, не будем вдаваться в технические подробности архитектуры или программного обеспечения, а лишь коснемся наиболее впечатляющих достижений.

Летом прошлого года директор НАСА Дэн Голдин выступал на одном из узкоспециализированных форумов-семинаров, посвященных совместным суперкомпьютерным проектам индустрии и федерального правительства. Несмотря на то что США - бесспорный лидер в области HPC, главной темой речи Голдина была острейшая нужда американской нации в новых нетрадиционных компьютерных технологиях, поскольку производительность современных машин на кремниевых чипах не удовлетворяет нынешним запросам ученых и конструкторов. Сейчас, по словам директора НАСА, когда компьютерные компании едва достигли терафлопсного рубежа, то есть производительности порядка нескольких триллионов (10¹²) операций в секунду, уже очевидно, что для успешной работы его агентству требуются компьютеры мощностью на четыре порядка большей, то есть в десятки квадриллионов (10¹⁶) операций в секунду, или десятки петафлопс, как выражаются в компьютерном мире. Помимо проектирования сложных космических систем есть масса других научно-исследовательских и военно-прикладных задач (моделирование ядерных взрывов и криптография, гидродинамика и астрофизика, биомолекулярные исследования и т. д.), требующих петафлопсной производительности компьютеров.

Но даже с учетом небывалого прогресса КМОП-технологии и массивно-параллельных архитектур прогнозы показывают, что к вычислениям петафлопсного масштаба в рамках закона Мура и традиционных технологических подходов удастся подойти лишь после 2010 года. Экономические соображения заставили разработчиков, проектировавших первые терафлопсные суперкомпьютеры в рамках программы ASCI Министерства энергетики США, изначально ориентироваться на серийно выпускаемые комплектующие. В массивно-параллельных компьютерах используются процессоры типа Pentium или Alpha, модули DRAM и SRAM для памяти, RAID-массивы для внешних накопителей. Но все эти компоненты развиваются весьма неравномерно. Так, если скорость ЦПУ растет очень быстро, примерно на 60% в год, скорость DRAM возрастает за год лишь на 7%, а это означает, что транзисторы ЦПУ большую часть времени работают вхолостую (так называемая проблема латентности памяти). Но еще хуже - с суперкомпьютерной точки зрения - дело обстоит с соединением ЦПУ между собой и задержками, обусловленными операционной системой. Самые быстрые из общедоступных шин пока и близко не подошли к скоростям, необходимым в петафлопсных машинах.

Ученые США, Японии и других стран активно ищут пути к выходу на заветный петафлопсный рубеж. Один из реальных проектов такого рода, получивший в свое время активную поддержку НАСА, называется HTMT.

Концепция принципиально новой компьютерной архитектуры HTMT (Hybrid Technology MultiThreaded, что можно перевести как «гибридно-технологическая многопоточная архитектура») была предложена в 1995 году учеными Калифорнийского технологического института Полом Мессиной и Томасом Стерлингом. Последний, как известно, не только ведущий компьютерный специалист научно-исследовательского центра НАСА Jet Propulsion Lab (JPL); он возглавлял в 1994 году разработку первых ПК-кластеров Beowulf в Годдардском космическом центре. Среди других основных соавторов концепции HTMT называют кочующего по университетам Северной Америки китайца Гуана Гао и нашего соотечественника Константина Лихарева, когда-то возглавлявшего лабораторию криоэлектроники в МГУ, а в начале 1990-х перебравшегося в США. Для полноты картины можно еще упомянуть, что в одном из официальных документов утверждается, что на самом деле идея HTMT родилась в недрах Агентства национальной безопасности (АНБ).

В основе концепции лежит модель многопоточной обработки (multithreading, расщепление параллельных процессов на более мелкие независимые фрагменты - потоки и нити), сочетающаяся с комплексным («гибридным») использованием передовых компьютерных технологий. Прежде всего, это криогенные системы сверхпроводниковой быстрой одноквантовой логики (БОК, или по-английски RSFQ от «rapid single flux quantum logic»), высокоскоростные полупроводниковые СБИС типа «процессор в памяти» (PIM, processor-in-memory), оптические межсоединения и голографические технологии хранения информации. Вычислительное ядро новой системы реализуют несколько тысяч ниобиевых сверхпроводниковых процессоров, работающих на основе БОК-логики. Единицей представления информации в БОК являются одиночные кванты магнитного потока. Кванты перемещаются от вентиля к вентилю микроскопическими токами, наводимыми такими же квантами в управляющих контурах, а в целом сверхпроводниковая логика дает возможность не только в сотни раз повысить скорость, но и примерно в тех же пропорциях снизить энергопотребление по сравнению с традиционными процессорами.

К 1997 году, после этапа начального изучения исходной концепции под патронажем АНБ и Национального научного фонда США реалистичность предложенной архитектуры подтвердилась. Стало ясно, что на базе HTMT петафлопсный компьютер можно создать существенно быстрее, нежели при традиционных подходах. Поэтому был дан старт совместному проекту десятка исследовательских групп ведущих университетов, а также правительственных и промышленных центров. Финансировать работы взялись Военное агентство передовых исследований (DARPA), АНБ и НАСА, а общее управление проектом легло на Калтех (CalTech) и JPL.

Подробности об интереснейшей архитектуре HTMT (см. рис. 1) можно найти на веб-страницах «Компьютерры-онлайн». Увы, если зайти сегодня на сайт проекта http://htmt.jpl.nasa.gov/intro.html, то просто невозможно не ощутить, как выражаются в книгах, «мерзость запустения». Вроде бы никто официально не объявлял о его кончине, однако и признаков жизни там нет никаких. Готовя материал, я обратился за комментариями к одному из непосредственных участников разработки HTMT Дмитрию Зиновьеву, совместно с Лихаревым занимавшемуся дизайном БОК-процессоров и межпроцессорной сети в Университете штата Нью-Йорк (SUNY Stony Brook, gamayun.physics.sunysb.edu/RSFQ/Research/PetaFLOPs). Дмитрий подтвердил, что проект фактически умер, дав первую серьезную течь уже в декабре 1999 года. Причина банальная и до боли знакомая всем ученым-разработчикам - урезание финансирования. Причем урезание сильнейшее: DARPA полностью отказалось от участия, НАСА сослалось на сокращение своего бюджета, а АНБ не пожелало становиться ведущим спонсором. Для экспериментального доказательства жизнеспособности проекта было сочтено достаточным изготовить единичный микропроцессор, условно названный SPELL (Superconductor Processing ELement). Группе из трех человек поручили в течение календарного года по-стахановски разработать, смоделировать, изготовить и протестировать SPELL в двухпроцессорной конфигурации. При этом и денег на задачу выделили с рачительностью советского государства: на все про все, включая зарплату, - около 300 тысяч долларов. Итог разработки оказался тоже вполне «совковым»: к концу 2000 года для отчетности и рапорта был изготовлен один образцово-показательный микропроцессор, а фирма IBM, обещавшая изготовить двухпроцессорную плату, к этому времени от участия в проекте официально устранилась. До тестирования микропроцессора дело так и не дошло. Сами же разработчики SPELL, вдоволь хлебнувшие из американского «совка», уже разбрелись по разным университетам и фирмам.

В декабре 1999 года IBM объявила о запуске собственного петафлопсного проекта под названием Blue Gene. В проектирование суперкомпьютера производительностью 10¹⁵ операций в секунду было намечено вложить 100 миллионов долларов, а построить его - в течение пяти лет. Согласно пресс-релизам, петафлопсный «Голубой Ген» создается под конкретную задачу - исследование процесса сворачивания белков, поскольку понимание этого процесса представляет собой одну из фундаментальных проблем и влечет за собой глубокие экономические и научные последствия, в частности, в деле борьбы с болезнями и разработки лекарств узконаправленного действия.

Чтобы построить петафлопсную машину лишь за треть того времени, что требуется при естественной эволюции массивно-параллельных систем, разработчикам IBM, по их словам, пришлось «переосмыслить компьютерную архитектуру». Результатом переосмысления стала новая концепция под названием SMASH (simple, many, self-healing), то есть «простая, множественная и самоисцеляющаяся» архитектура. Благодаря SMASH суперкомпьютер Blue Gene будет содержать 1 миллион процессоров, которые смогут обрабатывать 8 миллионов потоков одновременно. Одно из важнейших мест в архитектуре занимают функции самостабилизации, автоматически устраняющие проблемы, вызванные сбоями в отдельных процессорах и вычислительных потоках. В целом же можно сказать, что в отличие от HTMT проект Blue Gene опирается на старую добрую технологию кремниевых чипов, которая, правда, примерно на поколение опережает нынешние процессоры массового производства.

IBM предполагает заключить 32 гигафлопсных процессора вместе с DRAM-памятью в одну микросхему производительностью 32 миллиарда операций в секунду и разместить 64 таких чипа на системной плате размером 60х60 см. Таким образом, вычислительная мощь каждой платы составит 2 терафлопса. (В настоящее время суперкомпьютеры подобной производительности занимают огромные машинные залы.) Восемь 2-терафлопсных плат будут монтироваться в стойку высотой около 1,8 м. Для сбора петафлопсной машины понадобится 64 таких шкафа (см. рис. 2).

Прошлой осенью было объявлено, что по заказу научно-исследовательского центра Lawrence Livermore National Laboratory (LLNL) корпорация IBM к концу 2004 года создаст суперкомпьютер Blue Gene/L, состоящий из 65 тысяч процессоров и предназначенный для моделирования процессов старения ядерных зарядов и ядерных взрывов. «Облегченная» архитектура Blue Gene/L позволит достигать вычислительной мощи в 200 триллионов операций в секунду. С одной стороны, это лишь пятая доля петафлопса исходной архитектуры (теперь именуемой Blue Gene/C, от Cyclops), с другой же - эта цифра существенно превосходит суммарную производительность машин из нынешнего суперкомпьютерного рейтинга Top500. Известно, что в архитектуре «L» используются не сверхплотно упакованные 32-процессорные чипы, а более традиционные, похожие на IBM’овскую линию процессоров Power. Каждый из этих чипов содержит два процессора - один для вычислений, другой для коммуникаций с остальными процессорами, - а также встроенную оперативную память, так что по скорости передачи данных модифицированная архитектура «L» превосходит исходную архитектуру «C».

Тысяча двухпроцессорных модулей Blue Gene/L монтируется в стойку величиной примерно с холодильник, а 65 таких стоек займут площадь половины теннисного корта. Это существенно меньше, чем размеры находящегося здесь же в LLNL суперкомпьютера-чемпиона IBM ASCI White, занимающего в рейтинге Top500 самую верхнюю строчку, а в здании Ливерморского центра - площадь размером с две баскетбольные площадки. В целом же, по подсчетам IBM, в сравнении с ASCI White машина Blue Gene/L будет в 15 раз быстрее, в 15 раз экономичнее и более чем в 50 раз компактнее в пересчете на терафлопс производительности.

Упомянув ASCI White, естественно поговорить о лидерах высокопроизводительных вычислений и о знаменитом Top 500 - «независимом и наиболее авторитетном» рейтинге суперкомпьютеров, который дважды в год совместно составляют американский Университет Теннесси и германский Университета Мангейма (кавычки вокруг эпитетов вызваны растущим несогласием с такой оценкой среди пользователей суперкомпьютеров, о чем чуть позже). С некоторых пор увязанный с международным форумом Supercomputing Conference, также проходящим два раза в год, Top 500 служит удобной стартовой платформой для оценки тенденций в отрасли и объективного выявления лидеров (см. табл. 1).

В последние несколько лет в списке Top 500 лидирующие позиции занимает IBM. Этой фирмой изготовлен самый быстрый 12-терафлопсный компьютер ASCI White, в первой десятке - пять ее машин, а во всем списке ей принадлежит 32% систем, на которые приходится 37% суммарной вычислительной мощности сравниваемых суперкомпьютеров.

По суммарному числу машин следующие после IBM места в рейтинге Top500 занимают компании Hewlett-Packard (153 системы), SGI (41), Cray (39), Sun Microsystems (31), Fujitsu (19), NEC и Compaq (по 16, к тому же у последней две системы AlphaServer SC ES45 находятся в первой десятке), Hitachi (15).

Впрочем, несколько месяцев назад появился иной аршин для измерения производительности и общего ранжирования суперкомпьютеров (см. «КТ» #424) - так называемый сбалансированный рейтинг исследовательской компании International Data Corporation (IDC Balanced Rating, www.idc.com/hpc). В двух словах, история его появления такова. За годы эксплуатации суперкомпьютеров их пользователи четко осознали, что приводимая в Top 500 пиковая производительность фактически ничего реального не отражает. Более того, популярный тест Linpack, с 1993 года и по сию пору являющийся базисом для ранжирования в Top500 по «максимальной производительности», идеально коррелирует с расчетной пиковой производительностью, но тоже мало что говорит о реальных возможностях системы. Как следствие, суперкомпьютеры последнего поколения стали преднамеренно «затачиваться» некоторыми изготовителями под тест Linpack, дабы демонстрировать потенциальным покупателям поразительное быстродействие. Однако при решении реальных задач такие машины работают весьма и весьма посредственно (в привязке к их стоимости, конечно).

Поэтому в 2000 году компания IDC объединила усилия с пользователями суперкомпьютеров из промышленности, академических институтов и правительственных ведомств США для создания более приближенных к жизни тестов. В результате к Linpack был добавлен обширный набор известных тестов SPEC FP, исследующих математическую производительность процессоров на задачах из самых разных научно-прикладных областей; тест Stream, замеряющий скорость обмена данными между процессором и памятью; и наконец еще один, третий компонент оценивающий степень масштабируемости суперкомпьютера, сопоставляя общее количество процессоров системы и суммарную пропускную способность памяти.

В итоге к осени 2001 года по замерам нового комплекса тестов первая десятка «самых-самых» мощных компьютеров стала выглядеть существенно иначе (см. табл. 2).

Очевидно, что гораздо хуже стала выглядеть IBM. В то же время по-новому заиграли теракластеры компании Compaq и японские векторно-конвейерные системы NEC. Но что еще важнее, результаты близких к жизни тестов неожиданно вывели в безусловные чемпионы компанию Cray, по мнению многих, давно сдавшую свои некогда лидерские позиции. Из 149 систем, вошедших в высший «мощный класс» машин (Capability Class, он же самый дорогой), Cray принадлежит 58 компьютеров, то есть около 40%. У корпораций IBM и SGI здесь по 24 системы (по 16%). Далее следуют Compaq (15 машин), NEC (12) и Fujitsu (8).

Вполне понятно, что такие результаты крайне не понравились компании IBM, разом потерявшей лавры бесспорного лидера. Гораздо труднее понять, почему организаторы «независимого и наиболее авторитетного» Top500 фактически игнорируют новый сбалансированный рейтинг. И отсутствие на сайте www.top500.org даже малейших упоминаний об исследованиях IDC не добавляет авторитета этому солиднейшему в целом предприятию, особенно если учесть, что на определенном этапе организаторы обоих рейтингов конструктивно сотрудничали.

Новые результаты тестирования заставляют иначе взглянуть и на соотношение сил среди скалярных массивно-параллельных и векторно-конвейерных архитектур. Согласно проведенным недавно на основе Top 500 подсчетам, с 1993 по 2001 год соотношение между скалярными и векторными архитектурами изменилось следующим образом (см. табл. 3).

Глядя на статистические данные, можно было бы подумать, что векторно-конвейерные системы явно сдают под мощным натиском более простых в изготовлении и программировании скалярных суперкомпьютеров. Однако это не совсем так, поскольку период повального увлечения сравнительно более дешевыми массивно-параллельными системами на основе серийно выпускаемых микропроцессоров достиг, похоже, своего пика. Ныне пользователи high-end-суперкомпьютеров, уставшие от разительного несоответствия между теоретической и реальной производительностью таких систем, все с большим интересом обращают взоры на новейшие векторно-конвейерные архитектуры SV2 (компания Cray) и SX-6 (NEC). Благо степень их масштабируемости практически не уступает традиционным массивно-параллельным системам, а модели создания программного обеспечения становятся все более похожими.