Blue Gene/L: новая "звезда" среди суперкомпьютеров
АрхивПлатформаСуперкомпьютер IBM Blue Gene/L, предназначенный для биологических исследований, неофициально считается самым высокопроизводительным в мире: его быстродействие достигает впечатляющих 135,5 терафлопс.
Суперкомпьютер Blue Gene/L американской корпорации IBM побил собственный рекорд производительности: по информации Министерства энергетики США, его быстродействие выросло вдвое и достигает на сегодняшней день 135,5 триллиона операций с плавающей запятой в секунду (терафлопс). Эта новость - хороший повод поближе познакомиться с одним из самых интересных современных суперкомпьютеров.
Проект Blue Gene
О запуске проекта Blue Gene было официально объявлено 21 сентября 2000 года. Представители IBM заявили тогда о намерении вложить 100 миллионов долларов в создание нового суперкомпьютера, который смог бы выполнять квадриллион операций в секунду (петафлопс), что примерно в тысячу раз больше, чем знаменитая машина Deep Blue, выигравшая в свое время у чемпиона мира по шахматам Гарри Каспарова. Blue Gene был призван прийти на смену именно Deep Blue. Происхождение названия Blue Gene ("голубой ген") свидетельствует о первоначальном предназначении этого суперкомпьютера. Когда проект только стартовал, планировалось, что Blue Gene будет использоваться учеными для моделирования процесса создания из аминокислот белков протеинов по "инструкциям", хранящимся в ДНК. Это позволило бы понять причины возникновения различных заболеваний и выработать способы их лечения. Однако уже в ноябре 2001 года Blue Gene заинтересовалось одно из оборонных ведомств США, Министерство энергетики, после чего IBM подписала контракт с департаментом ядерной безопасности на поставку новой версии этого суперкомпьютера, Blue Gene/L, для исследований в области ядерных вооружений.
Новая машина, которая в настоящее время монтируется в Ливерморской национальной лаборатории имени Лоуренса, в ноябре прошлого года уже возглавляла рейтинг 500 самых мощных суперкомпьютеров мира - тогда ее производительность составила 70,7 триллиона операций в секунду. Компьютер состоял из 16384 двуядерных процессоров PowerPC 440 с тактовой частотой 700 МГц (из-за двуядерности использованных чипов в рейтинге говорится о 32768 процессорах). Для составления рейтинга 500 самых мощных компьютеров используется тест производительности Linpack, при котором каждое ядро занято вычислениями, однако во многих других случаях одно из ядер будет заниматься телекоммуникационными задачами.
Суперкомпьютер IBM BlueGene/L
Повышение производительности было достигнуто путем удвоения числа стоек в системе - теперь их не 16, как в первоначальной модификации, а 32. Общее число процессоров достигло 65536 штук. Если конструкторы продолжат идти по этому пути, то окончательный вариант, который должен быть представлен в конце 2005 года, будет состоять из 64 стоек, а производительность машины достигнет порядка 270 терафлопс.
Ливерморская лаборатория (LLNL), в которой монтируется модернизированная версия Blue Gene/L, - это созданный в 1952 году научный центр, входящий в состав Управления по национальной ядерной безопасности (NNSA) Министерства энергетики США. Руководит исследованиями в лаборатории по заказу американского правительства Университет Калифорнии. Среди основных задач Ливерморской лаборатории - обеспечение безопасности и надежности американского атомного оружия на уровне научных исследований и технологических изысканий. Кроме того, лаборатория оказывает содействие в предотвращении распространения оружия массового уничтожения, в частности, в условиях усиления угроз международного терроризма. В штате лаборатории - порядка 8000 сотрудников, из которых - более 3500 ученых и инженеров. В 2003 году бюджет LLNL составил 1,6 миллиарда долларов США.
Создание Blue Gene/L - первый шаг на пути реализации программы по созданию суперкомпьютера производительностью в один петафлопс, однако его архитектура существенно отличается от объявленной при запуске проекта в декабре 1999 года. Главные отличия - это использование доработанных встраиваемых процессоров семейства Power PC c поддержкой памяти большого объема, стандартных компиляторов и среды передачи данных.
За последние годы были достигнуты значительные успехи в создании систем, способных выполнять большие объемы вычислений, причем, разработчики пришли к выводу, что единственным способом конструирования масштабируемых систем с производительностью в несколько терафлопс является использование параллельно работающих машин. Тем не менее, применение кластеров с десятками тысяч мощных процессоров, ограничивается высоким энергопотреблением и требовательностью к охлаждению. К тому же, из-за существенно более низкой скорости обмена данными с памятью, по сравнению с производительностью самих процессоров, общая мощность системы неизбежно снижается.
Архитектура Blue Gene/L
При конструировании Blue Gene/L был применен принципиально иной подход. Вся система состоит из огромного числа блоков-узлов (node), каждая из которых работает на сравнительно небольшой тактовой частоте. Этим достигается как снижение стоимости системы, так и снижение энергопотребления. Главная особенность Blue Gene/L заключается в высокой степени интеграции: в компьютере применяются встраиваемые центральные процессоры, встраиваемая оперативная память и технология "система-на-чипе", позволяющие объединить в единой интегральной схеме (ASIC) вычислительный процессор, коммуникационный процессор, три уровня кэш-памяти и несколько высокоскоростных сетевых интерфейсов. Благодаря относительно невысокой тактовой частоте процессоров она близка к частоте работы памяти, что также снижает энергопотребление и дает возможность конструировать системы, в которых 1024 блока размещаются в одной серверной стойке.
Очевидно, что на создателей Blue Gene/L повлияли другие удачные конструкции суперкомпьютеров с массивно-параллельной архитектурой. К примеру, в машине QCDSP, которая установлена в Колумбийском университете, тысячи процессоров соединены сетью в виде многомерного торуса, объединяющего ближайшие друг к другу чипы и обладающей простой общей функциональностью.
BlueGene/L - масштабируемый суперкомпьютер, который может состоять из более, чем 216 - 65536 вычислительных ядер. Машина построена по сотовой архитектуре, то есть, из однотипных блоков, что предотвращает появление "узких мест" при расширении системы.
Архитектура Blue Gene/L
Архитектура суперкомпьютера Blue Gene/L показана на рисунке. Стандартный модуль BlueGene/L - "compute card" - состоит из двух блоков-узлов (node), модули группируются в модульную карту по 16 штук, по 16 модульных карт устанавливаются на объединительной панели (midplane) размером 43,18 х 60,96 х 86,36 см, при этом каждая такая панель объединяет 512 узлов. Две объединительные панели монтируются в серверную стойку, в которой уже насчитывается 1024 базовых блоков-узлов.
На каждом вычислительном блоке (compute card) установлено по два центральных процессора и по четыре мегабайта выделенной памяти. Кроме того, на этой печатной плате смонтированы контроллер оперативной памяти и девять раздельных микросхем памяти, аналогичных тем, что используются в обычных домашних и офисных настольных компьютерах. Потенциально каждый блок поддерживает до 2 Гбайт памяти, однако пока устанавливаются девять микросхем общим объемом 256 Мбайт.
Вычислительная карта - базовый компонент Blue Gene/L
Каждый блок включает в себя специализированную интегральную вычислительную схему ASIC (Application-Specific Integrated Circuit) и микросхемы оперативной памяти SDRAM-DDR. Интегральная схема ASIC представляет собой законченную "систему-на-чипе" - в эту микросхему включены все сетевые интерфейсы и большое количество встроенной памяти. Физические габариты блока чрезвычайно малы: для того, чтобы добиться высокой плотности вычислений размеры подложки не превышают 11,1 мм. Микросхема ASIC производится по 0,13-микронной технологии и рассчитана на работу на частоте 700 МГц. Технология "система-на-чипе", что позволило сделать ASIC миниатюрной и снизить до минимума ее энергопотребление. В результате стало возможным создание чрезвычайно мощных по вычислительной плотности на единицу площади систем с разумным энергопотреблением и не слишком строгими требованиями к охлаждению.
Процессор PowerPC 440 способен выполнять за такт четыре операции с плавающей запятой, что для заданной тактовой частоты соответствует пиковой производительности в 1,4 терафлопс для одной объединительной панели (midplane), если считать, что на одном узле установлено по одному процессору. Однако на каждом блоке-узле имеется еще один процессор, идентичный первому, но он призван выполнять телекоммуникационные функции, то есть, он предназначен, преимущественно, для связи с другими процессорами суперкомпьютера. Кроме того, конструкцией компьютера предусмотрена установка различного числа двухпроцессорных узлов, которые будут заниматься исключительно операциями ввода/вывода. Эти блоки используют ту же интегральную схему, однако отличаются расширенной внешней памятью и гигабитным сетевым контроллером. По информации разработчика, на каждые восемь вычислительных блоков может приходиться не более одного такого специализированного блока. В IBM рассчитали, что в машине с 65536 вычислительными узлами на каждые 64 вычислительных блока должен приходиться один специализированный узел ввода/вывода.
Ядро каждого вычислительного блока выполняет основные телекоммуникационные функции и все операции, необходимые для высокопроизводительных расчетов научного кода. Для компиляции, диагностики и анализа данных необходим хост-компьютер. Блок ввода/вывода отвечает за связь между вычислительными блоками и другими системами, среди которых хост-компьютер и файл-серверы. Характеристики хост-компьютера зависят от класса приложений, с которыми предполагается работать, а также от требований к пропускной способности и производительности.
Узлы связаны между собой пятью сетями: трехмерной тороидальной сетью для обмена данными непосредственно между блоками-узлами, объединяющей сетью-"деревом" для выполнения общих для всех блоков операций, общей сетью барьеров и прерываний, сетью Gigabit Ethernet-JTAC для управления машиной и еще одной сетью Gigabit Ethernet для подключения к хост-компьютеру, файловым серверам и другим системам.
Помимо вычислительной интегральной схемы, существует и "связующая" ASIC: через нее проходят сигналы тороидальной сети, объединяющего "дерева" и сети барьеров и прерываний, выходящие за пределы объединительной панели. Эта интегральная схема выполняет две функции. Во-первых, она транслирует по кабелям сигналы между объединительными панелями, обеспечивая высокое качество и отсутствие потерь в передаваемом сигнале. Во-вторых, эта схема способна перенаправлять сигналы на различные порты ASIC, что позволяет разделить суперкомпьютер на несколько логически независимых систем, в которых отсутствует взаимопроникновение трафика. Кроме того, это обеспечивает возможность подключения дополнительных объединительных панелей в качестве резервных. В этом режиме каждая из логически независимых частей суперкомпьютера имеет собственную тороидальную сеть, объединяющее "дерево" и сеть барьеров и прерываний.
Одна из наиболее выдающихся характеристик Blue Gene/L - компактность. Разработчики особо отмечают, что полностью собранная система, размещенная в 64 серверных стойках, будет занимать площадь, равную половине площади теннисного корта, что невероятно мало для суперкомпьютера.
Энергопотребление Blue Gene/L тоже невелико: в окончательном варианте оно будет составлять порядка 1,6 мегаватт. Для сравнения, суперкомпьютер ASC Purple, который IBM также обязалась установить в Ливерморской лаборатории, будет потреблять 4,8 мегаватт при производительности 100 терафлопс. Разница между ними проста: Blue Gene/L состоит из специально разработанных компактных блоков, в то время как ASC Purple построена из обычных серверов - аналогов IBM eServe p655.
Для эффективного охлаждения BlueGene/L его конструкторы применили радиаторы с наклонными ребрами, что позволяет рационально распределить охлажденный воздух по стойкам суперкомпьютера. Работает Blue Gene/L под управлением специальной версии операционной системы Linux, которой в IBM уделяется все большее внимание. Характерно, что вопросы снижения стоимости в данном случае не стоят, поскольку сам суперкомпьютер - чрезвычайно дорогое устройство. Речь идет о надежности и о таком достоинстве Linux, как открытый программный код, что упрощает задачу создания специализированного программного обеспечения для конкретных экспериментальных целей.
Будущее Blue Gene/L
Создание 65536-процессорного Blue Gene/L знаменует собой завершение второй стадии 100-миллионного проекта суперкомпьютера. По информации IBM, окончательный вариант Blue Gene/L будет состоять из 130000 процессоров, а его теоретическая пиковая производительность достигнет 360 терафлопс.
Суперкомпьютер Blue Gene/L
Первоначально предполагалось, что суперкомпьютер Blue Gene/L не будет использоваться в секретных проектах, однако в Ливермонской лаборатории считают, что он будет очень полезен в военных исследованиях. Этот компьютер использовался для моделирования взаимодействий 16 миллионов атомов в образце тантала, застывающего под давлением, однако Blue Gene/L нельзя применять для всех задач, для решения которых используются суперкомпьютеры. Кроме того, Blue Gene/L применялся в Национальной лаборатории Лос-Аламоса для изучения появления раковин в металле, при этом моделировалось в динамике взаимодействие более 2,1 миллиарда атомов.
Министерство энергетики США приобрело Blue Gene/L в рамках 290-миллионной сделки. По условиям этого контракта, IBM также должна поставить этому ведомству вычислительную систему ASC Purple на основе серверов eServe, которая состоит из меньшего числа более мощных процессоров, оснащена большим объемом памяти и лучше приспособлена к решению своих непосредственных задач - сложного моделирования физических процессов в атомном оружии. Отгрузка ASC Purple в Ливерморскую лабораторию, по словам Джонстона, начнется в апреле, а закончится - в июле или августе текущего года. В IBM рассчитывают полностью закончить установку системы Blue Gene/L к маю 2005 года, а представитель Ливерморской лаборатории Дон Джонстон заявил, что машина будет полностью настроена и запущена в июле текущего года.
Blue Gene/L - одна из нескольких разработок IBM, направленных на удержание лидерства на рынке высокопроизводительных вычислительных машин. Руководство IBM пытается обезопасить себя от таких сильных конкурентов, как Hewlett-Packard, Silicon Graphics и NEC. В настоящее время руководство IBM уже рассчитывает извлечь прибыль из этого удачного проекта: начались продажи суперкомпьютеров Blue Gene/L по цене порядка двух миллионов долларов США за стойку. Столько стоит сервер eServer Blue Gene Solution с производительностью 5,7 терафлопс. IBM также намерена поставить системы семейства Blue Gene целому ряду научных учреждений, включая Суперкомпьютерный центр Сан-Диего и Эдинбургский университет. Объявлено о планах по установке суперкомпьютера Blue Gene/L в Японском Национальном институте передовых технологий и прикладной науки (AIST). Машина, состоящая из четырех стоек, будет иметь теоретическую производительность порядка 22,8 терафлопс. Использоваться эта система будет, как и предполагалось изначально, для углубленных исследований структуры белков, что позволит ускорить создание принципиально новых лекарственных средств.
Кроме того, IBM предоставляет платный доступ к одному из принадлежащих ей суперкомпьютеру (как говорили лет десять назад, "продает машинное время"). До конца марта IBM планирует запустить в эксплуатацию суперкомпьютер Blue Gene в собственном научном центре Watson Research Center. Производительность этой машины оценивается в 100 терафлопс, что, как заявляют в IBM, сделает ее самым мощным суперкомпьютером, находящемся в частном владении. По всей видимости, корпорация будет предоставлять платный доступ к этой системе, которую планируется использовать, в том числе, и для биологических исследований, для которых изначально и создавался Blue Gene.
При подготовке статьи были использованы материалы корпорации IBM
