Русский SUPERсуп

Если не считать Ethernet-кластеров, самостоятельно собираемых пользователями, в России сейчас наиболее развиты две "линии" разработки и производства установок для супервычислений. Первая ассоциируется с НИИ "Квант", вторая - с НИЦЭВТ. Второе название, разумеется, известно широкой публике куда больше, чем первое, благодаря вездесущей в СССР в 1970-х годах серии ЕС ЭВМ. Когда же речь заходит о "Кванте", обычно надо объяснять, что это не тот "Квант", что в Зеленограде. Однако в суперкомпьютерном контексте их популярность - пока - распределена ровно наоборот.

Совместный проект МСЦ (Межведомственный суперкомпьютерный центр), «Кванта» и ИПМ (Институт прикладной математики им. М. В. Келдыша РАН), породивший установки серии МВС (Многопроцессорная Вычислительная Система), долгое время был единственным российским суперкомпьютерным проектом, упоминавшимся в специальной и популярной литературе. В результате аббревиатура «МВС» воспринимается почти как синоним слов «российский суперкомпьютер». Крупнейшим достижением этого проекта стал вожделенный «русский терафлопc» - машина с такой пиковой производительностью, МВС-1000М, была построена в конце прошлого года. Преодоление терафлопсного порога имеет большое символическое значение и в этом смысле не менее важное, чем результаты расчетов, которые стали возможными благодаря созданию такой машины.

Другую нишу, нишу неамбициозных «рабочих лошадей», то есть среднепроизводительных (10-100 гигафлопс) суперкомпьютеров, осваивают машины, создаваемые в совместном проекте НИЦЭВТ, Института программных систем РАН (Переславль-Залесский), белорусского НИО «Кибернетика» и ряда других организаций. Хотя эта работа началась только в 1999 году, под собирательным названием ТКС (типовая кластерная система) уже выпущено более двадцати машин.

И МВС, и ТКС - это многопроцессорные системы с довольно простой топологией связей, собираемые из имеющихся на рынке стандартных конструктивных элементов - высокопроизводительных процессоров и коммуникационных сетей с пропускной способностью в несколько гигабит. Отметим, что «Квант» и НИЦЭВТ ведут и совместные исследования и разработки по ряду направлений.

Типичный пример кластера этой серии - ТКС-15, установленный в МГТУ им. Баумана. Он содержит 12 узлов, каждый из которых включает двухпроцессорную системную плату SuperMicro 370DLE с чипсетом SE-LE (ServerWorks III - LE), два микропроцессора Pentium III 800 Мгц с кэшем L2 256 Кбайт, системную шину 133 МГц, оперативную память объемом 512 Мбайт, 10-гигабайтный IDE-винчестер, флоппи-дисковод, встроенный сетевой адаптер Fast Ethernet, высокоскоростной адаптер SCI D311/D312 (PCI-32 33 Мгц). Используется операционная система Linux Red Hat, возможность применения Windows NT/2000 пока изучается. Узлы кластера соединены в двухмерный тор (рис. 1). На новых экспериментальных образцах в настоящее время отрабатываются конфигурации с топологией трехмерного тора, а также сети с центральным коммутатором - топология коммутируемых колец.

«Изюминка» конструкции ТКС - использование высокоскоростных сетевых технологий SCI (Scalable Coherent Interface) норвежских фирм Dolphin (аппаратные средства) и Scali (программное обеспечение). Узлы работают с распределенной общей памятью (Distributed Shared Memory - DSM), то есть на аппаратном уровне поддерживается выполнение узлами ряда операций над памятью других узлов. Важно, что такая модель удобна для организации мультитрединга. Высокая степень параллельности при обмене информацией с помощью адаптера SCI обеспечивает эффективное распределение работы между процессорами при увеличении их числа.

С этого года НИЦЭВТ начинает выпуск таких адаптеров по технологии Dolphin. В конце 2001 года прошла испытания и сдана новая модель ТКС, система ЕС-1720, значительная часть ее системного софта создана в России. Это - составляющие «политики импортозамещения», которой привержены разработчики. До сих пор кластеры ТКС приобретали главным образом вузы - МГУ, МФТИ, МГТУ им. Баумана, Санкт-Петербургский университет.

Система МВС-1000М собрана из вычислительных модулей (ВМ), каждый из которых содержит: два процессора Alpha21264 667 Мгц с кэш-памятью второго уровня объемом 4 Мбайт, 2 Гбайт разделяемой оперативной памяти, жесткий диск на 20 Гбайт, интерфейсную плату сети Myrinet2000, интерфейсную плату сети Fast Ethernet, интерфейсную плату видеоконтроллера. При помощи полнодоступного коммутатора Myrinet2000 (128 входов, 128 выходов) создается базовый вычислительный блок из шестидесяти четырех ВМ: 64 входа и 64 выхода используются для соединения ВМ этого вычислительного блока, а оставшиеся 64 входа и 64 выхода служат для соединения с коммутаторами других базовых блоков. Наконец, сами базовые блоки (в МВС-1000М их шесть) соединены между собой (рис. 2). Системное программное обеспечение в значительной степени разрабатывалось в российских вузах и институтах РАН: МИФИ, МФТИ, ИПМ им. Келдыша и др.

По результатам тестирования, которому подвергаются машины, представленные в списке Top 500, МВС-1000М оказалась бы где-то в районе сорокового места, рядом с T3E900 фирмы Cray. Производительность на применяемом в Top 500 пакете задач линейной алгебры Linpack составляет для МВС-1000М примерно 0,6 терафлопс. Пользователи этой машины, установленной в МСЦ в здании Президиума РАН, - в основном сотрудники институтов и предприятий, входящих в состав учредителей Центра: Российской академии наук, Министерства образования, Миннауки. Вместе с четвертым учредителем, РФФИ (Российский фонд фундаментальных исследований), этот консорциум финансировал разработку машины.

Сейчас в стране работают несколько десятков систем разного уровня из семейства МВС. Самые мощные находятся в ряде академических и промышленных организаций Москвы, Новосибирска, Урала и Дальнего Востока. Но «Квант» изготавливает и сравнительно небольшие кластеры, как на «Альфах», так и на «Пентиумах», начиная от 12-16 ВМ, объединенных в стойку (такой кластер недавно приобрел, например, Институт авиационных моторов, ЦИАМ). В ближайших планах - включить как можно больше этих машин в единую распределенную систему планирования заданий (grid), доступ к которой осуществлялся бы по Интернету, как он осуществляется сейчас к отдельным установкам.

Разработку обеих систем, МВС и ТКС, ведут организации, входящие в РАСУ (Российское агентство по системам управления Минпромнауки РФ). Существенная часть работ по созданию ТКС проходила в рамках «Программы Союзного государства „СКИФ“» - российско-белорусского суперкомпьютерного проекта. Беседуя с разработчиками, вы не услышите слов «внешние инвестиции» - только «финансирование», бюджетное или собственное (последнее иногда значительно больше). Потребление суперкомпьютеров в России происходит в государственном секторе, со всеми присущими этому особенностями. Однако ситуация может измениться в самое ближайшее время.

С одной стороны, крупные российские коммерческие фирмы-сборщики компьютеров активно присматриваются к рынку высокопроизводительных кластеров. С другой - оживление промышленности, похоже, начинает создавать платежеспособный спрос на такие системы у негосударственных структур. Если так - будем надеяться, что зарождающийся рынок и дополнительные средства новых игроков помогут поддержать и развить наработки, сделанные в трудных условиях последнего десятилетия.