Сергей Абрамов: "Мы обязаны стремиться победить в вычислениях"

АрхивИнтерактивные интервью

Ответы члена-корреспондента РАН и руководителя программы "СКИФ-ГРИД", в рамках которой разрабатываются российские суперкомпьютеры, на ваши вопросы. Часть первая.

Добрый день, всем!

Я благодарен "Компьютерре" за организацию беседы и благодарен всем участникам, задавшим мне вопросы. Ниже я постараюсь ответить на все ваши вопросы – с учетом моей компетенции, которая, конечно, имеет свои границы и не может охватывать даже всех аспектов такой обширной области, как суперкомпьютерные технологии.

Для того чтобы наша беседа (вопросы и ответы) приобрела вид связанного единой линией изложения текста, я немного изменил порядок вопросов, расположив рядом близкие или связанные вопросы. В цитате каждого вопроса сохранено имя автора и порядковый номер вопроса.

Что же, давайте поговорим про суперкомпьютеры и суперкомпьютерные вычисления...

И естественно начать нам с ключевых вопросов.

Сергей Глита #2: Может, хватит уже играть в "догнат-перегнат", и заняться чем-нибудь полезным, и пускай уже другие нас догоняют, если им будет угодно? Блин, целое государство разводят на "слабО", и уже не первый раз – помните, как мы уже соревновались с северо-американскими соединенными штатами у кого ракеты длиннее? Какие задачи, кроме "оборонки" можно (нужно) будет решать этими мегамозгами и как всё это скажется на экологии, демографии и жизни простого человека? Станет ли наш народ счастливее, добрее и лучше, если мы победим в этой новой гонке?

Действительно, это ключевые вопросы: Что такое суперкомпьютерные технологии? Какая их роль и какое у них место? Нужны ли они – в смысле, для чего и кому они нужны? Кому они не нужны? Нужны ли они России? Наконец, если суперкомпьютерные технологии нужны России, то нужно ли разрабатывать свои? Или можно (и выгоднее) закупать чужие?

Попробуем во всем этом разобраться.

Этот вопрос (о природе и месте суперкомпьютерных технологий) сложный. И построение серьёзного ответа – это предмет серьёзного и дорогого исследования. К счастью, эти исследования (в большом количестве) уже были оплачены, выполнены и (некоторые) отчеты по ним доступны в сети Интернет. Наиболее известны исследование и слушания, проведённые правительством США после серьёзного скандала – когда Японская суперЭВМ "Earth Simulator" в течение длительного срока (11.03.2002–29.09.2004) была самой мощной машиной мира, значительно потеснив американцев. Это было шоком для многих политиков и специалистов в США. Даже появился термин "компьютник", как воспоминание о шоке, пережитом Штатами после появления первого советского спутника. И власть в США всерьёз разбиралась: потеря лидерства в суперкомпьютерах это беда или небольшая досада? И вообще, для чего эти дорогие изделия нужны?

Вот тезисное изложение результатов исследований:

• Для каждой эпохи развития технологий и экономики государству требуется своя специфичная инфраструктура, в рамках которой существует данное государство и развиваются все отрасли её экономики. Примеры из разных эпох (век пара, век электричества и т.п.): Российские императорские железные дороги, германские автобаны и российские федеральные дороги, единая энергосистема ГОЭЛРО, магистральные газо- и нефтепроводы, водные магистрали и транспортные каналы между ними и т.п.
• Инфраструктура государства – это (чаще всего) забота государства, она нужна всем гражданам, всем отраслям экономики. Это общественное благо, которое (чаще всего) создается и содержится из бюджета. В целом, так и должно быть: в общем, ради этого мы и платим налоги.
• Новый этап в истории развитых стран – этап создания экономики, основанной на знаниях. Для этого этапа требуется новая инфраструктура государства (экономики): киберинфраструктура, состоящая из мощнейших национальных суперкомпьютерных центров, объединённых в общую (grid-)систему мощнейшими каналами связи.
• Эта киберинфраструктура создается и содержится государством из бюджета.
• Ресурсы киберинфраструктуры, как правило, предоставляются бесплатно (см. программу INCITE, например) и в целом они равнодоступны всем хозяйствующим субъектам. Суперкомпьютеры ими используются, как инструменты получения новых знаний, создания новых технологий, веществ, механизмов, изделий, услуг, такого уровня, чтобы они были вне конкуренции на мировом рынке. Здесь чаще всего речь идет не об оборонных приложениях, а о мирных – подробнее ниже.
• Получив (за счет использования киберинфраструктуры) новые технологии, вещества, механизмы, изделия, услуги, хозяйствующие субъекты выходят с ними на рынок, расправляются с конкурентами, расширяют свои продажи, платят налоги (что характерно). И в этот момент государство получает деньги для покрытия своих расходов по созданию и сопровождению национальной киберинфраструктуры.

Таким образом, государство, твердо принявшее решение двигаться в сторону экономики, основанной на знаниях, экономики, основанной на высоких технологиях и инновациях, обязано:

• принять решение о создании новой инфраструктуры государства;
• создать соответствующие национальные программы и органы, ответственные за реализацию данного дела;
• обеспечить их финансовыми ресурсами;
• разработать планы по созданию, развитию и эксплуатации суперкомпьютерной киберинфраструктуры и спокойно приступить к их реализации.

Вот краткое изложение этих же мыслей устами не программиста, не электронщика, а экономиста – руководителя Комитета по конкурентоспособности США: "With technology, talent and capital now available globally, the U.S. is facing unprecedented economic competition from abroad. Тhe country that wants to out compete must out-compute." Deborah Wince-Smith, President of the Council on Competitiveness “US Competitive Council Meets; HPC TOPS Agenda” HPC Wire, 16.07.2004.

Здесь в трех фразах высказаны три мысли:

• Технологии, таланты и деньги доступны всем, есть у всех. – Действительно, давно пора перестать убаюкивать себя мнимым превосходством в технологиях, в талантливости населения и исключительности системы образования, в богатстве – в смысле денег или недр.
• Поэтому США сталкивается с беспрецедентными конкурентными вызовами из-за рубежа. – Действительно, то японское чудо, то корейское чудо, то китайское, то Объединённая Европа... Только уворачивайся!
• Страна, желающая победить в конкуренции, обязана победить в вычислениях. – Только победа (№1, а не №150 в Top500) в суперкомпьютерных технологиях является инструментом победы в конкуренции. Это единственный путь, других вариантов нет (must) – все остальные штучки (таланты, деньги, технологии) есть у всех. И последнее: мы говорим не о какой-то избранной отрасли экономики – мы говорим о конкурентоспособности страны.

Есть ещё аспект в вопросе Сергея Глита: "Блин, целое государство разводят на "слабО", и уже не первый раз". То есть, не являются ли заявления и научные отчеты, процитированные выше, тонкой дезинформацией, цель которой – вовлечение России в недешёвую суперкомпьютерную гонку?" Ответ: нет, не являются, вот почему:

• США реально тратят на киберинфраструктуру в последние годы 3–4 млрд. долларов в год, реально создают (в отличие от "Звездных войн" 80-х годов) работающие системы, которые решают различные задачи и дают бюджетную эффективность. То есть, на киберинфраструктуре реально создаются конкурентно превосходные материалы, технологии, изделия, услуги с коммерческим успехом на рынке.
• Тем же путем и со сравнимыми затратами из бюджета идут все развитые страны, кроме России: и Объединённая Европа, и Япония, и Китай.
• Россия "не поддается на провокации" ;-)

Наконец, я готов к ответу на вопрос Сергея:

Сергей Глита #2: Может хватит уже играть в "догнат-перегнат", и заняться чем-нибудь полезным

Сергей, я не спорю – может быть и хватит! Только ответ зависит от "национальной идеи", от стратегического пути, выбранного Россией. Допустим, наш народ выберет такой путь: "Новая Россия, это страна, развивающая как основную отрасль экономики экстремальный туризм для гостей". Тогда можно не догонять, и не перегонять. Кстати, возможно, при таком выборе народ станет богаче, добрее, счастливее и лучше, и мы решим все проблемы со здоровьем, демографией и экологией.

Так что, проблема с суперкомпьютерами – проблема инфраструктурная,— это проблема выбора пути развития России. Один путь развития – нужна одна инфраструктура. Другой путь развития – другая.

А вопрос выбора пути – это вопрос к народу России (не ко мне, точнее – не только ко мне). В частности, к избранной народом власти. Кстати, Сергей, Ваши сомнения разделяют серьёзные люди в правительстве (на уровне зам. министров Минобрнауки) – совсем недавно (к Первомаю) ими был сформулирован проект исключения всех информационных технологий (ну и суперкомпьютерных, в частности) из приоритетов России, что значительно взбудоражило научную общественность.

Однако, если Россия сказала "А", то придётся (помните? – must!) говорить и "Б". Если мы на всех углах твердим:

• Россия встала на путь инновационного развития;
• Мы строим экономику, основанную на знаниях;
• Российская экономика желает победить (а не проиграть) в конкуренции.

Ну, тогда мы обязаны стремиться победить в вычислениях. Именно победить – нам нужен номер 1 в Top500.

К слову, в отличие от упомянутых руководителей министерств, в этом вопросе своё мнение Президент Д. А. Медведев высказал недвусмысленно на первом заседании комиссии по модернизации и технологическому развитию экономики России – среди пяти приоритетных направлений он отметил и "...стратегические информационные технологии, включая вопросы создания суперкомпьютеров...".

Ещё два смежных вопроса и ответы на них:

• Q: У нас есть уже вполне приличные отечественные суперкомпьютеры – СКИФ МГУ "Чебышев" занимал №36 в мировом рейтинге... Так ли нам нужна абсолютная победа? Так ли нужен №1 в Top500?
  • А: Для абсолютной победы в конкуренции нужна абсолютная победа в вычислениях. На "приличных" суперЭВМ можно посчитать "приличные" материалы, технологии, изделия – приличные, конкурентоспособные. Выйти с ними на рынок и встретить на рынке десяток подобных конкурентных разработок, посчитанных на "приличных" суперЭВМ, доступных многим. На рекордных машинах (их единицы!) можно рассчитать материалы, технологии, изделия, которые будут вне конкуренции. Например, в упомянутой программе INCITE американцы рассчитывали нанотехнологические задачи. Средняя сложность задачи – 1500 процессоро-лет. В результате создавались нанотехнологии, которые в России созданы быть не могут. Поскольку для решения данных задач в России (например, "СКИФ МГУ “Чебышев”" – это 1250 процессоров) придется потратить около 1 года счета на самых мощных доступных суперЭВМ – это нереально.
• Q: Если суперкомпьютерные технологии нужны России, то нужно ли разрабатывать свои? Или можно (и выгоднее) закупать чужие?
  • А: Нам с удовольствием продадут суперЭВМ среднего класса, на которых невозможно рассчитать материалы, технологии, изделия, которые будут вне конкуренции.
  • А: Нам никогда не продадут рекордные суперЭВМ, которые мы могли бы использовать для победы в конкуренции. В том числе для победы в конкуренции со страной-продавцом. Это понятно.
  • А: И военные аспекты здесь второстепенны. Речь идет об экономике, о рынках, о деньгах.

Сергей Глита, извините за такой длинный ответ. Но уж больно важный вопрос Вы задали. Вопрос о пути новой России...

Гена Лебедев №6: С железками более-менее понятно, куда двигаться...

Ой! Как я Вам завидую. У меня (думаю и у других специалистов) в этом деле ещё много непонятного.

Гена Лебедев №6: А как быть с ПО? Какие направления вы считаете наиболее перспективными и востребованными в ближайшее десятилетие? (Возможно – что-то близкое вашей тематике, т.е. работы с суперкомпьютерами, кластерными системами и т.п.)

Успехи в суперкомпьютерных технологиях могут быть обеспечены только суммой (наверное, даже произведением) успехов в области аппаратного и программного обеспечения (ПО). Наиболее перспективные направления в ПО, сформулированные как проблемы (вопросы):

• Как устраивать параллельные вычисления на гигантских установках (десятки–сотни тысяч узлов), на которых эффективно MPI не применим? Что должно придти на смену MPI?
• Как помочь программисту эффективно использовать в одном приложении десяток тысяч узлов (связанных сетью), каждый из которого содержит несколько CPU (на общей памяти), в каждом из которых несколько (например, 16 – недолго осталось ждать) ядер?
• Как поддержать гибридное программирование? Когда часть строк кода предназначена для стандартных многоядерных CPU вычислительного узла, часть строк кода – для расположенного рядом ускорителя? A вся программа должна "лететь" на десятке тысяч таких гибридных узлов (в каждом есть и стандартные многоядерные CPU и ускорители)?

Это примеры (далеко не полные) тех проблем, которыми занимаются в суперкомпьютерной области не меньше, чем "железом", а пожалуй – больше. И у нас занимаются, и у коллег за рубежом. Об этом мало говорят – пишут всё больше о железе. Но железо - это тело, мышцы. Не вдохнешь в него душу – программное обеспечение, — железо останется мертвой грудой железа.

Кстати, все перечисленные выше проблемы вполне свежие, толком ещё не решённые и "не истоптанные". Россия имеет возможность сказать свое первое и веское слово.

Гена Лебедев №6: Ещё вопрос, немного прогнозно-историко-философский: возможно ли создание в России проектов, аналогичных японским "компьютерам пятого поколения", т.е. ориентированных на массовое взаимопроникновение нового "железа" и "софта" с целью принципиального скачка в IT?

То, что ПО создается "поверх железа", все привыкли. Но, действительно, интересная тема: влияние ПО на "железо". И создание "железа" под язык и/или модель организации вычисления. Давайте вспомним совсем немного зарубежные и отечественные примеры из (вовсе недалекого) прошлого:

• Транспьютеры – системы, где "железо" создавалось позже хорошо продуманной модели вычислений (параллельные процессы с синхронизацией за счет "рандеву на каналах") и языка программирования Occam и с точным соответствием и модели, и языку.
• Советские компьютеры "Мир" и "Мир-2" со встроенным входным языком "Аналитик".
• Разработка в 80-х в рамках советской серии спецпроцессоров ЕС 27хх и среди них:
  • спецпроцессора ЕС-2702 (М. А. Мямлин, В. К. Смирнов, И. Б. Задыхайло и другие), реализующего отечественный язык функционального программирования Рефал – по сути это была реально действующая отечественная машина "пятого поколения" – машина под функциональный язык обработки текстовой информации;
  • семейство языков "Маяк" и спецпроцессор ЕС-2701 с архитектурой класса MIMD и макроконвейерная вычислительная система, разработанные Институтом кибернетики АН Украины под руководством академика В.М. Глушкова.

Из недавних работ упомянем разработки академика Бурцева Всеволода Сергеевича – к сожалению, умершего в 2005 году. Его проект не повторяет, но в чем-то схож с теми самыми компьютерами пятого поколения. По крайней мере, просматриваются аналогии с архитектурами "data-flow". И ответом на Ваш вопрос – возможны ли такие разработки в России сейчас,— является тот факт, что проект, ранее возглавляемый академиком В. С. Бурцевым, инициативно продолжается в России и сегодня. И в нём разработка модели вычисления, языка и архитектуры "железа" – тесно переплетенные процессы.

Ещё один пример поддержки одной и той же идеи в "железе" и в ПО. В разработке ИПС имени А. К. Айламазяна РАН (начатой ещё в 90-х годах) системы параллельного программирования Т-Система единственным средством взаимодействия параллельных процессов являются так называемые "Т-переменные", которые могут быть в двух состояниях: "неготовое значение" (процесс-поставщик не вычислил и ещё не прописал значение в данную переменную) и обычное "готовое" значение. И реализовывали мы эту модель параллельного программирования поверх SMP и обычной кластерной архитектурой – без особой аппаратной поддержки. Понятно, что идея такой синхронизации параллельных процессов "витает в воздухе". И сегодня мы находим аппаратную реализацию механизма "full/empty bit" у компании Cray, которая адекватно в "железе" реализует ту же самую идею.

И немного забавного: с Вашим вопросом у меня связана такая история. Впервые серьёзный анализ японского проекта я встретил в 80-х на всесоюзной школе по программированию недалеко от Абрау-Дюрсо. Эта школа собиралась в данном месте ежегодно ещё в 70-х, и на протяжении более сорока лет традиция проведения серии научных мероприятий в этом месте – сохранена. В тот год тематика школы была "ЭВМ 5-го поколения". Но вот незадача: тогда все объявления на школе готовились на печатной машинке, у которой не пропечатывалась буква "п". Ну и тематика была изложена в соответствующей "редакции". Что немало потешало участников школы.

scrp №7: Кто финансирует программу "СКИФ-ГРИД", каковы объёмы и как они соотносятся с объёмами финансирования подобных программ в США и Европе?

Суперкомпьютерные программы "СКИФ" (2000–2004 гг.) и "СКИФ-ГРИД" (2007–2010 гг.) являются научно-техническими программами Союзного государства. Финансируются они из бюджета Союзного государства, который наполняется за счёт взносов России и Беларуси из их национальных бюджетов.

Увы, для простоты сравнения придется перевести бюджеты суперкомпьютерных союзных программ в американскую валюту. По курсу на соответствующие периоды времени, конечно.

На программу СКИФ было затрачено около 10 млн. долларов – на две страны (почти равные доли) и на 5 лет. То есть, около 2 млн. долларов в год на Союзное государство (давайте по странам не делить). В это время (2000–2004 гг.) США тратило около 2 млрд. долларов из бюджета страны на построение киберинфраструктуры державы.

На программу СКИФ-ГРИД запланировано на 4 года около 16 млн. долларов – на две страны (доли в отношении 1:2) и на 4 года. То есть, около 4 млн. долларов из бюджета в год на Союзное государство. В это время (2007–2010 гг.) США тратит около 4 млрд. долларов из бюджета страны на построение киберинфраструктуры державы.

Разрыв между объёмами бюджетных вложений "мы—США" около 1000 раз.

Разрыв между объёмами бюджетных вложений "Евросоюз—США" имеется, но не на порядки. Тем самым, разрыв бюджетных вложений "мы—Евросоюз" – несколько порядков.

Alf Urby №12: ... просьба сравнить не только в "долларовом" исчислении, но и в "мифических человеко-месяцах"... т.е. не в количестве/качестве закупаемых (импортных) систем/комплектующих, а в кол-ве часов "собственно ручной или интеллектуальной деятельности" трудящихся... так как считается, что именно человек создаёт "добавочную стоимость", даже, и особенно, в наукоёмких областях (спасибо).

Попробую пояснить, почему принципиально отношение никак не изменится.

Без детализации смета любого (у них, и у нас) суперкомпьютерного проекта выглядит так:

• Деньги на компоненты:
  • $X
• Деньги на людские ресурсы – исследования, разработки и инженерная работа:
  • $Y
• ВСЕГО: $T = $X+$Y
• Персонал (в человеко-часах) – исследования, разработки и инженерная работа
  • $Y/$s

Отношение $X к $Y у разных проектов принципиально не меняется, если речь не идет о тупой отверточной сборке по сравнению с разработкой (СКИФы – это всегда разработка).

И стоимость $s одного часа (это зарплата, оснастка рабочего времени, электроэнергия, разъезды) сравнимы у них и у нас – отличаются, может быть даже и в разы, но не на порядок.

Поэтому отношение людских ресурсов (человеко-часов) близки к отношениям бюджетов проектов.

palig №9: Недавно наша страна потратила около 44 млн. долларов на проведение Евровидения 2009. Если бы такую же сумму получила программа СКИФ-ГРИД на постройку нового российского суперкомпьютера, пусть даже и не на российских процессорах, какова бы была его пиковая производительность?

С 2000 по 2008 год на направление "СКИФ" Союзным государством было потрачено из бюджета 18 млн. долларов. За эти деньги было создано три ряда суперЭВМ, конструкторская документация, программное обеспечение и 18 опытных образцов. Пять из них входили в Top500 – обеспечили двенадцатикратное вхождение наших машин в разные редакции этого рейтинга. За всю историю страны только шесть собственных машин входили в Top500. Пять из них – СКИФы. Это отдача бюджетных 18 млн. рублей.

Если бы весной 2009 года нам бы дали 44 млн. долларов, к осени 2009 года была бы запущена СКИФ-Аврора примерно на 350 Tflops, а на Linpack-тесте мы получили бы около 300–310 Tflops, что обеспечило бы (по моей оценке) вхождение в осенний рейтинг 2009 года на позиции #10–#15, заведомо выше систем из Китая, Индии и Саудовской Аравии.

За полтора–два бюджета Евровидения "спели бы" заведомо на 3–5 место в осеннем рейтинге 2009 года.

palig №9: В одной из статей "СуперЭВМ Ряда 4 семейства СКИФ: штурм вершины суперкомпьютерных технологий" была дана перспектива развития суперЭВМ Ряда 4 семейства "СКИФ": планируемая достижимая максимальная пиковая производительность 0.5 Pflops к осени 2009 года, 1 Pflops к осени 2010 года, более 5 Pflops к весне 2012 года.

Всё верно, но немного неточно. В той статье (есть и расширенная статья) сказано о разработке к указанным срокам модулей, аппаратных и программных решений, технологий, позволяющих создавать указанные по мощности установки, в условиях разумных ограничений.

Но не было сказано, что уже выделены деньги и имеется заказ от государства (а это может быть только государство) на подобные машины.

Стоимость подобных установок (речь идет о суммах в десятки и даже 100–200 миллионов долларов, если ставить перед собою цель стать первыми в мире) не заложена в бюджете программы "СКИФ-ГРИД".

Но мы планируем в срок быть готовыми к исполнению такого заказа Родины (да и других заказчиков). Что и сказано в указанной статье и в планах программы "СКИФ-ГРИД" на 2009–2010 годы.

Еще надо пояснить фразу "в условиях разумных ограничений" – указанные выше установки должны быть способными создаваться:

• При разумных финансовых затратах.
  • Следует исходить из того, что во всем мире в любое полугодие (список Top500 обновляется каждые полгода) суперЭВМ "1 в мире (сегодня это около 1 PFlops) стоит около 100 млн. долларов (разброс: -25%..+100%).
• При разумных сроках изготовления
  • Мы рассчитываем на изготовление, доставку и сборку указанных установок в течение 9–12 месяцев. Поверьте, это очень хороший срок.
• При разумных габаритах и весе – Мы рассчитываем на:
  • машинный зал около 700 кв.м. (данное число встречается второй раз в этом тексте);
  • высокая плотность упаковки вычислительной мощности стандартных (x86) CPU в шкаф: 24 Tflops/шкаф в 2009 году, 36 Tflops/шкаф в 2010 году, 100 Tflops/шкаф в 2011 году, 200 Tflops/шкаф в 2012 году;
  • поэтому заявленные выше вычислители некрупные – 20–40 шкафов;
  • каждый шкаф по весу не сильно превышает вес сегодняшних плотно набитых шкафов обычных кластеров.
• При эффективных затратах на электропитание:
  • На полезное вычисление затрачивается весьма скромная мощность – отдача высокая для отрасли: 0.25 Gflops/Ватт в 2009 году, 0.38 Gflops/Ватт в 2010 году, 1 Gflops/Ватт в 2011 году, 1.37 Gflops/Ватт в 2012 году.
  • На инфраструктурные затраты уходит еще дополнительно электроэнергии около 30% от полезных процентов. В большинстве сегодняшних ЦоД эти затраты – 70%.
• При наличии российских прав на интеллектуальную собственность на всю "механику" и все печатные платы вычислителя данной суперЭВМ.
  • Наличие прав (мы не пираты) и возможности (надо иметь конструкторскую документацию и разбираться в ней – быть её разработчиком) при необходимости всё выпускать в России, закупать только микросхемы россыпью.

palig №9: Как Вы считаете, к осени 2009 успеете?...

Мы уже успели – мы готовы.

На международной суперкомпьютерной выставке в Гамбурге (23–25 июня) нами демонстрировалось работающее решение СКИФ-Аврора, полностью удовлетворяющее выше перечисленным требованиям: 24 Tflops/шкаф, 0.25 Gflops/Ватт и т.д.

Тем самым, как и заявлялось, мы весной были готовы – были способны начать контракт (и к осени успешно его выполнить) на создание суперЭВМ в 500 Tflops (0.5 Pflops).

Пока подобного заказа не последовало. Но это не значит, что мы нарушили свои собственные планы разработки – мы идем строго по своему расписанию.

Наверное, надо немного рассказать подробнее о СКИФ-Авроре. В точности с данным ранее в статье описанием, базовым модулем установки является шасси размером 6U, в котором находятся:

• 32 вычислительных узла – модуля-лезвия в составе: 2 процессора Intel семейства Nehalem (4 ядра в каждом), память (6 или 12 или 24 Гб), ПЛИС (FPGA) ускоритель вычислений, твердотельный диск;
• две платы электропитания и две так называемых "корневых" платы (управление платы и интеграция вычислительных узлов в рамках шасси).

Такая высокая плотность упаковки дает массу преимуществ: низкие задержки, повышенная надежность и т.п. Но и делает необходимым применять революционные (для установок на стандартных процессорах) подходы к охлаждению суперЭВМ: в СКИФ-Авроре все платы охлаждаются не воздухом, а водой!

Сегодня это единственное подобное решение (на базе стандартных процессоров) в отрасли, хотя многие компании работают в этом направлении.

Вот результат использования водяного охлаждения в СКИФ-Авроре: до 1,5 раз снижается расход электропитания на вычислитель и его систему охлаждения, из установки удаляются все механически подвижные части (вентиляторы и механические диски – элементы ненадежности!), установка становится абсолютно беззвучной, шасси не требуется продувать – его можно закрыть крышками с двух сторон. И в качестве таких крышек в СКИФ-Авроре используются сенсорные LCD-экраны: на них отображаются все технические параметры шасси и исполняемых в нем задач, а управление может быть выполнено кончиками пальцев оператора!

Так вот, ровно такое готовое шасси и демонстрировалось на выставке в Гамбурге. Оно все дни работы выставки надежно работало, охлаждалось водой. На нём считались реальные задачи. Это важно. На выставках такого уровня считаю допустимой демонстрацию только готовых работающих изделий. Презентацию массогабаритных неработающих образцов считаю "незачетом".

Рассказывая о СКИФ-Авроре, обязан подчеркнуть: достичь всех целей проекта (разработка решения с технологией N) в разумные сроки и с разумными ресурсами (люди, деньги) удалось за счет точного и удачного нахождения технологического партнера – европейской компании "Евротех". Удалось на базе паритетного кросс-лицензирования заключить соглашение, взаимовыгодное всем сторонам:

• итальянская сторона выполняет часть разработки и вносит в общее дело свою часть интеллектуальной собственности;
• российская сторона выполняет не меньшую часть разработки и вносит в общее дело свою часть интеллектуальной собственности;
• обе стороны имеют равные права на созданную продукцию – на конструкторскую документацию, на программную документацию; равные права на производство, модификацию и новую разработку – самостоятельную или в партнерстве;
• если одна из сторон выпускает (неважно где) разработанную суперЭВМ и поставляет её заказчику (неважно куда), то обе стороны должны получить свою долю прибыли от этой сделки; при этом условия симметричные, без ущемления прав какой-либо стороны.

Тем самым, проведя инициативные работы, найдя серьёзного партнера и справедливо договорившись с ним на условиях кросс-лицензирования, удалось подготовить задел к началу второго этапа Союзной программы "СКИФ-ГРИД": реализовать платформу СКИФ-Аврора на самом современном уровне суперкомпьютерных технологий.

Отмечу, в наших договоренностях есть обязательство сторон во всех своих маркетинговых, рекламных и публичных материалах указывать на два факта:

• Продукт разработан альянсом: "Евротех", ИПС РАН, компания РСК СКИФ, при технической поддержке корпорации Intel;
• "Аврора" ("Aurora"), "СКИФ-Аврора" и "СКИФ ряда 4" – разные торговые марки одного и того же продукта в разных географических областях.

Вот я и выполнил это обязательство ;-)

palig №9: А если успеете, можно ли это считать заметным достижением - на фоне конкурентов (опустил перечень из JUGENE, Roadrunner, Jaguar)

Так точно. В планы суперЭВМ ряда 4 семейства СКИФ (СКИФ-Аврора) входит разработка отечественных (отметил это выше) машин уровня №1..№10 в рейтинге Top500.

Как это выглядит на фоне конкурентов, показано в статье на Рисунке 3. Мне кажется, всё очень достойно выглядит.

Рустам Ханбеков №14: Почему разработанные серверные решения используют водяное охлаждение?

Для низкой задержки (короткие линии – маленькие задержки передачи сигналов) и из соображений надёжности (надо выкинуть кабели и разъёмы – побольше разместить на компактной печатной плате) все стараются повысить плотность упаковки электроники. Из-за этого растет плотность выделяемой тепловой энергии в скромном объёме. Ведь микросхемы механической работы не совершают. Поэтому, сколько электроэнергии они потребляют, столько тепла и выделяют.

Так вот, в небольшом объёме СКИФ-Авроры мы смогли поместить электроники в два раза больше, чем все другие разработчики. Здорово, задержки меньше, надежность выше.

Но это значит, что это туго набитый электроникой шкаф и потребляет в два раза больше и выделяет тепла в два раза больше, чем у других. Представьте себе шкаф (если не имели дела с монтажными шкафами, представьте обычный двухстворчатый мебельный шкаф). Вот в этом объёме выделяется около 100 КВатт тепла. Чем это можно охладить? Только водой!

Бояться этого не надо. Все разработчики к этому идут. Ничего страшного. Дело времени, и все будут охлаждаться жидкостью.

Наглядный пример: сколько Ваших знакомых недавно купили автомобиль? И сколько из них выбрали автомобиль с воздушным охлаждением мотора? А ведь такой выбор у них был – такие машины ещё есть в продаже. Ну, возможно, немножко подержанные...

Fyr №3: Эх... А возможны ли такие процессоры, которые могут до ~120 градусов C сохранять работоспособность? Так с охлаждением трудов не будет – залил водички в испаритель/радиатор и используешь компьютер по своим нуждам... Предел с 3.5 GHz на воздушном охлаждении можно преодолеть?

Водяное охлаждение уже реализовано. И оно эффективно охлаждает самые горячие "камни", позволяет держать их температуру далеко-далеко от 120 градусов. С таким охлаждением перегретые процессоры не нужны.

И второй вопрос: предел использования воздушного охлаждения связан не с частотой процессора, а с плотностью тепловыделения на единицу объёма.

palig №9: Ведущие суперкомпьютерные державы уже анонсировали свои планы по отрыву от основного конкурента - Китая ...опустил планы компания NEC ... IBM ... Sequoia ... 10–20 Pflops к 2010 году... Как вы считаете, если полностью китайский процессор Godson 3 появится не позднее 2010 г. сможет ли Китай на равных войти в клуб суперкомпьютерных держав, и не проиграть в технологической гонке, как проиграли мы, фактически отказавшись от разработки своего современного процессора?

Считаю:

• Китай давно является равноправным участником клуба разработчиков суперкомпьютеров на технологическом уровне N-1 (данное понятие расписано в статье, в разделе 2; на пальцах: разработка собственных решений уровня "первой сотни", но не "первой десятки").
• Китай имеет хорошие шансы войти в клуб разработчиков технологий уровня N (решения уровня "первой десятки"). Все основания для этого есть: развитие науки, наличие политической воли, выраженной в адекватном финансировании.
• Ни первое, ни второе не зависит от разработки "полностью китайских" процессоров.
• Владение разработкой и производством собственных процессоров и собственной элементной базы – очень "аппетитная" цель для любой страны. И очень дорогая цель. Но достижение этой цели желательное, но вовсе не обязательное требование, для того, чтобы стать разработчиком суперкомпьютерных технологий уровня N-1 или N.
• Я согласен, что мы сильно уступаем в гонке микропроцессорных технологий и в элементной базе. Я не согласен, что мы проиграли в гонке в области суперкомпьютерной технологии.
• Кооперация соисполнителей Программы "СКИФ" с 2004 года плотно вошла в клуб разработчиков суперкомпьютерных технологий уровня N-1, с 2009 года – за счет создания СКИФ-Авроры она вошла и в клуб разработчиков суперкомпьютерных технологий уровня N.
• Другой вопрос, будет страна этим пользоваться или нет.

Подчеркнем маленькую, но принципиальную деталь в постановке Вами вопроса – "...Ведущие суперкомпьютерные державы уже анонсировали свои планы...". Верно! Упомянутые Вами планы построения транспетафлопсных систем, это вовсе не планы компаний (NEC, IBM) и, тем более, не планы научных и образовательных заведений. Компании не настолько безумны, чтобы самостоятельно тратить деньги на рискованные R&D-игры в суперкомпьютерной отрасли, а институты и университеты (даже японские), возможно, и достаточно "безумны", но не настолько богаты.

Все планы из зоны Top10, и большинство планов из области Top100 – это планы государств, государственных структур (NASA, DoE, DoD) и межгосударственных объединений.

Вторая часть ответов Сергея Абрамова на ваши вопросы будет опубликована в среду, 8 июля.