В Межведомственном суперкомпьютерном центре Российской академии наук (МСЦ РАН) группой компаний РСК создан прототип вычислительной системы 10-ти петафлопсного диапазона (ПФЛОПС — квадриллион операций в секунду).

Суперкомпьютер МВС-10П на базе архитектуры «РСК Торнадо» — это крупнейшая не только в России и странах СНГ, но и в Европе система с новейшими сопроцессорами Intel® Xeon Phi™. Новый суперкомпьютер МСЦ РАН установил сразу несколько рекордов в различных номинациях. Прототип этой мощной системы, с 208 вычислительными узлами на базе архитектуры «РСК Торнадо» с жидкостным охлаждением, серверных плат Intel, процессоров Intel® Xeon® E5–2690 и сопроцессоров Intel® Xeon Phi™, обладает пиковой производительностью 523,8 ТФЛОПС. При этом ее энергоэффективность достигла рекордного для России и СНГ уровня 1949,3 МФЛОПС/Вт, что в 5,5 раза лучше предыдущего рекорда по энергоэффективности для нашего региона (также принадлежавшего системе на базе архитектуры «РСК Торнадо» с жидкостным охлаждением). Новый суперкомпьютер МВС-10П занял 30 место в мировом рейтинге самых энергоэффективных компьютеров мира Green500 (ноябрь 2012), а также 59 позицию в рейтинге самых мощных вычислительных систем в мире Top500 (ноябрь 2012) и 2 место в списке наиболее производительных кластеров в России и СНГ Top50 (апрель 2013).

«МСЦ РАН – это очень современный и технологически передовой вычислительный центр с высококвалифицированным персоналом, эксплуатирующий мощный и энергоэффективный суперкомпьютер, занявший высокие позиции в рейтингах Top500 и Green500. МСЦ использует систему на базе «РСК Торнадо» с инновационным жидкостным охлаждением и новейшими сопроцессорами Intel Xeon Phi, что обеспечивает впечатляющие производительность и энергоэффективность для решения очень ресурсоемких научно-исследовательских и инженерных задач» — отметил Джек Донгарра (Jack Dongarra), один из мировых экспертов в области высокопроизводительных вычислений во время своего визита в МСЦ РАН в апреле 2013 г. Он высоко оценил уровень энергоэффективности и рекордные показатели вычислительной плотности (до 181 ТФЛОПС) и энергопотребления (до 100 кВт) на вычислительный шкаф, а также компактность системы, доступные благодаря применению архитектуры «РСК Торнадо».

«Новый мощный суперкомпьютер МВС-10П на базе архитектуры «РСК Торнадо» в 3 раза увеличивает производительность вычислительного комплекса МСЦ, позволяет достичь сразу нескольких уникальных показателей в производительности, энергоэффективности и управляемости технических средств, обеспечит проведение поисковых исследований на переднем крае суперкомпьютерных дисциплин, а также решение актуальных и фундаментальных научных проблем в рамках Российской академии наук для развития научного и экономического потенциала нашей страны» - Геннадий Савин, академик, член президиума РАН, директор МСЦ РАН.

ПРОБЛЕМЫ

• Потребность в большей производительности. МСЦ обслуживает более чем 100 организаций, в центре работает 181 группа исследователей, решается более 900 задач фундаментальной и прикладной направленности, которые требуют все более высокой производительности. Поэтому в МСЦ очень высока востребованность в мощном и современном вычислительном кластере, способном создать необходимый запас производительности для решения не только текущих актуальных задач, но и на ближайшее будущее.

• Высокие требования к компактности, энергоэффективности и TCO. Ввиду потребности масштабирования системы до 10 ПФЛОПС важнейшими требованиями к новому суперкомпьютеру в МСЦ РАН являются минимизация занимаемой площади и потребляемой энергии при высокой вычислительной мощности, а также высокая энергоэффективность и низкая стоимость владения (TCO).

РЕШЕНИЯ

• Достижение высокой производительности. Для решения поставленных задач МСЦ РАН изначально сделал вы- бор в пользу вычислительной системы на базе высокопроизводительных процессоров Intel® Xeon® E5–2690 с новейшими сопроцессорами Intel® Xeon Phi™. Высокую производительность системной сети обеспечивает использование самой современной технологии коммутации InfiniBand FDR.

• Увеличение вычислительной плотности. МВС-10П в МСЦ РАН разработан группой компаний РСК на базе инновационной архитектуры «РСК Торнадо» с передовой системы прямого жидкостного охлаждения, что позволяет достичь уникальной в отрасли вычислительной плотности 181 ТФЛОПС на одну стойку 80см*80см*42U или 141 ТФЛОПС/м3, что в 3,8 раза лучше предыдущего мирового рекорда для х86 архитектур. Высокая вычислительная плотность необходима для суперкомпьютеров экзафлопного диапазона производительности, содержащих сотни вычислительных стоек с энергопотреблением более 100 кВт каждая. Уникальный уровень плотности, реализованный в прототипе системы МВС-10П на базе архитектуры «РСК Торнадо», подтверждает достижимость требуемого результата при создании столь высокопроизводительных систем.

• Высокая энергоэффективность и рекордный PUE. Благодаря использованию современных процессоров Intel® Xeon® E5–2690 и новейших сопроцессоров Intel® Xeon Phi™ в сочетании с передовым жидкостным охлаждением среднегодовые затраты на электроэнергию могут быть сокращены на 60%. Энергоэффективность нового суперкомпьютера МСЦ РАН достигла рекордного для России и СНГ уровня 1949,3 МФЛОПС/Вт, что в 5,5 раза выше предыдущего рекорда по энергоэффективности для этого региона (также принадлежавшего системе на базе архитектуры «РСК Торнадо» с жидкостным охлаждением). При этом достигнут рекордный для индустрии уровень Power Usage Effectiveness (PUE) менее 1,06. Энергопотребление нового суперкомпьютера составляет 222 кВт при пиковой производительности 523,8 ТФЛОПС.

• Снижение TCO. Новый суперкомпьютер МСЦ РАН оснащается технологией гибкого управления энергопотреблением «РСК ЭКОсистема», которая позволяет дополнительно уменьшить суммарную стоимость владения (ТСО) на 25%. Данная технология управления энергопотреблением была впервые внедрена группой компаний РСК в суперкомпьютере МВС-10П на базе архитектуры «РСК Торнадо».

• Повышение надежности. Жидкостное охлаждение обеспечивает прецизионное отведение тепла, что увеличивает срок службы электронных компонентов, а также повышает отказоустойчивость всего решения. Отсутствие подвижных элементов конструкции — вентиляторов и обычных жестких дисков (вместо них используются твердотельные диски Intel SSD), делает суперкомпьютер практически бесшумным и исключает вибрацию, что существенно повышает надежность системы.

РЕЗУЛЬТАТЫ

Группа компаний РСК разработала и внедрила в эксплуатацию один из самых высокопроизводительных суперкомпьютеров в СНГ в Межведомственном Суперкомпьютерном Центре РАН. Вычислительное поле прототипа суперкомпьютерного комплекса МВС-10П состоит из 3328 вычислительных ядер процессоров Intel® Xeon® E5–2690 и 25376 ядер сопроцессоров Intel® Xeon Phi™ SE10X. В каждом узле обеспечивается поддержка большого объема энергоэффективной оперативной памяти — 64 ГБ (DDR3–1600, low voltage green memory). Высокоскоростная сеть передачи данных основана на передовой технологии FDR InfiniBand (56 Гбит/с). Его пиковая производительность составляет 523,8 ТФЛОПС и производительность 375,7 ТФЛОПС на тесте LINPACK. На сегодняшний день это самый энергоэффективный суперкомпьютер в России и СНГ, при этом построенный исключительно на базе стандартной архитектуры x86 — без применения графических ускорителей GPU.

Применение передового метода жидкостного охлаждения позволяет обеспечить столь высокую производительность, а также значительно повысить отказоустойчивость и энергоэффективность. Новый мощный суперкомпьютер МВС-10П на базе архитектуры «РСК Торнадо» в 3 раза увеличивает производительность вычислительного комплекса МСЦ РАН, обеспечивая проведение поисковых исследований на переднем крае суперкомпьютерных дисциплин, а также решение актуальных и фундаментальных научных проблем в рамках Российской академии наук для развития научного и экономического потенциала страны.