Аннотация результатов, полученных в 2020 году
Разработана система для мониторинга энергопотребления вычислительных узлов на суперкомпьютерах “Десмос” и “Фишер”. Также, на “Фишере” разработана система мониторинга задач, позволяющая записывать информацию о задачах, запускаемых на суперкомпьютере, собирать краткий отчет о выполнении и автоматически создавать графики утилизации CPU, температуры CPU, тактовой частоты CPU, энергопотребления узла и использованной памяти для выбранной задачи в веб-интерфейсе Grafana. Проведены тесты процессоров AMD Epyc 7301 и AMD Epyc 7662 в бенчмарке HPL. Было исследовано, как использование различных типов охлаждения, различных интерконнектов, различного числа вычислительных узлов влияет на вычислительную производительность. Полученная производительность на процессоре AMD Epyc 7301 на вычислительном узле с воздушным охлаждением составила 524 Гфлопс с эффективностью 93%, на вычислительном узле с иммерсионным охлаждением - 536 Гфлопс с эффективностью 95%. Производительность при запусках на 16 узлах составила 7847 Гфлопс на узлах с воздушным охлаждением и 7876 Гфлопс на узлах с иммерсионным охлаждением. Эффективность составила 87,08% и 87,39% соответственно. Полученная производительность на процессоре AMD Epyc 7662 на вычислительном узле с иммерсионным охлаждением составила 3461 Гфлопс с эффективностью 84,5%, Производительность при запуске на 20 узлах составила 59465 Гфлопс с эффективностью 72,59%. Был реализован алгоритм поразрядной сортировки на графическом ускорителе с учетом четырех разрядов на итерацию. Особенностью реализации является высокая портируемость - возможность компиляции одного кода для платформ CUDA, ROCm HIP и OpenCL. Код использован в пакете молекулярно-динамического моделирования LAMMPS для обеспечения большей портируемости и обеспечения построения списков соседей на ГПУ при использовании платформы OpenCL. Производительность кода на модельной задаче в 3-7 раз ниже, чем при использовании высокооптимизованных платформозависимых библиотек, но в рассмотренном сценарии использования не оказывает значимого влияния на общую производительность МД расчета, предоставляя компактность и переносимость кода. Проведено оценочное сравнение эффективности моделей программирования CUDA, OpenACC и OpenMP на различных тестах. Проведен анализ эффективности работы с памятью GPU, производительности физических задач и различных реализаций умножения матриц на графических процессорах Nvidia Tesla V100 и MX940, а также на современных процессорах общего назначения. Кроме того, проведен анализ производительности оптимизированных библиотек BLAS. На суперкомпьютере Fisher проведено сравнительное оценочное тестирование производительности и энергоэффективности сегментов на основе сети Ангара и сети Infiniband 4x FDR от 1 до 16 узлов. Экспериментально показано, что энергопотребление приемо-передатчиков и ядра маршрутизатора Ангара не зависит от выполняемой динамической нагрузки, а приемо-передатчики вносят основной вклад в энергопотребление сетевого адаптера Ангара. В рамках работы получена оптимизированная версия библиотеки MPI для сети Ангара как способ повысить энергоэффективность суперкомпьютера при работе задач. Проведенное оценочное тестирование показало возможность увеличения энергоэффективности суперкомпьютера с сетью Ангара за счет оптимизации MPI, полученный выигрыш по электроэнергии составляет от 5% до 22%. Моделирование при помощи симулятора работы вычислительной системы с очередью задач позволило оценить экономию электроэнергии при отключении приемо-передатчиков СБИС маршрутизатора сети Ангара, расположенных по краям выделяемых множеств узлов. При рассмотрении вычислительных систем с топологией 3D-тор с количеством узлов от 32 до 512, 4D-тор с количеством узлов от 32 до 1024 и очередей задач, приближенных к реальным, оценка экономии электроэнергии составляет до 2.46 КВт/ч для системы из 512 узлов (3D-тор) и 3.9 КВт/ч для системы из 1024 узлов (4D-тор). Данная возможность реализована для суперкомпьютера Desmos, для которого с учетом потребляемой мощности узлов экономия составляет до 4.5% от потребления всего суперкомпьютера под нагрузкой. Разработан алгоритм построения таблиц маршрутов для решения задачи решения распределения трафика в высокоскоростной сети Ангара, который глубже развивает теорию анализа сетей с маршрутизацией, которая накладывает ограничения на маршрут в зависимости от уже пройденной его части. Алгоритм обладает следующими качествами: а) обеспечивает бездедлоковость получаемых таблиц маршрутов при использовании расширенных возможностей маршрутизации сети, которая допускает существование дедлоков и отказов за счет использования графа путей, б) позволяет учитывать сетевой паттерн прикладной задачи, в) поддерживает возможность использования на системах с порядка 100-200 узлов за счет адекватного времени работы алгоритма, г) обеспечивает лучшее качество распределения трафика по сравнению с генетическим алгоритмом при значительно меньшем времени работы (10-20 раз быстрее). Доказана теоретическая сложность разработанного алгоритма, которая составляет в худшем случае O(nm + n^2 log n), где n, m - количество вершин и ребер в графе путей. Впервые исследовано влияние алгоритма построения таблицы маршрутов на производительность коммуникационных паттернов и прикладных задач на реальной вычислительной системе Desmos. Выигрыш от использования разработанного алгоритма построения таблицы маршрутов составляет от 10% до 30% при использовании 32 узлов суперкомпьютера Desmos, на тестах NPB CG и FT получен выигрыш производительности до 3%. Структурирован список основных компонент, дающих заметный вклад в вычислительную производительность суперкомпьютера. Сформулирована первая итерация теоретической модели, описывающей производительность суперкомпьютера на основе данных, полученных из первых исследований доступных компонент.

Аннотация результатов, полученных в 2021 году
1) Исследование энергоэффективности вычислительных кластеров с учётом жидкостной погружной и воздушной систем охлаждения Для сбора таких данных, как энергопотребление, тактовая частота процессоров и температура процессоров, были разработаны дополнительные плагины. Плагины разработаны на языке программирования Python 3. Для сбора метрик по энергопотреблению вычислительных узлов, были разработано два плагина для вычислительных узлов двух типов – с воздушным охлаждением и с масляным иммерсионным охлаждением, т. к. данные для них собираются разными способами. Кроме того была доработана вся система мониторинга для интеграции новых механизмов добавления метрик. Сравнительный анализ способов охлаждения был начат с анализа работы суперкомпьютера Fisher на базе пакета high performance linpack (HPL). Для этих тестов мы использовали вычислительные узлы в разных сегментах Fisher: сегменте с воздушным охлаждением и иммерсионном сегменте с разными интерконнектами. Для узлов с одинаковыми CPU (2 x AMD Epyc 7301) было показано, что иммерсионная система охлаждения приводит к увеличения эффективности выполнения HPL чуть более, чем на 2% по сравнению с воздушной системой охлаждения. 2) Энергоэффективность и производительность процессоров Выполнено испытание применимости языка Rust для разработки суперкомпьютерных приложений. Этот компилируемый язык программирования в последнее время рассматривается как замена C/C++, так как он обеспечивает близкие возможности для разработки низкоуровневого и производительного компилируемого кода, но защищает от ряда ошибок и проблем безопасности. Для создания суперкомпьютерных программ язык должен иметь высокий базовый уровень производительности, возможность использования математических библиотек, иметь поддержку параллельного программирования на уровне потоков и массового параллелизма. Испытания показали, что язык позволяет использовать классические библиотеки C/C++ без накладных расходов. Реализация многопоточного алгоритма интегрирования на Rust с помощью библиотеки Rayon показала точно такую же производительность, как и аналогичная реализация на С++ с OpenMP. Создание массово-параллельных приложений возможно с помощью MPI библиотеки rust-mpi, которая обеспечивает также более безопасный и удобный интерфейс. MPI программа была протестирована на действующем суперкомпьютере cHARISMa без необходимости каких-либо инфраструктурных изменений. Тесты времени выполнения коллективных операций показали отсутствие значимых накладных расходов. Rust-CUDA обеспечивает возможность программирования для графических ускорителей Nvidia, причем код вычислительных ядер создается тоже на Rust и способен обеспечить при разработке дополнительные гарантии безопасности. Таким образом, в Rust есть минимальная экосистема для создания суперкомпьютерных приложений. В ряде случаев достигается меньшая производительность, но уровень остается сопоставимым и можно ожидать, что развитие оптимизирующих компиляторов сможет закрыть эту разницу. 3) Энергоэффективность и производительность видеокарт Выполнены эксперименты на системах с ускорителями NVidia и AMD с использованием множества ускорителей в одном расчете. Исследована эффективность ГПУ ускорения на реальных передовых приложениях для молекулярно-динамического моделирования при близких к предельным размерам моделируемых систем. В экспериментах использовались пакеты LAMMPS и OpenMM. Один из них очень хорошо масштабируется и часто используется для решения задач рекордной сложности, а второй является более новым, хорошо оптимизированным для использования ГПУ и показывает более высокий уровень производительности при решении небольших систем в рамках одного узла, но его существенное ограничение заключается в отсутствии поддержки MPI. Появление новых технологий по объединению множества ГПУ на одном узле позволяет очень быстро решать многие практические задачи. В исследовании было исследовано масштабирование в сильном и слабом смысле. На узле в восемью ускорителями Nvidia A100 было показано, что OpenMM не так хорошо масштабируется по количеству ускорителей, как LAMMPS, причем даже при использовании отдельных узлов связаных интерконнектом Ангара. При исследовании масштабирования в слабом смысле было показано, что двукратная разница в скорости счета между ускорителями Nvidia A30 и A100 соответствует разнице между пиковыми характеристиками ускорителям. Более низкую производительность на практике показал AMD MI50 при таких же пиковых характеристиках, как у Nvidia A30, что может объясняться более медленными атомарными операциями в этих ускорителях. Разработан стек UCX-Angara, позволяющий использовать OpenMPI на системах с сетью Ангара и ГПУ в оптимизированном режиме. Проведена адаптация стека UCX-Angara для использования с ГПУ AMD в рамках инфраструктуры ROCm и технологии GPUDirect. Задействован оптимизированный механизм копирования памяти и разработан прототип механизма регистрации памяти для реализации оптимизированной версии протокола Rendezvous. По аналогии с ведущими интерконнектами в отрасли для полноценной поддержки технологии RDMA была добавлена операция регистрации памяти (Memory Registration). 4) Интерконнекты Разработана поддержка сетевого устройства Ethernet для высокоскоростной сети Ангара. В рамках реализации разработано два протокола для отправки данных через сеть Ангара - с использованием технологии RDMA и без неё. Режим RDMA не задействует ресурсы процессора, адаптер сети Ангара перемещает данные напрямую в память удаленного узла из памяти локального узла, полностью минуя центральный процессор. Проведено исследование производительности данных режимов, которое показало преимущество в 17% достигнутой пропускной способности в режиме RDMA по сравнению с режимом без использования RDMA. Проведено исследование производительности на тесте IO500 с использованием параллельной файловой системой BeeGFS на 20 узлах суперкомпьютера Fisher, установленного в ОИВТ РАН. Общий достигнутый результат IO500 составляет 6.35 и 2.8 для использования TCP/IP через Ethernet на сети Ангара (EoA) и 1 Gbit Ethernet, соответственно. Также исследована производительность IO500 на EoA в зависимости от количества используемых узлов Fisher для хранения и от количества используемых клиентских узлов. Производительность растет с увеличением числа узлов, пока не ограничивается характеристиками дисков или пропускной способностью сети. Проведенное исследование продемонстрировало полнофункциональный прототип реализации TCP/IP для сети Ангара. Тесты распределенного хранилища на основе данной реализации не показывают явных ограничений, которые можно было бы отнести к производительности сети Ангара. 5) Эффективный суперкомпьютер с элементами отечественного производства В рамках развития теоретической модели высокопроизводительной вычислительной системы сформулированы основные вызовы стоящие при создании современной эффективной высокопроизводительной вычислительной системы экзафлопсного класса и предложены основные варианты путей решения проблем. Основные вызовы: масштабируемость (обеспечение сохранения эффективности вычислений и удобства управления при масштабировании системы), энергопотребление (уменьшение энергопотребление как базового, так и при пиковых нагрузках), перемещение данных (решение проблем узких мест по памяти и по интерконнекту), программирование (оптимизация алгоритмов для экзафлопсных систем и возможность переноса существующего кода на экзафлопсную систему), надёжность (обеспечение устойчивости работы масштабной экзафлопсной системы). Большинство предложенных решений обсуждаемых вызовов исследуется и в части случаев осуществляется на практике в рамках текущего проекта.

Аннотация результатов, полученных в 2022 году
1) Исследование энергоэффективности вычислительных кластеров с учётом жидкостной погружной и воздушной систем охлаждения На примере популярного бенчмарка показана справедливость гипотеза о том, что жидкостные системы охлаждения более эффективны, чем воздушные системы охлаждения, при работе с суперкомпьютерами. Это объясняется тем, что жидкость имеет более высокую теплопроводность, чем воздух, и может быстрее удалять тепло от компонентов суперкомпьютера и тем, что жидкостные системы охлаждения позволяют более равномерно распределять тепло по всей поверхности компонентов, что уменьшает вероятность перегрева и повышает надежность работы. Выбор оптимальной системы охлаждения зависит от конкретных требований и задач, которые выполняет суперкомпьютер. 2) Энергоэффективность и производительность процессоров Выделены основные тренды в развитии процессоров. Составлен рейтинг процессоров на базе ряда ключевых параметров, таких как частота процессора, количество ядер, размер памяти, мощности, цена процессора, его производительность или энергоэффективность и других. Изучены существующие бенчмарки, с помощью которых тестируется производительность, функциональность и энергоэффективность процессоров, их недостатки. С помощью выбранных бенчмарков был протестирован ряд процессоров для выделения общих патернов. Для каждого бенчмарка были собран рейтинг процессоров. 3) Энергоэффективность и производительность видеокарт За многие годы развития атомистического моделирования было создано много программных реализаций этого метода. Пакет LAMMPS появился давно, но он обладает большой гибкостью, позволяющей проводить с его помощью вычисления для самых разных моделей, при этом он превосходно масштабируется и используется на самых крупных суперкомпьютерах мира. Для адаптации к вычислениям на графических ускорителях в нем были реализованы несколько модулей с разными подходами. Более новый пакет OpenMM был изначально спроектирован для быстрых расчетов на ГПУ. В работе проведен сравнительный анализ. Показано, что OpenMM превосходит LAMMPS в 3 и более раз на реальных расчетах относительно небольших систем, но включает алгоритм сложности O(N^2) и это ограничивает его применимость - он не масштабируется более 6 ускорителей в системе. В LAMMPS модуль KOKKOS реализует вычисления с помощью декомпозиции на переносимые по производительности вычислительные ядра алгоритма для ГПУ, в то время как модуль GPU работает в режиме offload. В работе показано, как сопоставимые уровни производительности достигаются при очень разных паттернах обменов данными в этих модулях, и это открывает новый взгляд на возможности дальнейшего развития производительности в пакете. Выделены основные тренды в развитии графических ускорителей. Проанализированы существующие рейтинги и составлен рейтинг графических ускорителей. Изучены существующие бенчмарки, с помощью которых тестируется производительность, функциональность и энергоэффективность графических ускорителей. С помощью выбранных бенчмарков был протестирован ряд графических ускорителей. 4) Интерконнекты Впервые для сети Ангара разработана реализация библиотеки MPI с поддержкой в функциях MPI указателей на память Nvidia GPU (GPU-aware MPI). Полученная реализация позволяет с использованием сети Ангара проводить обучение нейронных сетей во фреймворках TensorFlow, PyTorch, Horovod. С использованием разработанной реализации впервые для сети Ангара продемонстрирована возможность распределенного обучения нейронных сетей. Проведен сравнительный анализ производительности при распределенном обучении нейронных сетей с использованием сетей Ангара, Nvidia Infiniband EDR-56 (пропускная способность ограничена 56 Гбит/c), 1 Gbit/s Ethernet. На нейронных сетях ResNet50, ResNet152 и DenseNet201 на 2 узлах стенда с ускорителем Nvidia V100 в каждом узле производительность для сети Ангара лишь немного уступает сети Infiniband EDR-56 и значительно опережает сеть 1 Gbit/s Ethernet. 5) Эффективный суперкомпьютер с элементами отечественного производства Проведены работы по 1. Определению влияния окружения на эффективность элементов суперкомпьютера. Для этого подбирается набор тестов на разных уровнях: базовые характеристики, синтетические тесты (например, HPL, HPCG) и практические научные пакеты. 2. Составлению рейтинга компонентов суперкомпьютера с учетом их характеристик (вычислительная производительность, энергоэффективность), стоимости и других параметров. 3. Тестированию суперкомпьютеров и их компонентов на реальных приложениях для составления актуального рейтинга по эффективности для конкретных типов научных задач/приложений. 4. Составлению списка рекомендаций для создания экзафлопсного суперкомпьютера и обсуждение возникающих проблем и возможных решений. Создан сайт для внесения данных о результатах тестирования суперкомпьютеров бенчмарками по основным классам вычислительных научных задач. Данные по мере проверки размещаются на сайте рейтинга https://tophpc.jiht.ru. На этом сайте сделан следующий шаг - рейтинг суперкомпьютеров и компонент собирается по типу вычислительной задачу, разделённых согласно научным направлениям, которым требуются высокопроизводительные вычисления. На текущий момент можно выделить следующие общие рекомендации для суперкомпьютерной архитектуры: 1) Для задач, реализованных для центральных процессоров и общей памяти (например, задачи гидродинамики): актуален большой размер кэша L3 и число каналов памяти (пропускная способность). 2) Для аналогичных задач большого размера нужен быстрый интерконнект для MPI-обменов. 3) Задачи, которым достаточно ограниченной памяти GPU, могут быть эффективно рассчитаны на системах с несколькими графическими ускорителями, объединенными в рамках одного узла быстрыми каналами связи (NVLink, Infinity Fabric). 4) Для аналогичных задач большого размера нужен быстрый интерконнект для MPI-обменов, причем с поддержкой технологий типа GPUDirect RDMA.