КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 23-11-00014

НазваниеРазработка, реализация и исследование вычислительных методов высокого порядка точности для решения уравнений специальной релятивистской гидродинамики с использованием адаптивных сеток на суперЭВМ

РуководительКуликов Игорь Михайлович, Доктор физико-математических наук

Организация финансирования, регион Федеральное государственное бюджетное учреждение науки Институт вычислительной математики и математической геофизики Сибирского отделения Российской академии наук, Новосибирская обл

Период выполнения при поддержке РНФ 2023 г. - 2025 г. 

Конкурс№80 - Конкурс 2023 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами».

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-218 - Математическое моделирование физических явлений

Ключевые словаМатематическое моделирование, суперкомпьютерные вычисления, численные методы высокого порядка точности, вычислительная астрофизика, уравнения специальной релятивистской гидродинамики, уравнения специальной релятивистской магнитной гидродинамики, адаптивные сетки

Код ГРНТИ28.17.19


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Представлен проект разработки математического обеспечения и программного инструментария для моделирования астрофизических релятивистских течений газа на суперЭВМ с учетом магнитного поля. Главной научной целью проекта являются новые параллельные вычислительные методы решения уравнений специальной релятивистской (магнитной) гидродинамики, реализованные в виде программного инструментария на основе проблемно-ориентированной модели вычислений на регулярных, статических и динамических адаптивных сетках. Научная актуальность проекта связана с невозможностью постановки и проведения полномасштабных астрофизических экспериментов в части исследования релятивистских течений газа с учетом магнитного поля, необходимостью высокого пространственного разрешения, и сложностью численного решения подобных задач. В проекте будут разработаны новые параллельные вычислительные методы типа Годунова для решения уравнений специальной релятивистской (магнитной) гидродинамики. Для их разработки будут использованы три подхода к решению задачи Римана: схема Русанова, методы на основе полиномиальной матрицы вязкости и методы, основанные на записи уравнений в виде симметрически гиперболической системы. Для достижения высокого порядка точности на гладких решениях и малой диссипации решения на разрывах будет использована кусочно-параболическая и кусочно-кубическая реконструкция физических переменных. В основе программного инструментария, реализующего разработанные численные методы, будет использовано представление расчетной сетки в виде множества микросеток небольшого размера, каждая из которых полностью размещается в кэш-памяти одного процессорного ядра. Такое представление позволяет эффективно использовать проблемно-ориентированную модель выполнения задач (в зарубежной литературе task-based execution model), что обеспечивает балансировку загрузки между параллельными процессами при использовании не только регулярных, но и адаптивных сеток. В проекте для воспроизведения разномасштабных компонент течения релятивистского газа будут использованы регулярные, статические и динамические адаптивные сетки. Настоящий проект является качественным продолжением завершенного в 2022 году проекта РНФ коллектива авторов с учетом всех замечаний и комментариев рецензентов. Более того, в новом проекте будет использован весь потенциал разработанных ранее технологий. Предлагаемая тематика проекта является прорывной, а результаты проведенных исследований создадут предпосылки для формирования новых научных направлений в части разработки программных инструментариев петафлопсного и экзафлопсного уровня. Научная новизна и главное конкурентное преимущество настоящего проекта является одновременное использование новых подходов, как к конструированию численных методов, так и к используемым моделям параллельных вычислений. Такое сочетание численных методов и параллельных вычислительных технологий позволяет получить эффективный программный инструментарий для моделирования астрофизических релятивистских течений газа с учетом магнитного поля. Отметим, что тематика проекта значительно выходит за область моделирования релятивистских течений и может быть расширена на другие задачи вычислительной астрофизики, где важно высокое пространственное разрешение. Таким образом, в результате выполнения проекта будет получена достаточно универсальная вычислительная технология для суперкомпьютерного моделирования релятивистских астрофизических объектов. В дальнейшем разработанный программный инструментарий позволит перейти к передовым цифровым производственным технологиям – проектированию и моделированию гидродинамических течений в различных областях знаний на современных архитектурах суперЭВМ. Результаты проекта позволят перейти к импортозамещению инициатив, подобных «ExaHyPE - An Exascale Hyperbolic PDE Engine».

Ожидаемые результаты
Главным научным результатом будут новые параллельные вычислительные методы высокого порядка точности для решения уравнений специальной релятивистской (магнитной) гидродинамики. Совокупность свойств и используемых подходов к конструированию вычислительных методов в рамках настоящего проекта сформулирована впервые в Мире. Высокая научная значимость результатов, полученных в ходе выполнения проекта, заключается в создании на основе разработанных методов программного инструментария с использованием проблемно-ориентированной модели вычислений на регулярных и адаптивных сетках для балансировки нагрузки. Главным практическим результатом будет новая универсальная вычислительная технология для суперкомпьютерного моделирования релятивистских астрофизических объектов, реализованная в виде программного инструментария для суперЭВМ, основанного на использовании стека технологий MPI / Coarray Fortran / OpenMP / POSIX Threads / AVX. Полученные результаты могут существенно повлиять на современную мировую науку в части разработки программных инструментариев петафлопсного и экзафлопсного уровня для моделирования релятивистских течений газа. Разрабатываемый в проекте программный инструментарий может быть расширен на моделирование других разномасштабных процессов, описываемых гиперболическими уравнениями, например, для задач добычи и переработки углеводородов, что создает предпосылки для создания на его основе новых цифровых технологий, отвечающих национальным интересам Российской Федерации.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2023 году
Краткая аннотация В рамках проекта в 2023 году была построена математическая модель эволюции и столкновения релятивистских струй и взаимодействия релятивистских струй с межзвездной средой. Модель основана на численном решении уравнений специальной релятивистской (магнитной) гидродинамики. Для разрешения модели построен оригинальный численный метод на основе комбинации метода Годунова и схемы Русанова с использованием кусочно-полиномиальной реконструкции физических переменных. На основе детальной верификации численной методики была введена регуляризация на основе численного решения дополнительных уравнений для релятивистской энтропии и для уравнения, описывающего эквивалентность энергии и массы. Такой подход позволил в два раза сократить нефизичное падение температуры в разреженной холодной нерелятивистской области, а также ускорить восстановление физических переменных из консервативных. При взаимодействии потоков газа на ультрарелятивистских скоростях схема Русанова вырождается в схему Лакса-Фридрихса для обеспечения робастности численной схемы. Вычислительная модель была реализована на адаптивных сетках, основанных на проблемно-ориентированной модели вычислений, и на регулярных сетках с использованием связки технологий OpenMP и Coarray Fortran. Вычислительные эксперименты показали, что использование адаптивных сеток на задачах эволюции и взаимодействии струй позволило в десять раз сократить вычислительные затраты при сохранении точности воспроизведения основных компонентов струи с использованием наиболее детальной сетки. На задаче о взаимодействии релятивистского ветра из активного ядра галактик с облаками с помощью вычислительных экспериментов был определен механизм образования плотного хвоста в зависимости от скорости набегающего потока, согласующегося с результатами наблюдений, полученных группой профессора Густаво Ромеро (Институт радиоастрономии, Ла-Плата, Аргентина). Экспериментально было показано, что оптимальным распределением вычислений является размещение одного образа Coarray Fortran на один процессор (сокет) и использование всех ядер процессора средствами OpenMP без задействования технологий типа Hyper Threading. Полная аннотация На первом году выполнения проекта была построена вычислительная модель эволюции и столкновения релятивистских джетов и их взаимодействия с межзвездной средой. В основе математической модели лежит система законов сохранения релятивистской массы, релятивистского импульса и релятивистской энергии. В случае магнитного поля в систему законов сохранения добавляются уравнения для вектора магнитного поля. В вычислительную модель введена процедура регуляризации с использованием дополнительных уравнений для релятивистской энтропии и для уравнения, описывающего эквивалентность массы и энергии. Такая регуляризация особенно важна при воспроизведении холодных разреженных нерелятивистских скоростей. Вычислительные эксперименты показали, что при таком способе регуляризации удается избежать появление нефизичных значений термодинамических параметров и ускорить на 25% процедуру восстановления физических переменных при разрешении нелинейных уравнений, связывающих физические и консервативные переменные. Для разрешения математической модели была разработана оригинальная конструкция численного метода на основе комбинации метода Годунова и схемы Русанова. Использование схемы Русанова связано с тем, что для крайних собственных значений матрицы Якоби при решении задачи Римана может быть получено аналитическое решение в том числе и при наличии магнитного поля. Для уменьшения диссипации численного решения на разрывах и увеличения порядка точности на гладких решениях была использована кусочно-параболическая и кусочно-кубическая реконструкция физических переменных. Вычислительные эксперименты показали, что построенная методика на основе схемы Русанова имеет такую же диссипацию на слабых ударных волнах, что и методы на основе схем Рое и семейства схема Хартена – Лакса – ван Леера (HLL). Детальная верификация показала, что схема Русанова требует расширения в виде вырождения крайних собственных чисел до скорости света при столкновении ультрарелятивистских волн. В результате схема Русанова вырождается в таких областях в схему Лакса – Фридрихса. Такая конструкция численной методики обладает робастностью, превосходящую схемы Рое и HLL. Верификация разработанной численной методики экспериментально доказала, что основное влияние на диссипацию ударной волны оказывает тип использованной кусочно-полиномиальной реконструкции, а не схема решения задачи Римана, а также что в конструированном авторском численном методе отсутствуют артефакты вдоль координатных линий, что имеет место в ряде методик (в том числе в достаточно распространенном методе HLLC). Исследование порядка точности оригинального метода на разрывных решениях подтвердило гипотезу С.К. Годунова [Годунов С.К., ЖВМиМФ, 2011] о недостижимости первого порядка точности на разрывах при использовании численного метода любого порядка точности. Разработанная вычислительная модель была реализована в виде параллельного кода на основе комбинации технологий параллельного программирования Coarray Fortran и OpenMP. Для эффективного использования многоядерных архитектур была разработана оригинальная методика оптимизации кода. Было экспериментально подтверждено, что разработанная программная реализация на основе Coarray Fortran имеет эффективность не хуже, чем у «наилучших» MPI-кодов. Использование связки технологий параллельного программирования показало, что оптимальным является загрузка одного процессора (сокета) одним образом Coarray Fortran программы и задействование всех ядер процессора потоками OpenMP. Было получено 30-кратное ускорение при использование каждой из технологий параллельного программирования при использовании 32 ядер процессора Intel Xeon 6248R кластера НКС-1П ССКЦ. При использовании 64 ядер была показана 94% эффективность в рамках одного узла НКС-1П. Вычислительные эксперименты показали, что использование технологии Hyper Threading не несет увеличения производительности кода. Также разработанная вычислительная модель была реализована с использованием технологии адаптивных сеток. В основе адаптивных сеток лежит концепция атомарного элемента в виде микросетки, размещаемой в кэше первого уровня, и трехуровневой индексации: индекс блока в корневой сетке – индекс микросетки в блоке – индекс ячейки в микросетки. Такая многоуровневая индексация динамического массива позволяет элементарно построить процедуру нахождения соседних микросеток. Разработанный численный метод был доработан для использования на адаптивных сетках, в том числе разработаны процедуры локального измельчения и укрупнения адаптивных сеток с использованием консервативных переменных. Вычислительные эксперименты показали, что при использовании адаптивных сеток при сохранении точности воспроизведения основных компонентов джета на подробной сетке вычисления на адаптивных сетках позволяет ускорить вычисления в десять раз. На задаче о взаимодействии релятивистского ветра из активного ядра галактик с облаками с помощью вычислительных экспериментов был определен механизм образования плотного хвоста в зависимости от скорости набегающего потока, согласующегося с результатами наблюдений, полученных группой профессора Густаво Ромеро.

 

Публикации

1. Kulikov I.M. Using Adaptive Mesh Renement Technique for Numerical Modeling of Relativistic Jets Lobachevskii Journal of Mathematics, - (год публикации - 2024)

2. Куликов И.М. Использование кусочно-параболической реконструкции физических переменных в схеме Русанова. I. Уравнения специальной релятивистской гидродинамики Сибирский журнал индустриальной математики, Т. 26, № 4 (год публикации - 2023) https://doi.org/10.33048/SIBJIM.2023.26.4

3. Куликов И.М., Караваев Д.А. Использование схемы Лакса-Фридрихса с малой диссипацией для моделирования релятивистских течений газа Сибирский журнал вычислительной математики, Т. 26, № 4. – С. 389-400 (год публикации - 2023) https://doi.org/10.15372/SJNM20230404