Аннотация результатов, полученных в 2021 году
Проект направлен на разработку новых математических методов и технологий моделирования сложных распределенных систем, таких как атмосфера, океан и организм человека. Задачи проекта делятся на биомеханические и геофизические. Ниже представлены результаты работы за 2021 год по обоим типам задач. Биомеханические задачи направлены на создание и исследование новых алгоритмов автоматической обработки медицинских изображений для персонализации геометрических моделей, новых методов регистрации изображений разной модальности, персонализации параметров и краевых условий биомеханических моделей, новых методов редукции существующих моделей для их использования в клинической практике. Целью является максимально возможная автоматизация процедуры построения персонализированных моделей и максимально возможная быстрота персонализированного расчета. Задача 1.1. Разработка неинвазивных методов диагностики ишемической болезни сердца (ИБС) Разработан и одобрен протокол клинического исследования, и проведён первый этап сбора данных перфузионной компьютерной томографии (ПКТ) и КТ-ангиографии. Разработан алгоритм для совместной регистрации изображений разной модальности (ПКТ и КТ-ангиографии). Предложен метод обработки ПКТ-данных пациентов для автоматизированной идентификации ишемических участков сердца, что позволило разработать редуцированную модель коронарного кровотока, учитывающую пространственное положение коронарных артерий относительно зон перфузии миокарда. Задача 1.2. Виртуальный персонализированный раскрой створок аортального клапана при его реконструкции из аутоперикарда Работы данного этапа проекта были направлены на построение персонализированных геометрических моделей корня аорты, построение математической модели для аортального клапана в диастолическом состоянии, разработку протокола проведения натурных экспериментов по неокуспидизации аортального клапана. В результате была исследована применимость метода автоматической сегментации корня аорты на основе КТ-изображений с контрастом с учетом кальциноза стенок аортального клапана. Предложен метод нахождения полосы отрицательной кривизны на внутренней поверхности корня аорты, в которой находятся точки комиссур нативного клапана. Реализована модель закрытия аортального клапана в рамках мембранного приближения для створок клапана, которая позволяет использовать произвольные определяющие соотношения для описания гиперупругого материала. Реализовано два геометрических подхода для моделирования контактов между отдельными телами. Реализован интерфейс для задания произвольных геометрических методов обработки контактов типа "вершина-треугольник". Предложена и реализована численная модель деформирования тонкостенной гиперупругой структуры с учетом её изгибной жесткости. Разработан протокол проведения натурных экспериментов на образце свиного аортального клапана для валидации результатов математической модели закрытия аортального клапана. Задача 1.3. Предсказательное моделирование одножелудочковой коррекции врожденных пороков сердца у детей (операция Фонтена) Разработана двухмасштабная 1D3D модель кровообращения Фонтена: область полного кавапульмонального соединения (ПКПС) считается трехмерной, большой круг кровообращения – одномерным. Предложен метод персонализации модели для конкретного пациента, в том числе метод усвоения 4D FLOW МРТ данных в краевых условиях (подходит как для двухмасштабной 1D3D, так и для редуцированной 1D модели). Разработан метод автоматизированной сегментации и построения расчетной сетки в 3D области ПКПС с помощью программного пакета SimVascular. Построенная модель кровообращения Фонтена, предложенные методы ее персонализации, в том числе усвоения результатов 4D FLOW МРТ исследования в краевых условиях, верифицированы на данных конкретного пациента. Задача 1.4. Персонализированные модели подсистем опорно-двигательного аппарата Проведен анализ имеющейся информации относительно анатомических и морфологических ориентиров для связок коленного сустава. Разработаны и апробированы на медицинских КТ-изображениях коленного сустава алгоритмы автоматического и полуавтоматического детектирования наиболее крупных связок коленного сустава. В рамках разработки математических технологий для геофизических приложений в настоящем проекте ставится задача создания новых блоков динамики ключевых компонентов Земной системы – океана, атмосферы, морского льда, атмосферной турбулентности. Исследования направлены на применение новых подходов к выбору численных алгоритмов и методов реализации этих алгоритмов, в том числе, на суперкомпьютерных вычислительных системах с гибридной архитектурой. Предполагается применение нового сочетания используемых численных методов, ориентированного на максимальную производительность в терминах количества моделируемых суток за час астрономического времени для диапазона от сотен до десятков тысяч процессорных ядер. Задача 2.1. Разработка негидростатической модели сжимаемой атмосферы для задач прогноза погоды и моделирования климата Разработан алгоритм численного решения уравнений гидродинамики (динамическое ядро) для негидростатической модели атмосферы на сетке кубическая сфера. Данная сетка получается путем центральной проекции равномерной сетки на гранях куба на вписанную сферу. Кубическая сфера имеет почти равномерное разрешение на поверхности и логически прямоугольную структуру. Трудности моделирования динамики атмосферы на такой сетке - отсутствие ортогональности, изломы линий сетки на ребрах куба. На сетке кубическая сфера были реализованы конечно-разностные аппроксимации высокого порядка точности для операторов градиента, дивергенции и других. Аппроксимации обладают численным аналогом свойства интегрирования по частям, что важно для устойчивости пространственной дискретизации. Новое динамическое ядро было испытано на стандартных численных экспериментах и показало точность, соответствующую современным зарубежным аналогам. Программный комплекс динамического ядра может эффективно использовать как минимум 4000 вычислительных ядер, существует потенциал для повышения параллельной эффективности. Реализован параллельный алгоритм генерации скоррелированных по пространству и времени полей на сфере. На основе генерируемых при помощи данного алгоритма случайных двумерных полей было реализовано возмущение правой части уравнения для вертикального компонента завихренности в глобальной модели атмосферы ПЛАВ. На основании анализа чувствительности модели к этому возмущению была определена оптимальная амплитуда возмущений, а также проведено сравнение разброса ансамбля и среднеквадратической ошибки среднего ансамблевого прогноза на разных уровнях для среднесрочных прогнозов с заблаговременностью до 10 суток. Возмущение тенденции (правой части уравнения) завихренности позволяет приблизить разброс к среднеквадратической ошибке среднего по ансамблю прогноза, что повышает качество прогностического ансамбля. Задача 2.2. Развитие вычислительных технологий для моделирования Мирового океана Разработана модель динамики Мирового океана в z системе координат. В модели используются сетки со смещенными в область суши полюсами, при этом сохраняется симметричность сетки относительно географического экватора. Для параметризации вертикального перемешивания в модели применяются перспективные замыкания, допускающие поддержание турбулентности при сильно устойчивой стратификации. Предложено вычислительно эффективное турбулентное замыкание первого порядка, аппроксимирующее стационарные решения двухпараметрических моделей. Программная реализация модели океана основана на гибридном MPI-OpenMP подходе, позволяет рассматривать задачи при высоком пространственном разрешении на современных параллельных вычислительных системах и задействовать в численных экспериментах несколько десятков тысяч вычислительных ядер центральных процессоров. Разработанная в проекте гибридная реализация MPI-OpenMP-CUDA двумерного переноса скаляров в криволинейной системе координат на сфере показывает возможность использования графических ускорителей для расчета переноса пассивных примесей в моделях общей циркуляции океана. Задача 2.3. Разработка эффективных вычислительных технологий для прогнозирования и диагноза состояния атмосферы в городской среде При помощи вихреразрешающей модели (LES) выполнены расчеты нейтрально- и устойчиво-стратифицированных турбулентных течений над поверхностями городского типа и переноса примеси этими течениями. Предложена и протестирована новая аппроксимация турбулентного масштаба длины для многослойных RANS-моделей городской среды. Эта аппроксимация построена из размерностных соображений по аналогии с методами теории подобия Монина-Обухова и существенно ограничивает функциональный вид искомого масштаба. Предложенная параметризация позволяет производить простую настройку моделей RANS, не теряя физически обоснованные асимптотики вблизи поверхности земли и вблизи верхней границы "городского слоя". Показано, что предлагаемая модель турбулентного масштаба на рассмотренных геометриях поверхности превосходит по качеству параметризации, построенные на основе обобщения геометрических параметров городской среды. Показано, что устойчивая стратификация вызывает более выраженное снижение эффективности теплообмена с поверхностью городского типа, чем это предсказывает теория подобия Монина-Обухова при неизменных свойствах поверхности. Формально этот эффект можно представить как значительное уменьшение термического параметра шероховатости. Выявленный эффект существенно влияет на турбулентную диффузию примесей внутри городской среды, а именно - будет приводить к существенному накоплению загрязняющих веществ у поверхности земли при устойчивой стратификации. Современные модели турбулентной диффузии учитывают этот эффект не полностью. Задача 2.4. Разработка модели динамики морского льда Для расчета динамики морского льда в области Северного Ледовитого океана, Берингова моря и Северной Атлантики был разработан алгоритм построения расчетной сетки и построена триангуляция Арктического региона со сгущением в области с потенциально высокой сплоченностью морского льда, в узких проливах и у берегов. Для удобного взаимодействия модели с внешними данными была разработана эффективная параллельная система считывания геоданных из NetCDF файла и интерполяции на модельную сетку. Разработано базовое динамическое ядро. Особенностью разработанной модели является возможность выбора различных схем переноса скаляров по времени, в том числе схем высокого порядка аппроксимации и схем с фильтром коррекции потоков, обеспечивающим положительность и глобальную консервативность решения. Для численного решения уравнения баланса импульса используется оригинальный оптимизированный mEVP-opt метод. Код динамического ядра написан на языке C++. Для параллелизации кода используется гибридный MPI-OpenMP подход, реализованный в рамках программного пакета INMOST. Тестовые расчеты продемонстрировали хорошую эффективность распараллеливания модели и масштабируемость до тысячи ядер. Информация о проекте в интернете: https://www.inm.ras.ru/research/biogeo/

Аннотация результатов, полученных в 2022 году
Задача 1.1. Разработка неинвазивных методов диагностики ишемической болезни сердца (ИБС) 1. Проводился сбор клинических данных и их статистическая обработка. 2. Разработан алгоритм совмещения геометрических моделей магистральных коронарных сосудов и тканей миокарда в основе которого лежит зональная декомпозиция поверхности миокарда на основе критерия близости точек к соответствующему концу терминальной артерии, питающей область. 3. Выполнялась апробация алгоритмов обработки ПКТ-данных пациентов для автоматизированной идентификации ишемических участков миокарда. 4. Разработаны методы усвоения данных ПКТ для краевых условий в терминальных артериях в модели кровотока. Эти методы позволяют повысить точность численного воспроизведения фракционного резерва кровотока в магистральных коронарных артериях. Задача 1.2. Виртуальный персонализированный раскрой створок аортального клапана при его реконструкции из аутоперикарда 1. Был разработан новый графический интерфейс для полуавтоматического проведения линии пришивания на основе опорных точек, задаваемых хирургом на поверхности корня аорта. По опорным точкам, используя алгоритм Катмулла-Рома, автоматически строится пространственная кривая, соединяющая все опорные точки. 2. Реализован геометрический алгоритм для моделирования контактного взаимодействия тонкостенных структур, который может быть использован для динамических и статических постановок задач нелинейной упругости. Алгоритм гарантирует отсутствие пересечений и самопересечений упругих тел, если они отсутствовали в начальной конфигурации. 3. Разработан и реализован метод виртуального анатомически корректного вшивания новых створок аортального клапана. 4. С помощью метода количественной компрессионной оптической эластографии с использованием калибровочных слоев были исследованы механические свойства нативного и обработанного перикарда человека. Было получено, что протокол подготовки образца перикарда (обработка глутеральдегидом и преднатяжение) существенно влияют на механические свойства обработанного образца. Задача 1.3. Предсказательное моделирование одножелудочковой коррекции врожденных пороков сердца у детей (операция Фонтена) 1. Разработан метод учета геометрии и близости бифуркаций сосудов для редуцированной модели кровотока. Была построена и обучена нейросеть, которая на основе давлений на границах бифуркации и ее геометрии определяет потоки крови на границах. 2. Предложенный на предыдущем этапе и реализованный средствами программного пакета ITK-Snap метод автоматизированной сегментации с выделением легочных артерий, полых вен и камер сердца был усовершенствован и апробирован на КТ данных четырех пациентов с пороками сердца. Метод показал свою эффективность. Построенные сегментации были сглажены, в полых венах, легочных артериях, кондуите и камерах сердца были построены расчетные неструктурированные тетраэдральные сетки. Задача 1.4. Персонализированные модели подсистем опорно-двигательного аппарата В ходе проведённых работ была разработана биомеханическая редуцированная модель коленного сустава, позволяющая исследовать разные аспекты движения надколенника: влияние на движение мягкотканных стабилизирующих структур, контактные силы на артикуляционных поверхностях пателлофеморального сустава, влияние индивидуальных анатомических особенностей на движение надколенника. Задача 2.1. Разработка негидростатической модели сжимаемой атмосферы для задач прогноза погоды и моделирования климата В негидростатическом динамическом ядре перспективной модели атмосферы внедрена криволинейная система координат, огибающая рельеф, что позволяет моделировать взаимодействие атмосферных течений с орографией. Реализованы схемы интегрирования по времени с неявностью по вертикали, позволившие увеличить шаг по времени до 50 раз по сравнению с использованием явных методов. Проведен ряд стандартных идеализированных численных экспериментов. Точность численных решений соответствует современным зарубежным аналогам. Программный комплекс динамического ядра масштабируется, как минимум, до 4000 вычислительных ядер. В глобальной атмосферной модели ПЛАВ реализована стохастическая параметризация обратного перераспределения кинетической энергии для учета неопределенности, возникающей из-за невозможности воспроизвести обратный каскад кинетической энергии из неразрешаемых сеткой масштабов, а также для компенсации потери кинетической энергии. При включении параметризации заметно повышается уровень кинетической энергии на масштабах от 400 до 2000 км, зависимость энергии от волнового числа на этих масштабах приближается к k^(-5/3) аналогично результатам, полученным в Европейском центре среднесрочных прогнозов погоды Задача 2.2. Развитие вычислительных технологий для моделирования Мирового океана Разработана гидростатическая модель динамики океана в z системе координат для выполнения расчетов на массивно-параллельных вычислительных системах, включающих графические процессоры. Программная реализация модели основана на использовании гибридного MPI-OpenMP-CUDA подхода. Показана возможность ускорения расчетов динамики океана и переноса трассеров по сравнению с выполнением вычислений на центральном процессоре. Реализована вертикальная координата z*, подключена библиотека термодинамики льда, в модель включен пакет физических параметризаций различной вычислительной сложности. Задача 2.3. Разработка эффективных вычислительных технологий для прогнозирования и диагноза состояния атмосферы в городской среде Выполнена серия численных экспериментов по вихреразрешающему моделированию турбулентности в идеализированной городской среде и пограничном слое атмосферы над городом. Расчеты проводились при различной стратификации и для различных конфигураций обтекаемых объектов. Разработаны и реализованы алгоритмы проведения численных экспериментов по воспроизведению статистически-стационарных стратифицированных течений с заданными заранее определяющими параметрами. Проведены расчеты переноса примесей в таких турбулентных течениях, в том числе при помощи блока расчета лагранжевых частиц, совмещенного с LES-моделью. Выявлены режимы устойчиво-стратифицированного городского пограничного слоя, в которых ограничивается теплообмен с поверхностью и происходит накопление примесей у поверхности земли. Результаты LES-моделирования использованы для разработки и тестирования упрощенных многослойных моделей RANS городского слоя и лагранжевых стохастических моделей переноса частиц в городской среде. Задача 2.4. Разработка модели динамики морского льда Начата разработка нового динамического блока конечно-элементного кода на треугольной сетке типа CD. Данная пространственная дискретизация обеспечивает ультраразрешение Линейных Кинематических Особенностей. Реализованы параллельные конечно-объемные схемы переноса скаляров типа MUST и MUSCL с монотонизатором. Разработан код библиотеки термодинамики морского льда и ледников со снегом на языке C++, который может быть подключен как внешний модуль к другим океаническим, ледовым и климатическим моделям. Проведена валидация на данных полевого эксперимента SHEBA, которая продемонстрировала хорошую согласованность предсказываемых и наблюдаемых временных рядов температуры и толщины морского льда. Проведено сравнение одномерных и нульмерных реализаций, которое продемонстрировало, что нульмерная термодинамическая модель с хорошей точностью предсказывает поверхностную температуру, однако дает большую ошибку в профиле температур и толщине льда, по сравнению с одномерным кодом. Сделан анализ предполагаемой схемы параметризации торошения и расчета прочности морского льда (аналогичной схемам моделей CICE и SI3), и сделана ее оптимизация с учетом распределения льда по градациям толщины в окраинных морях Северного Ледовитого океана. Результаты работы использованы при моделировании ледового покрова Белого моря.

Аннотация результатов, полученных в 2023 году
Задача 1.1. Разработка неинвазивных методов диагностики ишемической болезни сердца (ИБС) С помощью редуцированной модели кровотока, учитывающей данные перфузии миокарда, вычислены и проанализированы гемодинамические индексы (FFR,iFR,CFR). На 17 стенозах продемонстрирована высокая воспроизводимость, чувствительность и специфичность предложенной методики. По итогам анализа результатов предложен новый гемодинамический индекс «изолированный FFR», представляющий собой FFR в отсутствие других осложнений (стенозы, затруднённая перфузия). Данный индекс позволяет оценить истинную гемодинамическую значимость стеноза и принять решение о необходимости стентирования. Задача 1.2. Виртуальный персонализированный раскрой створок аортального клапана при его реконструкции из аутоперикарда Реализован ряд квазистатических решателей задач с тонкостенной структурой: метод инкрементального контактного потенциала и схемы типа предиктор-корректор с предикторами вида явной/полунеявной/неявной релаксации, прямой задачи равновесия. Расчет показателей замыкательной функции аортального клапана в численном эксперименте в рамках мембранного приближения удовлетворительно соотносится с измерениями в натурном эксперименте. Наиболее заметной является статистически значимая эквивалентность площади зон коаптации правой коронарной створки и некоронарной створки, а также суммы площадей зон коаптации. Проанализированы различные параметры замыкательной функции аортального клапана и предложены геометрические критерии оптимизации, основанные на оценке коаптационных характеристик в норме. Задача 1.3. Предсказательное моделирование одножелудочковой коррекции врожденных пороков сердца у детей (операция Фонтена) Разработана редуцированная модель кровотока для предсказательного моделирования операции Фонтена: движение крови в организме описывается 1D моделью, а в области полного кава-пульмонального соединения – физически информированной нейронной сетью. Предложенная модель может быть персонализирована на основе достоверных клинических данных, в частности, учитывать дооперационное расположение сосудов. Для поиска наилучшей геометрии соединения сосудов при операции Фонтена сформулирована задача оптимального управления, которую предлагается решать автоматизированным методом Adam на основе гидродинамических расчетов разработанной редуцированной моделью кровотока. Задача 1.4. Персонализированные модели подсистем опорно-двигательного аппарата Предложена и реализована при помощи открытой платформы для биомеханического моделирования OpenSim архитектура модели совместного функционирования плечевого и шейного отделов. Сделаны записи данных о движениях плеча и шеи, позволяющие провести масштабирование модели с учетом антропометрических особенностей испытуемого и реализовать воспроизведение этих движений в модели. Предложен алгоритм полуавтоматического выделения точек крепления связок и сухожилий плечевого сустава: установка точек креплений необходимых структур согласно автоматическому атласу; проведение масштабирования с учетом антропометрических данных конкретного пациента; автоматический пересчет положения точек крепления. В качестве инструмента для изучения антропометрии пациента предлагается использовать технологию захвата движения. Задача 2.1. Разработка негидростатической модели сжимаемой атмосферы для задач прогноза погоды и моделирования климата Реализовано семейство схем численного решения уравнений динамики негидростатической атмосферы на сетке кубическая сфера, которое включает (1) схему с неявной аппроксимацией по времени для слагаемых, описывающих гравитационные и звуковые волны, (2) полностью неявную полулагранжеву схему, а также (3) горизонтально-явную вертикально-неявную схему, разработанную в 2022 г.. Схемы тестировались на ряде стандартных тестовых задач для моделей атмосферы и показали близкие решения, соответствующие современному мировому уровню точности. При этом, схемы (1) и (2) были в 1,5-3 раза эффективнее, чем схема (3). Для решения больших разреженных систем линейных алгебраических уравнений, получающихся в результате неявной аппроксимации по времени в схемах (1) и (2), реализован эффективный и масштабируемый геометрический многосеточный алгоритм. На сетке с размерностью 6*1080*1080*30 геометрический многосеточный алгоритм масштабируется до, как минимум, 6912 ядер. В целях учета неопределенностей, возникающих при аппроксимации адвективных слагаемых уравнений, в глобальной модели атмосферы ПЛАВ был реализован метод стохастического возмущения полулагранжевых траекторий. Это привело к статистически значимому повышению разброса ансамблевого прогноза для заблаговременностей 10 суток для всех переменных во всех регионах. Таким образом, описание неопределенности прогноза было улучшено. Задача 2.2. Развитие вычислительных технологий для моделирования Мирового океана На основе гибридного MPI/OpenMP/CUDA подхода разработана модель Мирового океана для расчетов на современных массивно-параллельных вычислительных системах, в том числе включающих графические процессоры. Выполнение вычислений на графических ускорителях поддерживается в блоках гидростатической динамики океана, переноса примесей, термодинамики морского льда и в программной реализации физических параметризаций. Разработана негидростатическая версия модели динамики океана и проведена ее верификация в идеализированных постановках. Система совместного моделирования модели Земной системы ИВМ РАН была адаптирована для использования разрабатываемой моделью океана и применена для осуществления обменов информации между блоками модели, а так же для обменов информацией с блоком атмосферы модели Земной системы ИВМ РАН. Задача 2.3. Разработка эффективных вычислительных технологий для прогнозирования и диагноза состояния атмосферы в городской среде При помощи LES-модели с высоким пространственным разрешением была проведена серия расчетов турбулентных течений в городском слое при наличии растительности. Данные моделирования были проанализированы с точки зрения проверки и усовершенствования турбулентных замыканий для RANS-моделей турбулентности в городской среде. Предложен и протестирован новый подход к вычислению силы аэродинамического сопротивления городского слоя для многослойных моделей RANS. Гидродинамические блоки моделей RANS и лагранжевы стохастические модели переноса трассеров и тяжелых частиц в городской среде тестировались и уточнялись с применением данных вихреразрешающего моделирования. Улучшены и адаптированы для расчетов в реалистичной геометрии городского слоя программные реализации численных моделей RANS и стохастических моделей переноса частиц. Выполнена оптимизация программных кодов моделей для вычислений на суперкомпьютерах различной архитектуры, в том числе, с применением графических процессоров. Задача 2.4. Разработка модели динамики морского льда Разработанная библиотека локально-одномерной термодинамики морского льда со снегом подключена к динамическому блоку, а также к климатической модели ИВМ РАН, проведены тестовые расчеты шестидесятилетнего цикла климатического эксперимента CORE-II с предписанной атмосферой, которые показали устойчивую работу и заменяемость старой версии библиотеки. Проведено сравнение разработанной краткосрочной системы прогноза дрейфа льда в Арктическом бассейне с аналогичной европейской системой TOPAZ-4, которое показало высокую разрешающую способность для воспроизведения линейных кинематических особенностей. Реализовано новое динамическое ядро на треугольной сетке типа “CD”. В “A”-версию динамического ядра была добавлена адаптивная схема интегрирования по времени aEVP, показана ее эффективность по сравнению с mEVP подходом. Были предложены и реализованы новые граничные условия скольжения для полной системы уравнений динамики льда. Вычисления локально-одномерной термодинамики были оптимизированы для исполнения на графических процессорах.