Аннотация результатов, полученных в 2017 году
Работы настоящего проекта нацелены на решение одной из актуальнейших проблем современной океанологии – созданию Систем Непрерывного Анализа (контроля) и Прогноза состояния Океана (СНАПО) для контроля полей течений, температуры и солености морской воды, состояния ледовых полей в реальном масштабе времени. В течение отчетного года начаты работы по созданию трех модулей СНАПО: для всего Мирового океана (СНАПО-Мировой океан), Арктического (СНАПО-Арктика) и Азово – Черноморского (СНАПО-Азово – Черноморский бассейн) бассейнов. В течение первого года проекта выполнены работы по подготовке моделей и информационных массивов для отработки основных элементов создаваемой системы. В частности: Разработана архитектура параллельной СНАПО – Мировой океан и важнейших акваторий, которая представляет собой первый этап построения системы оперативного прогноза глобального океана. В ней используется совместная модель океана и морского льда для массивно-параллельных компьютеров, с помощью программного обеспечения, реализующего в полностью параллельном режиме межпроцессорные обмены, многоуровневую интерполяцию данных и асинхронную работу с файловой системой. Создана первая версия океанической компоненты совместной системы на основе разработанной в Институтах вычислительной математически и Институте океанологии модели циркуляции океана (ИВМИО). Разрешение по пространству составляет 0.25º в сферической части. На границе сферической и биполярной сеток шаг по долготе меняется непрерывно. Вертикальная дискретизация включает 49 горизонтов с шагом от 6 м в верхнем слое до 250 м в глубине. Данная система будет первой в России подобной разработкой. В настоящее время проводится отладка и верификация модели. Создана основа системы усвоения данных океанических наблюдений, состоящая из математической модели динамики океана ИВМИО, модели морского льда CICE5.1, вычислительной платформы CMF3.0 и работающего на ее базе программного сервиса усвоения данных наблюдений на основе метода ансамблевой оптимальной интерполяции. Модуль ассимиляции данных наблюдений в глобальной модели основан на методе ансамблевой оптимальной интерполяции (EnOI) и осуществляется с применением программного сервиса отечественной разработки (CMF3.0) – платформы для системы усвоения океанических данных. Модуль ассимиляции данных наблюдений имеет эффективную параллельную реализацию для компьютеров с распределенной памятью и практически не зависит от математической формулировки модели динамики океана. Система автоматической загрузки данных наблюдений и оперативного атмосферного прогноза расширена на Мировой Океан и может обеспечивать в данными, необходимыми для выполнения диагноза и прогноза состояния океана/моря, в режиме, близком к реальному времени все три СНАПО. Общий объем информации, закачиваемой для одного года модельного счета, составляет порядка 500 Гб. На основе реанализа ASR (The Arctic System Reanalysis) подготовлена база данных для атмосферного форсинга в Арктическом бассейне. Пространственное разрешение данных составляет 15х15 км, временной период - с 2000 по 2012 гг. Для параллельной версии модели INMOM, разработанной в ИВМ РАН (Institute of Numerical Mathematics Ocean Model), выбрана модельная сетка с разрешением ~4х4 км для всего Арктического бассейна, от 60° N. Для Арктического бассейна с пространственным разрешением 20 км реализована предварительная версия модели INMOM, с которой были проведены тестовые эксперименты. В качестве атмосферного воздействия использовалась хорошо апробированная база данных CORE. Разработана к-омега модель параметризации процессов вертикального турбулентного обмена. Она описывается с помощью двух дополнительных уравнений для кинетической энергии турбулентности (к) и частотной функции (омега). Разработан экономичный алгоритм решения к-омега модели, основанный на методе многокомпонентного расщепления. Подход успешно использован в тестовых расчетах модели INMOM для задач СНАПО-АРКТИКА. Результаты расчетов показали, что модель адекватно воспроизводит режимы циркуляции и вертикального турбулентного обмена теплом и солью в бассейне Северная Атлантика – Арктика. Проведены исследования в области развития алгоритмов вариационной ассимиляции данных наблюдений. Для решения задачи инициализации - ключевой задачи оперативной океанографии выделен вариационный подход. Основная идея метода состоит в минимизации функционала, описывающего отклонение модельного решения от данных наблюдений. Минимум функционала ищется на траекториях рассматриваемой модели - в подпространстве модельных решений. Оригинальность развиваемого в проекте подхода состоит в комбинации двух методов: многокомпонентного расщепления и сопряженных уравнений. Предварительные теоретические исследования и численные результаты показывают экономичность метода, его универсальность и достаточную точность. Исследована система оптимальности для анализа чувствительности оптимального решения к ошибкам данных наблюдений. Показано, что система оптимальности для ошибок сводится к уравнению для управления с гессианом минимизируемого функционала. Он связывает ошибки оптимального решения с ошибками входных данных. Значения норм операторов отклика в уравнении для ошибок могут определять критерий чувствительности решения к погрешности данных наблюдений. Создана тестовая версия системы непрерывного анализа и прогноза состояния океана (СНАПО) для Черного и Азовского моря. В основе СНАПО – ЧАМ используется региональная конфигурация международной численной модели циркуляции океана NEMO, адаптированная для исследуемых бассейнов. С использованием модели были проведены тестовые эксперименты, которые позволили улучшить способность модели воспроизводить особенности черноморской циркуляции, а также вертикальную структуру температры моря. Система позволяет воспроизводить поля скоростей течений, температуры, солености, а также уровня моря в бассейнах морей с разрешением порядка 4,6 км по пространству и дискретностью по времени сутки. Текущее состояние моря (так называемый диагноз) определяется на основе численного моделирования циркуляции и уточняется посредством процедуры усвоения спутниковых данных: температуры поверхности моря, измеряемых ИК-радиометрами и альтиметрических измерений уровня моря, полученных вдоль трека спутника. 20 - 25 ноября 2017 года на базе ФГБУН МГИ проведена школа молодых ученых и специалистов по оперативной океанологии. Прочитан курс лекций и проведены практические занятия для слушателей школы. Осуществлен заказ высокопроизводительного вычислительного кластера на платформе производителя «Sugon» c 24 вычислительными узлами (672 вычислительных ядра) с заявленной теоретической мощностью 22 Тфлопс с поставкой и наладкой до 20 декабря 2017г. В течение первого года реализации проекта активно осуществлялась деятельность по разъяснению широкой публике задач проекта.

Аннотация результатов, полученных в 2018 году
В 2018 году продолжилась работа в рамках проекта «Новые методы и суперкомпьютерные технологии анализа и прогноза Мирового океана и Арктического бассейна». Важным результатом этого этапа проекта явилась закупка высокопроизводительного вычислительного кластера собранного на основе технологии «блейд». В рамках определенного бюджета оптимальным оказалась платформа производителя «Sugon» c 24 вычислительными узлами (672 вычислительных ядра) с заявленной теоретической мощностью ≈ 20 Тфлопс. Прогонка тестов показала фактическую производительность около 17 Тфлопс. На основе выработанных рекомендаций по эксплуатации кластера на нем было установлено дополнительное программное обеспечение для компиляции вычислительных модельных комплексов. Наличие такого кластера позволит произвести имплементацию и запуск в оперативном режиме вихреразрешающих моделей состояния морской среды с требуемым пространственно-временным разрешением для всего Мирового океана, а также Азово-Черноморского бассейна и Арктического региона. В дальнейшем будет осуществляться ассимиляция доступных наблюдений с помощью того или иного метода ассимиляции. Параллельно с отладкой кластера проводилась работа по развитию моделей циркуляции и модулей ассимиляции наблюдений. В предыдущем году были настроены и протестированы с грубым пространственным разрешением модели циркуляции вод Мирового океана (ИВМИО), Арктического бассейна (ИВММО) и Азово – Черноморского бассейна (NEMO). Новый программный комплекс разработан для возможности интеграции модели ИВМИО в систему в этом году. Разделенное глобальное адресное пространство значительно упрощает реализацию всех низкоуровневых межпроцессорных обменов. Проведены тесты эффективности параллельного масштабирования Компактной Платформы Моделирования (CMF 2.0) на 4-х современных суперкомпьютерных архитектурах. Они показали практически линейное масштабирование всех обменивающих систем и процедуры интерполяции. Удовлетворительные результаты могут быть получены уже на 20-30 вычислительных ядрах для каплера на сетках высокого разрешения (1/10 градуса). Тесты ввода/вывода показали возможность схемы асинхронного ввода/вывода каплера для управления большими объемами данных. Как предполагалось, CMF версия 3.0 имеет более низкую производительность, но по-прежнему сохраняет линейную зависимость масштабирования и приемлемое время (2 – 3 с на модельный день на 20 – 50 ядрах каплера) при моделировании с высоким разрешением. Скорость вывода данных CMF 3.0 в два раза ниже чем для CMF 2.0, но тем не менее достаточно высокая для экспериментов с высоким разрешением из-за перекрытия между расчетами и записью в файловую систему. В рамках архитектуры CMF 3.0 возможна более эффективная реализация технологий вложенных сеток и ассимиляции данных. CMF является оригинальной разработкой для моделей МО ИВМИО, и включает модель циркуляции, модель льда, усвоение данных на основе ансамблевого фильтра Калмана, который сопряжен с потоками данных для граничных условий и наблюдений, и превратился в гибкий и расширяемый инструмент, обеспечивающий средствами для выполнения громоздких вычислений на региональных и глобальных масштабах в режиме standalone или каплинга, для задач прогноза. Тестирование многоэлементной схемы усвоения данных было выполнено для акватории Северной Атлантики от 33 ° ю.ш., до 67 ° с.ш. Четыре основных численных эксперимента были выполнены с реальным атмосферным воздействием, соответствующем периоду 01.05.2008 по 10.06.2008 (40 дней). А01 контрольный эксперимент (без усвоения данных); A02 – усвоение только наблюдений с буев ARGO (профили T и S) методом ансамблевого фильтра Калмана, А03 – усвоение аномалий уровня моря (AVISO) методом ансамблевого фильтра Калмана; A04 – усвоение отмеченных данных совместно с использование взаимноковариационных матриц. Во всех экспериментах модельное решение сравнивается с наблюдениями. Первые эксперименты с многоэлементным усвоением данных выполнены с использованием схемы ансамблевой оптимальной интерполяции и оригинальной вычислительной платформы, которая позволила реализовать процедуру ансамблевого фильтра Калмана на суперкомпьютере совместно с моделью с высоким пространственным разрешением. Показано, что многоэлементное усвоение спутниковой альтимерии, температуры и солености с использованием взаимных ковариационных функций значительно уменьшает ошибки результирующих полей. Многомерная ассимиляция дает результат лучший по сравнению с независимой ассимиляцией каждого из типов данных. Близкая к эксплуатационной версия модели INMOM для Арктического бассейна была построена в двухполюсной системе координат - они располагались в точках 60° в.д. и 120° з.д. географического экватора. Модельный экватор проходит вдоль меридиана 30° з.д., а Северный географический полюс имеет координаты 0° в.д., 0° с.ш. Шаги новой сетки по горизонтальным переменным равны 1/30° (~ 2 мили, или 3.7 км). По глубине задается 25 сигма-слоев со сгущением у поверхности. При подготовке маски расчетной области и топографии дна использовался инструментарий GMT (Generic Mapping Tools). Для задания начальных и граничных условий и использовались данные WOA2013 (World Ocean Atlas, 2013). На поверхности океана использовалось граничное условие Дирихле для температуры и солености, ветровое воздействие задавалось по данным OMIP с дискретностью 1 месяц по времени и разрешением по пространству ~1.125°. Начальные поля отклонения уровня океана и горизонтальные скорости течений заданы равными нулю. INMOM Арктического бассейна развернута на кластере МГИ РАН, где произведено ее нагрузочное тестирование и дана оценка ее масштабируемости и скорости выполнения расчетов. Разрешение модели по пространству равно 1/30°, что соответствует 2 милям, или ~ 3.7 км. Сетка по горизонтали - 2220x1680 точек, по глубине задается 25 сигма-слоев. INMOM реализована в параллельном варианте с использованием декомпозиции области в горизонтальной плоскости с использованием технологий MPI и OpenMP. Было проведено тестирование производительности, масштабируемости и эффективности распараллеливания модели ИВМ РАН Арктического бассейна. Сетевая архитектура на кластере МГИ РАН реализована с использованием ИБ Mellanox MSX6025F-1SFS. Компиляция исполняемых файлов, а также файлов сторонних библиотек выполнялась для кластера МГИ с использованием Intel Fortran Compiler XE 16.0 и Intel MPI Library 5.1.3. Запуск задач осуществляется с использованием системы очередей torque. Результаты тестирования показывают, при задействовании в расчетах не одного вычислительного узла, а двух и более, модель показывает довольно хорошую масштабируемость, которая несколько отличается от линейной. Так, например, при использовании 12 вычислительных узлов, скорость расчетов увеличивается в 8.9 раза. Среднеквадратичное отклонение скорости расчета показывает, что пропускная способность сети кластера МГИ РАН, реализованная с использованием ИБ Mellanox MSX6025F-1SFS, скорость чтения граничных и исходных данных, а также записи выходных результатов не создают узких мест и слабо влияют на скорость расчета модели циркуляции ИВМ РАН, реализованной для Арктического бассейна. Низкие значения среднеквадратичного отклонения говорят об устойчивости скорости расчета при одновременном использовании ресурсов вычислительного кластера несколькими научными группами. Незначительное уменьшение скорости расчета при использовании большего количества ресурсов говорит о том, что решение задачи прогноза гидротермодинамических характеристик Арктического бассейна с использованием модели циркуляции ИВМ РАН и задействование всех ресурсов кластера МГИ РАН позволит существенно ускорить расчеты и оперативно представлять результаты потенциальным потребителям. Задачу определения начального состояния океана для дальнейшего прогноза состояния Арктического бассейна планируется решать с помощью метода инициализации Идея метода инициализации состоит в минимизации некоторого функционала, связанного с данными наблюдений, на траекториях (решениях) рассматриваемой модели. Функционал выражает отклонение модельного решения от данных наблюдений, и задача формулируется как задача оптимального управления. С помощью метода усвоения данных наблюдений во многих случаях удается существенно уменьшить значение функционала, оставаясь на решении системы уравнений динамики океана. Алгоритм решения задачи инициализации сформулирован как итерационный процесс, каждая итерация которого состоит в следующей последовательности шагов: (а) в решении прямой задачи, вычислении значения функционала наблюдений и вычислении отклонения модельного решения от данных наблюдений (источники в сопряженной задаче); (б) в решении в обратном времени сопряженной задачи и вычислении градиента функционала; (в) в расчете поправки начального условия в соответствии с вычисленным градиентом функционала. Этот подход составляет суть разработанного алгоритма ассимиляции для арктической версии модели INMOM. Прогностическая версия модели NEMO подготовлена для подключения к ней блока ассимиляции наблюдений. Процедура анализа разрабатываемой системы в настоящий момент базируется на усвоении спутниковых данных об уровне моря и температуре его поверхности. Предложенный ранее подход ассимиляции в слое постоянного пикноклина синтетических массивов температуры и солености, полученных на основе немногочисленных измерений буев-профилемеров и спутниковой альтиметрии, был реализован для текущей конфигурации системы анализа и прогноза. Проведены тестовые запуски системы диагноза и прогноза на основе модели NEMO. Система автоматизирует процедуру запуска численных экспериментов, а также некоторые этапы подготовки данных наблюдений, используемых при усвоении, и граничных условий. Диагноз и прогноз выполнялся на основе усвоения данных спутниковой температуры поверхности моря (ТПМ) и уровня моря. Принципиальная схема работы системы прогнозов с использованием кластера включает управляющий терминал, который осуществляет задачу постановки заданий в систему управления очередей, подготовку полей атмосферного воздействия и наблюдений на основе подготовленной ранее базы данных, а также мониторинг состояния выполняемых задач. Выполнение этапов осуществляет управляющий терминал, имеющий доступ к вычислительному кластеру по сети SSH. Терминал формирует набор данных необходимых для конкретного цикла (предварительно осуществляя необходимую обработку) и отправляет его по протоколу SSH на кластер, формируя также управляющий на стороне кластера скрипт для запуска численного эксперимента и ставит его в планировщик системы управления заданиями. Далее, находясь в режиме ожидания, система проверяет наличие задания в очереди и, если оно выполнено, запускает скрипт сборки результатов (также формируется системой), полученных с разных вычислительных ядер, в единый файл и забирает результаты по сетке. Возможно подключение дополнительных модулей расчета различных диагностических величин, разработанных специально для анализа результатов моделирования моделью NEMO. Отметим, что расчет одного цикла анализа/прогноза для данной конфигурации по оценкам составит менее 1 часа реального времени. В процессе реализации проекта в 2018 году были также выполнены исследования циркуляции океана и Черного моря, по развитию методов оперативной океанографии ассимиляции наблюдений в моделях морской динамики, по оценке качества систем оперативных прогнозов, проведено моделирование ряда процессов в морской среде. Результаты исследований опубликованы в 17 статьях, цитируемых в базах Web of Science и Scopus, причем три из них в журналах, относящихся к первому квартилю. Пять статей и тезисов докладов опубликованы в журналах, цитируемых только в базе РИНЦ.

Аннотация результатов, полученных в 2019 году
В 2019 году продолжилась работа в рамках проекта «Новые методы и суперкомпьютерные технологии анализа и прогноза Мирового океана и Арктического бассейна». Основной задачей работ по проекту в этом году было создание прототипа эксплуатационной версии системы непрерывного анализа и прогноза полей океана (СНАПО). Для удобства отработки отдельных блоков системы и ее компоновки, для сокращения времени на тестирование в Мировом океане и Азово-черноморском районе использованы модели относительно невысокого разрешения. В Арктическом бассейне при отработке блоков системы использовалась модель в окончательном виде. Таким образом, основу прототипа эксплуатационной версии СНАПО составляют модели: Мирового океана ИВМИО- 0,25 с разрешением 0,25°, INMOM для Арктического бассейна с разрешением 3,7 км и NEMO Азово – Черноморского бассейна с разрешением 4,7 км. Параллельно проводилось тестирование моделей с разрешением 0,1 градуса в Мировом океана и около 1,2 км в Азово-черноморском бассейне для последующей их имплементации в действующий макет системы. Основу функционирования СНАПО составляют: рабочая станция, на которой осуществляется сбор и подготовка необходимой для функционирования СНАПО информации; высокопроизводительный вычислительный кластер собранный на основе технологии «блейд» производитем «Sugon» c 24 вычислительными узлами (672 вычислительных ядра) и с производительностью около 17 Тфлопс; два сервера, подготовленных для отображения продуктов СНАПО. Архитектура СНАПО разработана с учетом специфики решаемых задач и опыта, полученного в ходе выполнения международных проектов Седьмой Рамочной программы Европейской Комиссии MyOcean и MyOcean2. Система состоит из двух модулей: модуля выполнения морских прогнозов и валидации их результатов и модуля отображения и передачи результатов прогноза потребителям. В состав первого модуля входят подсистема ввода и подготовки входных данных, необходимых для выполнения морских прогнозов, модели циркуляции Мирового океана, Арктики и Азово-Черноморского региона, функционирующие на расчетном кластере, и подсистема валидации результатов расчетов. Все входные данные и результаты прогнозов, циркулирующие в пределах модуля, хранятся на файл-сервере. Модуль архивирования, отображения и передачи данных потребителям, предназначен для автоматизации процессов архивирования и передачи продуктов диагноза и прогноза потребителям. Выполнение этих операций осуществляется с помощью подсистемы выхода. Задачами подсистемы выхода являются преобразование форматов выходных данных, содержащих результаты расчетов, синхронизация процессов выгрузки и обновления данных. Для обеспечения этих функций в составе модуля используются THREDDS (Thematic Realtime Environmental Distributed Data Services) и FTP-серверы. На THREDDS сервер выгружаются результаты работы всех вышеописанных моделей. Доступ к данным организован через OPENDAP, WMS, NetcdfSubset интерфейсы THREDDS сервера и FTP-сервер. Визуализация результатов работы системы выполняется через интерактивный интерфейс Godiva2, который является стандартным компонентом THREDDS-сервера. Он позволяет получить значение прогнозируемого параметра в любой точке акватории, визуализировать горизонтальные и вертикальные сечения, создавать анимации в заданных временных интервалах, строить временные ряды и вертикальные профили. В настоящее время осуществлена тестовая настройка THREDDS-сервера для динамического отображения результатов расчетов по моделям СНАПО. Сервер доступен в сети интернет по ссылке – http://mis.bsmfc.net:8080/thredds/catalog.html. Для оценки точности прогноза подготовлен блок валидации расчетов. Он функционирует в двух режимах – оперативном и исследовательском. Оперативный режим предусматривает рутинную, ежедневную валидацию относительно небольшого набора параметров состояния морской среды. Исследовательский режим предусматривает более широкий набор валидируемых параметров, но будет выполняться эпизодически. В составе блока валидации действуют три подсистемы: валидации результатов анализа и прогноза состояния Мирового океана, Арктического бассейна, Черного и Азовского морей. В окончательном варианте блока валидации результатов расчетов будут оцениваться следующие параметры: температура поверхности океанов и морей, уровень океанов и морей, профили температуры и солености морской воды, скорости течений. В бассейнах Арктики и Антарктики, кроме параметров, перечисленных выше – сплоченность и температура поверхности льда. Перечисленные выше параметры будут взяты с сайта Европейской службы морских прогнозов Copernicus, а также из банков данных наблюдений в Черном море ФИЦ МГИ РАН и ИО РАН. Блок оперативной валидации в дальнейшем будет функционировать в автоматизированном режиме, обеспечивающем выполнение работ с минимальным участием человека- оператора и других специалистов. Исследовательская валидация будет выполняться в интерактивном режиме с привлечением специалистов океанологического профиля. Системой валидации также будет обеспечиваться систематическое отображение получаемых результатов на http-сайте СНАПО Отработка отдельных блоков СНАПО и ее компоновка в течение года производилась поэтапно. На первом этапе была решена проблема создания блока оперативной подготовки атмосферного форсинга. С этой целью разработан интерфейс подготовки атмосферного форсинга, получаемого с сервера NOAA - NOMADS-GFS (США). Разработанный интерфейс обеспечивает прием и подготовку данных в квазиоперативном, т.е. частично автоматизированном режиме по 16 параметрам состояния атмосферы, необходимом для выполнения прогнозов в Мировом океане Арктике, Черном и Азовском морях. Пространственное разрешение атмосферного форсинга - 13 км, временное разрешение – 3 часа, максимальный срок прогноза – 10 суток. В состав программного обеспечения интерфейса входят модули (скрипты) автоматизированной закачки данных с сервера NOMADS-GFS и скрипты, предназначенные для распаковки и преобразования форматов записи данных к форматам, используемым в моделях СНАПО. Для подключения моделей Мирового океана, Арктического и Азово- Черноморского бассейнов к СНАПО отработаны и поставлены в квазиоперативный режим системы автоматической подкачки и препроцессинга данных оперативного атмосферного форсинга GFS, автоматического запуска модели для ежедневного прогноза, постпроцессинга и архивирования результатов расчёта с отображением на регулярной географической сетке. Для отладки работы моделей Мирового океана, Арктического и Азово- Черноморского бассейнов в квазиоперативном режиме в СНАПО были инкорпорированы их прогностические версии. Тестовые запуски на кластере МГИ прогностических моделей без ассимиляции данных проводились на 10 суток, чтобы оценить надежность их функционирования в автономном квазиоперативном режиме. С целью подключения к системе модуля ассимиляции, доработана автоматическая система закачки данных дистанционных измерений температуры, топографии морской поверхности и сплоченности морского льда с сайта Европейской системы центров морских прогнозов Copernicus, а также контактных измерений профилей температуры и солености морской воды буями-профилемерами ARGO с сервера IFREMER. Программное обеспечение функционирует на основе скриптов закачки данных Copernicus и собственной инструментальной среды разработки автоматизированных мониторинговых систем ФГБУН ФИЦ МГИ – CalcMan. В этой среде с помощью языка статистических вычислений R разработаны скрипты для преобразования форматов записи ассимилируемых данных к форматам, используемым в моделях СНАПО. Все три модели, входящие в СНАПО, были адаптированы для проведения оперативных расчетов, которые включают в себя период диагноза, предшествующий прогнозу, а также непосредственно сам прогноз. Каждый цикл диагноза - прогноза состоял из десяти суток. Первые четверо суток проводился диагноз с ассимиляцией поступивших в квазиоперативном режиме данных наблюдений, затем делался прогноз на 6 суток. По каждой из моделей на прототипе эксплуатационной версии СНАПО были выполнены несколько последовательных циклов диагноза – прогноза с ассимиляцией доступной информации. Некоторые примеры работы системы представлены в сети интернет по ссылке – http://mis.bsmfc.net:8080/thredds/catalog.html. В рамках работ по проекту в 2019 году проведена предварительная валидация результатов работы системы СНАПО. На этой основе: в модели циркуляции Мирового океана проведена настройка схем параметризации вихревого турбулентного перемешивания Гента-МакВильямса и изопикнической диффузии; для модели Арктического бассейна получены количественные оценки улучшения точности прогнозов при ассимиляции наблюдений сплоченности льда и намечены пути дальнейшего совершенствования процедур ассимиляции, что позволит улучшить достоверность прогноза характеристик ледовых полей; выполнен анализ точности восстановления термохалинных характеристик Черного моря, необходимый для дальнейшего тюнинга модели. Кроме того, оценена эффективность работы СНАПО и показана возможность осуществления диагноза – прогноза в заявленных при подготовке проекта временных рамках при доработке отдельных элементов базовых моделей. Таким образом, в результате выполнения работ по проекту в 2019 году создан прототип эксплуатационной версии СНАПО, являющейся основой макета системы, оперативная эксплуатация которого начнется в следующем 2020 году. В 2019 году были также продолжены исследования изменчивости морских процессов разного масштаба на основе данных численного моделирования. В частности, - с использованием алгоритма ассимиляции EnOI предложен подход, позволяющий оптимизировать сеть наблюдений при заданной точности прогноза. - с помощью численных экспериментов подтверждены теоретические выводы об эффективности вариационного (4DVAR) алгоритма оценки чувствительности функционалов оптимальных решений к погрешностям данных наблюдений для определения подобластей, в которых оптимальные решения наиболее чувствительны к ошибкам наблюдений. Именно эти подобласти морей и океанов следует освещать данными наблюдений в первую очередь. - на основе анализа численных экспериментов c моделью Северной Атлантики и Северного Ледовитого океана описаны циркуляционные структуры, характеризующие изменчивость динамики деятельного слоя океана в районах Гренландского и Норвежского морей, в Субполярном круговороте вод Северной Атлантики. - в численных расчетах показано, что прохождение полярного циклона в центральной и восточной частях Баренцева моря приводит к повышению температуры поверхности Баренцева моря более чем на 1°С. - на основе реанализа показано, что основной поток биогенов и фитопланктона с северо – западного шельфа Черного моря осуществляется через сечение, проходящее вдоль изобаты 200 м и зональный разрез возле мыса Калиакра, причем наибольшие значения потоков наблюдаются в зимнее время, когда концентрация биогенов и фитопланктона в верхнем слое моря максимальны. - на основе анализа размерностей и численных экспериментов установлена степенная зависимость потоков плавучести через слой пикноклина от перепада плотности на поверхности и в глубине бассейна с показателем близким к 4/3. Из найденной зависимости следует, что характерное время изменения вертикальной ячейки циркуляции, а, следовательно, и вертикальной стратификации морского бассейна определяется инерцией его основной толщи вод , что объясняет медленное изменение меридионального переноса тепла даже при значительной вариации условий глубокой конвекции в полярных широтах. - предложен алгоритм восстановления трехмерных полей температуры и солености морской воды в глубоководной области Черного моря по данным альтиметрических наблюдений, причем для восстановления температуры морской воды в приповерхностном слое моря 0–40 м используются спутниковые наблюдения температуры поверхности моря. - показано, что области с повышенной изменчивостью глубин верхнего квазиоднородного слоя локализуются в районах вблизи берега между Синопом и Трабзоном, между Анапой и Туапсе, между Судаком и Евпаторией. - численное моделирование циркуляции Черного моря с высоким пространственным разрешением выявило формирование в прибосфорском районе внутритермоклинных линз с горизонтальными размерами приблизительно 8 – 10 км. Центр ядра линз залегает на глубинах 60 – 75 м. Вертикальный размер таких структур составляет около 50 м. - показано, что точность прогнозирования температуры поверхности моря в центре прогнозов МГИ лучше, чем в службе Copernicus: среднеквадратичное отклонение в среднем меньше на 15%. В период с 29 сентября по 5 октября 2019 года в ФГБУН ФИЦ «Морской гидрофизический институт РАН» (г. Севастополь) в соответствии с планом работ по проекту была проведена Международная школа молодых ученых и специалистов по оперативной океанологии «Оперативные модели и методы ассимиляции данных для систем непрерывного анализа и прогноза состояния Мирового океана». Лекции и семинары проводили ведущие ученые-океанологи из России, Германии, Франции, Великобритании, Израиля и Кипра. Теоретическая часть включала лекции, посвященные численным моделям циркуляции океана и методам ассимиляции данных наблюдений. На практических занятиях слушатели получили опыт работы с моделями. Все работы и исследования, запланированные на 2019 год, выполнены в полном объеме.

Аннотация результатов, полученных в 2020 году
В отчетном 2020 году работы по проекту были направлены на дальнейшее усовершенствование созданной на предыдущих этапах состоящей из трех подсистем Системы Непрерывного Анализа (контроля) и Прогноза состояния Океана (СНАПО). С этой целью в течение первой половины года осуществлялась подготовка к опытной эксплуатации моделей с ассимиляцией наблюдений. СНАПО Мировой океан 0,25 и СНАПО Мировой океан 0,1. Прошли предэксплуатационную калибровку и тюнинг обе версии модели общей циркуляции Мирового океана ИВМИО: вихредопускающая с разрешением 0,25º и вихреразрешающая с шагом сетки 0,1º. Используемая в моделях горизонтальная система координат южнее 60° с.ш. совпадает с географической, а в оставшейся части земного шара представляет собой конформно преобразованную полусферу с полюсами на указанной параллели в России и Канаде. Обе версии модели имеют два типа модулей расчета характеристик ледяных полей, один из которых основан на модели морского льда CICE5.1. В обеих моделях включен модуль ассимиляции данных наблюдений (спутниковые альтиметрический уровень и сплоченности морского льда, а также профили температуры и солености морской воды с буев-профилемеров ARGO), использующий на методе ансамблевой оптимальной интерполяции EnOI. СНАПО Арктика. Региональная σ-модель Арктического бассейна, включающая в себя Северный Ледовитый океан (СЛО) со своими морями, Берингово море и переходную область между СЛО и Атлантикой подготовлена на основе модели INMOM. Область интегрирования была выбрана в трансформированной сферической системе координат, полюсы которой расположены на 60°в.д. и 120°з.д. географического экватора. Это сделано для устранения проблем устойчивости, связанных со сгущением меридианов у Северного полюса при использовании обычной географической системы координат. Кроме того, при таком походе на рассматриваемой акватории обеспечивается квазиравномерное разрешение. В эксплуатационной версии модель имеет разрешение 3,7 км. Она включает несколько типов параметризаций вертикального турбулентного обмена: параметризации Меллора-Ямады, Пакановского-Филандера, Монина-Обухова, а также параметризацию турбулентного обмена на основе замыкания k-ω. Для расчета характеристик морского льда используется встроенная в INMOM модель динамики-термодинамики морского льда, а также модель CICE6.1 в качестве внешнего модуля. На жидкой границе региональная σ-модель Арктического бассейна использует данные из глобальной модели. К модели подключен ряд ассимиляционных алгоритмов: оптимальная интерполяция, процедура вариационной ассимиляции данных измерений профилей температуры и солености, вариационный алгоритм ассимиляции характеристик, описывающих сплочённость и массу морского льда в рамках 4D VAR технологии, а также процедура последовательной ассимиляции границ ледяного покрова. Данная модель также прошла предэксплуатационную калибровку и тюнинг. СНАПО Азово – Черноморский бассейн. На основе модели NEMO реализованы эксплуатационные региональные конфигурации для выполнения расчетов гидрофизических полей в бассейнах Черного, Азовского и Мраморного моря с разрешением 4,6 км и 1,6 км. Для параметризации турбулентного перемешивания в моделях используется k-ε замыкание. Реализована тестовая версия конфигурации с каплингом с моделью льда LIM3, позволяющий рассчитывать ледовые поля в бассейне Азовского моря. Протестирован алгоритм учета в модели проливов и показано адекватное воспроизведение изменчивости водообмена Черного моря с Азовским и Мраморным. При подготовке конфигурации модели с разрешением 1,6 км регион выполнения расчетов расширен в сторону Эгейского моря для возможности использования результатов СНАПО Мировой Океан в качестве граничных условий на открытой границе. Усвоение спутниковой температуры поверхности моря (ТПМ) выполняется посредством коррекции потока тепла из атмосферы. Ассимиляция спутниковой альтиметрии выполняется на основе процедуры оптимальной интерполяции с учетом пространственных, а также временных корреляций. Кроме того, адаптирован набор инструментов вариационного усвоения данных наблюдений DIVA, который дает возможность учета влияния адвекции и орографии береговой черты. Показана адекватность воспроизведения стратификации, крупномасштабной циркуляции и синоптической изменчивости Черного моря. Проведена автоматизация работы многокомпонентной системы диагноза и прогноза, в которую входят СНАПО Мировой океан, СНАПО Арктика и СНАПО Азово-Черноморский бассейн. Основными блоками (подсистемами) многокомпонентной системы являются подсистема автоматизированной подготовки входных данных, подсистема диагноза и прогноза, подсистема отображения результатов диагноза и прогноза на THREDDS сервере. Для автоматизации процедур подготовки входных данных используется программное обеспечение, разработанное с помощью среды и языка статистических вычислений – R и пакета управления работой мониторинговых систем CalcMan. R-скрипты предназначены для закачки данных с серверов метеорологических и океанографических систем NOMADS (NOAA США) и Copernicus (Европейский Союз), распаковки и преобразования единиц измерений и форматов записи данных к используемым в моделях СНАПО. Запуск и работа R-скриптов выполняется под управлением скриптов CalcMan, с помощью которых выполняется подготовка необходимых начальных данных о текущем цикле диагноза и прогноза всех трех СНАПО, очистка рабочих директорий подсистемы от результатов подготовки данных предыдущего цикла, запись входных данных необходимых для выполнения текущего цикла диагноза и прогноза всех трех СНАПО в оперативный архив. Автоматизация процессов диагноза и прогноза реализована посредством иерархических систем управляющих скриптов реализованных на языке управления заданиями bash Linux, входящих в каждую СНАПО. Они обеспечивают автоматический ввод подготовленных входных данных, выполнение диагностических и прогностических расчетов и копирование результатов расчетов в подсистему отображения данных диагноза и прогноза состояния морской среды. Работа подсистемы отображения и распространения результатов расчетов всех СНАПО реализована на основе THREDDS-сервера. Его адрес в сети Интернет – http://mis.bsmfc.net:8080/thredds/wo-forecast-phys-inmio.html?dataset=dataset-wo-forecast-phys. Для доступа к данным используются OPENDAP-, WMS- и NetcdfSubset-интерфейсы. Визуализация результатов он-лайн может быть выполнена через интерфейс Godiva2, который является стандартным компонентом THREDDS-сервера. Он позволяет получать значение прогнозируемого параметра в любой точке акватории, визуализировать горизонтальные и вертикальные сечения, создавать анимационные картинки в заданных временных интервалах, строить временные ряды и вертикальные профили. Начиная с мая 2020 г проводилась опытная эксплуатация СНАПО в оперативном режиме. Продуктами СНАПО являются ежедневный диагноз и прогноз полей температуры, солености, скоростей течений, уровня морской поверхности и сплоченности морского льда в период от 96 часов до текущей даты и 120 часов после. Закачка и подготовка данных атмосферного форсинга стартуют ежедневно в 08:30 по московскому времени, что обусловлено наличием данных текущего прогноза на сервере NOMADS. По завершении подготовки данных, в период между 10:30 - 11:00 московского времени, они записываются в оперативный архив. В случае задержки данных атмосферного форсинга, дальнейшие процедуры подготовки информации задерживаются до момента окончания закачки данных атмосферного форсинга. Запуск моделей диагноза и прогноза состояния Мирового океана и Арктического бассейна выполняется на кластере под управлением диспетчера cron, который ежедневно в 11:00 и 11:25 московского времени осуществляет старт скриптов верхнего уровня управления, реализующих дальнейшие этапы управления процессами проведения расчетов для Арктического бассейна и Мирового океана. СНАПО Мировой Океан стартует в 11-00 МСК и проверяет, а в случае задержки – ждет файл-флаг, сигнализирующий о наличии данных атмосферного форсинга. Далее идут процедуры препроцессинга данных для ассимиляции и старт модели Мирового океана. По окончанию счета модели выполняется выгрузка результатов работы СНАПО на THREDDS-сервер и выкладка файл-флага, сигнализирующего о завершения цикла расчета по СНАПО Мировой океан. Типичное время, затрачиваемое на выполнение одного цикла диагноза и прогноза по схеме [-4; +5] составляет 3 часа 20 минут. Типичное время, затрачиваемое на выполнение одного цикла диагноза и прогноза СНАПО Арктика – 2 часа 40 минут. Запуск модели диагноза и прогноза состояния Черного моря выполняется в 15:30. Типичное время для работы системы с разрешением 4,5 км составляет 10 мин, с разрешением 1,6 км – 2 часа. Подсистема отображения данных работает в непрерывном режиме отображения и обновления поступающей информации. Функционирование СНАПО Мировой океан проводилось на основе модели с разрешением 0,25º в онлайн режиме, а модели с разрешением 0,1º в оффлайн режиме ввиду того, что требуемое время для ее работы составляло 7 часов 20 мин. По результатам опытной эксплуатации макета СНАПО был выполнен анализ качества производимых системой продуктов и проведено сравнение с качеством продуктов службы CMEMS. Мировой океан. Значения среднего отклонения и среднеквадратичного отклонения (СКО), полученные на основе работы СНАПО Мировой океан сравнивались со средним отклонением и СКО анализа и прогноза температуры Северной Атлантики по данным CMEMS в 2017 -2020 годы в различных диапазонах глубин. Величины СКО, полученные в течение оперативной работы СНАПО Мировой океан 0,25, соответствуют оценкам СКО по данным CMEMS или предшествующего проекта «Мой Океан», достигнутым пять – десять лет назад. Если рассмотреть оценки точности продуктов начиная с 2014 года, то можно заметить, что точность продуктов CMEMS заметно улучшается по мере работы системы. Улучшение точности обусловлено выявлением в процессе оперативной эксплуатации системы разного рода неточностей в работе модели и алгоритма ассимиляции, а также внедрением новых более эффективных схем параметризации различных процессов и алгоритмов усвоения наблюдения. Необходимо учесть, что система анализа и прогноза CMEMS для Мирового океана функционировала в оперативном режиме уже в 2011 году в проекте «Мой океан 2» после ее настройки начиная с 2006 года в проектах “Mersea” и “МуOcean”. Очевидно, что достижения современного уровня качества продуктов СНАПО Мировой океан необходим тщательный анализ оперативной работы в течение некоторого времени. К сожалению пост-эксплуатационную настройку не удалось выполнить в 2020 году. Арктика Достигнутая на мировом уровне точность анализов и прогнозов в Арктике заметно ниже, чем в Мировом океане в силу отсутствия достаточного количества оперативных наблюдений в районах, покрытых льдом. Оценки точности восстановления полей температуры и солености СНАПО Арктика сравнивались с аналогичными оценками, полученными в подсистеме Арктика службы CMEMS. Было выполнено сопоставление точностей продуктов двух подсистем в пределах близких слоев для температуры и солености соответственно. В поле температуры на глубинах больших 300 м СНАПО Арктика дает сопоставимые или лучшие точности продукты в сравнении с CMEMS. Однако поле температуры CMEMS имеет заметно лучшие показатели как по среднему отклонению, так и по СКО, в верхнем 300 метровом слое. Скорее всего основные неточности СНАПО Арктика в верхнем 300-метровом слое по температуре связаны с неудачным начальным условием и с проблемами при воспроизведении затока атлантических вод в Арктику. В поле солености погрешности продуктов СНАПО Арктика довольно близки к аналогичным характеристикам продуктов CMEMS. Заметим также, что СКО между рассчитанным и измеренным с ИСЗ уровнем океана в системе СНАПО Арктика равно 6 см, тогда как продукты CMEMS дают СКО равное 7 см. Отмеченные выше неточности модели СНАПО Арктика были в основном устранены в течение пост-эксплуатационной калибровки. Улучшенная версия дает качество продуктов соответствующее или превышающее CMEMS. Азово – Черноморский бассейн На Черном море в настоящее время функционируют три системы прогнозов (Черноморский центр морских прогнозов (ЧМЦМП), созданный в рамках проектов Мой Океан 1,2, морская служба CMEMS и прогностическая система США на базе модели HYCOM. Проведенные сравнительные анализы показали, что диагнозы и прогнозы ЧМЦМП пока дают либо лучшую, либо не худшую точность. В свою очередь анализы СНАПО Азово – Черноморский бассейн дают примерно такие же характеристики точности, как и ЧМЦМП. Поэтому можно сделать вывод, что достигнутая точность продуктов СНАПО Азово – Черноморский бассейн находится на уровне текущих международных версий систем морских прогнозов на Черном море. С 27 сентября по 3 октября 2020 года в Севастополе была организована и проведена IV Международная школа молодых ученых и специалистов по оперативной океанологии «Оперативный прогноз состояния морской среды». Школа состояла из двух частей: теоретической и практической. Для чтения лекций и проведения практических занятий были приглашены ведущие ученые-океанологи из России, Великобритании, Израиля и Кипра. Теоретическая часть включала лекции, посвященные описанию действующих систем непрерывного диагноза и прогноза морской среды для разных регионов Мирового океана. На практических занятиях были проведены тренинги по работе с моделями циркуляции и данными оперативных гидрометеорологических и океанографических наблюдений.