Аннотация результатов, полученных в 2017 году
В отчетном периоде были проведены следующие работы: 1. Осуществлена разработка общего проекта системы: выделение подсистем и способов их взаимодействия, выработка требований к оборудованию. 2. Выполнялось создание подсистемы сбора и хранения исходных данных измерений ГНСС в виде файлов формата RINEX. 3. Выполнялось создание подсистемы преобразования исходных данных всех доступных ГНСС (в т.ч. ГЛОНАСС, GPS, Beidou, Galileo, QZSS и SBAS) в ряды полного электронного содержания (ПЭС). Кроме того, осуществлялась работа по созданию подсистемы определения пространственного положения лучей “спутник-приемник” на основе данных бортовых эфемерид (broadcasted ephemeris). 4. Проводился анализ шумов фазы и шумов ПЭС, полученного с использованием различных комбинаций фазовых измерений. На основе этого в системе задан приоритет хранения комбинаций ПЭС. Для окончательной оценки шумов измерения ПЭС, полученного на основании двухчастотной комбинации, исследовался вопрос о составе и ожидаемой величине шумов измерений фазы на каждой из частот в отдельности. Проведен анализ амплитудных и фазовых мерцаний за период 2014-2017 гг. 5. Проводилось моделирование работы, разрабатываемой системы. Выбраны конкретные решения по необходимому для полноценной работы Системы оборудованию. 6. Осуществлялся расчет карт вариаций ПЭС для создания достаточного банка данных для отработки методов машинного обучения. 7. Анализировались возможности методов машинного анализа многомерных массивов данных для исследования околоземного космического пространства. Для прогнозирования полного электронного содержания ионосферы, была исследована эффективность композиционных методов машинного обучения на основе методов случайного леса, опорных векторов и градиентного бустинга; построены модели оперативного прогноза для различных горизонтов. 8. Проводились работы по созданию интернет-ресурса для предоставления доступа к системе (http://gismo.iszf.irk.ru:8000/). 9. В рамках выполнения работ были осуществлены выступления на 3х научных мероприятиях. Также в рамках первого этапа выполнения проекта оформлены командировки для предоставления докладов еще на 3х научных мероприятиях. В отчетном периоде были получены следующие результаты: 1. Разработан общий проект системы сбора и обработки данных ГНСС. Основные программные подсистемы включают: подсистему сбора данных, подсистему хранения первичных данных ГНСС RINEX, подсистему хранения данных вариаций ПЭС и сопутствующей информации, программный и графический интерфейс пользователя. Проведена оценка и выбрано оборудование, которое необходимое для аппаратной реализации разрабатываемой системы. [Ясюкевич и др., Система сбора и хранения данных ГНСС-Rinex и полного электронного содержания // Труды БШФФ-2017. 2017. С. 167–169]. 2. Реализована подсистема сбора и хранения исходных данных измерений ГНСС в виде файлов формата RINEX. На основе этой подсистемы начат сбор данных ГНСС за 2015 г. 3. Сформирован набор источников входных экспериментальных данных глобальных и региональных сетей приемников ГНСС находящихся в свободном доступе за период с 1998 по 2017 гг., включающий 12 зарубежных источников и один Российский. Общее число станций составляет от нескольких сотен (в начале 2000х) до ~4500 (начиная с 2011 г.). 4. Реализован программный модуль gnss-tec, предназначенный для преобразования данных всех доступных ГНСС (ГЛОНАСС, GPS, Beidou, Galileo, QZSS, SBAS) в ряды полного электронного содержания. Модуль является универсальным, может работать независимо от системы. Нами выбран вариант открытого распространения программного кода данного модуля (https://pypi.org/) с целью расширения использования полученных результатов и сокращения количества ошибок. 5. Предложено использование второй производной фазы несущей для оценки возможных шумов ПЭС, которая при достаточной частоте регистрации измерений (менее 1 сек), соответствует суммарной шумовой погрешности измерения фазы несущей сигнала регистрируемого сигнала. Показано, что кратковременная нестабильность частоты опорного генератора приемника не вносит существенного влияния на шумы измерений ПЭС, при правильно выбранных параметрах следящего измерителя. В то же время, указанная шумовая компонента измерения фазы очень серьезно возрастает при изменении настроек измерителя. Серьезное негативное воздействие на качество измерений фазы могут внести кратковременные аномалии, отнесенные к нестабильности частоты опорного генератора спутника. Показано, что величина среднеквадратичного отклонения суммарной шумовой погрешности измерений фазы зависит как типа приемника, так и от алгоритма извлечения информации о фазе несущей из различных компонент сигнала ГНСС. Вариации второй производной фазы, извлеченной из Р-компоненты составляют для проведенного эксперимента 0.3-1.5 рад/с^2, в то время для фазы извлеченной из С/А-компоненты - 0.08-0.5 рад/с^2. Таким образом для формата Rinex 3 предлагается использовать фазовые измерения, полученные с помощью C/A-компоненты. Предлагается использовать L1L2 в качестве основной комбинации, L1L5 - в качестве резервной. Комбинации групповых и фазовогрупповых измерений GPS/ГЛОНАСС/Compass/Galileo, а также двухчастотных фазовых измерений EGNOS являются неудовлетворительными для изучения тонкой структуры неоднородностей. 6. Сформирован банк данных характерных возмущений ионосферы. Общее число дней составляет 30. При этом каждый день содержит 2880 карт с временным разрешением 30 секунд. Каждая из этих карт может использоваться для машинного обучения. 7. Проведен анализ методов машинного обучения для решения задач прогнозирования полного электронного содержания и анализа карт полного электронного содержания. Предварительные результаты показывают, что для анализа карт ПЭС могут быть использованы классические как локальные, так и глобальные дескрипторы широко используемые в системах машинного зрения. При решении задач мониторинга околоземного космического пространства с помощью методов машинного обучения выделены сложности с задачами большой размерности, в особенности проблема переобучения. Как альтернатива нами предлагаются композиционные методы на основе решающих деревьев (Random Forest), как наиболее устойчивые к переобучению и неинформативным признакам. Проведённые экспериментальные исследования построения прогнозной модели ПЭС показали, что в сравнении с классическими подходами, методы машинного анализа позволяют не только снизить СКО на 2-3 TECU, но и оценить информативность признаков оказывающих наиболее значимое влияние на точность прогноза. Наибольшую точность для прогноза абсолютных измерений обеспечивает метод случайного леса [Zhukov et al. Machine learning methodology for ionosphere total electron content nowcasting // International Journal of Artificial Intelligence, 2018]. 8. Анализ амплитудных и фазовых мерцаний за 2014-2017 гг. выявил неожиданные существенные отличия для частот L1 и L2 как для системы GPS, так и для системы ГЛОНАСС. Так как отличия в размере неоднородностей, влияющих на распространение сигналов L1 и L2, отличаются менее чем на 10%, такие отличия не могут быть обусловлены средой распространения. 9. Запущена альфа-версия ресурса для предоставления доступа к разрабатываемой в проекте системе http://gismo.iszf.irk.ru:8000/.

Аннотация результатов, полученных в 2018 году
В отчетном периоде проведены следующие работы: 1) Проведены работы по созданию подсистемы потоковой обработки данных, а также созданию базы данных для хранения больших объемов данных ГНСС-ПЭС (ПЭС – полное электронное содержание, ГНСС – глобальные навигационные спутниковые системы). Работы над подсистемой потоковой обработки данных были направлены на организацию штатной и стабильной взаимосвязи различных блоков системы, в том числе реализации запроса на обработку данных, осуществление закачки данных, обработку данных ПЭС и вариаций ПЭС. Была реализована полная схема до получения рядов ПЭС и карт ПЭС, а также возможности для дальнейшего использования методов машинного обучения. Выполнены работы по развертыванию системы на приобретенном оборудовании с возможностью доступа для внешних пользователей через ресурс https://simurg.iszf.irk.ru/. 2) Выполнены работы по созданию подсистемы расчета и хранения вариаций ПЭС. Пересмотрены методы фильтрации данных ПЭС. Наряду с расчетом вариаций ПЭС в диапазонах 2-10мин, 10-20мин, 20-60мин, были реализованы расчеты индексов ROTI и AATR. С целью снижения времени обработки расчет вариаций ПЭС и индекса ROTI в подсистеме потоковой обработки организовывался параллельно с расчетами ПЭС. 3) Для картирования всех характеристик, получаемых и хранящихся в системе, создавалась отдельная подсистема. В качестве выходных данных реализована возможность получения цифровых данных, а также изображений (картинок и видео в различном качестве). Для создания базы данных геоэффективных событий была запущена автоматическая обработка на основе критерия по индексам геомагнитной активности SYM-H и AE. 4) С использованием разработанного программного обеспечения проведен анализ ионосферных эффектов наиболее сильной вспышки класса X9.3, произошедшей на Солнце 6 сентября 2017 года. Осуществлен анализ вариаций полного электронного содержания, полученного по данным GPS/ГЛОНАСС/Galileo, их распределение в глобальном масштабе и взаимосвязь с особенностями изменения солнечного излучения. Дополнительно проводилось изучение качества функционирования навигационных систем в условиях воздействия солнечного радиоизлучения. 5) Реализовывалась подсистема расчета и хранения глобального электронного содержания (ГЭС) на основе данных карт глобального электронного содержания GIM. В рамках работ данного этапа реализована потоковая регулярная обработка ГЭС четырех лабораторий (CODG, JPLG, ESAG, IGSG), визуализация данных ГЭС, возможность получения цифровых данных и изображений. 6) Проведен анализ различных вариантов расчетов абсолютного вертикального ПЭС. Был разработан и реализован новый алгоритм расчета вертикального ПЭС. 7) В ходе работы проведен анализ карт вертикального полного электронного GIM, полученных на основе данных GPS/ГЛОНАСС, с целью выявление областей зимней аномалии. Изучено влияние солнечной и геомагнитной активности на пространственное распределение и интенсивность зимней аномалии в полном электронном содержании. 8) Для осуществления машинного обучения реализовывался отдельный блок с интерфейсом и база данных для выделения и хранения выделенных “событий” в ионосфере. Основными требованиями являлись возможность любого пользователя на основе обработанного запроса выделить регион с ионосферными возмущениями, а также возможность кросс-валидации событий.Осуществляется наполнение базы данных для детектирования машинным обучением эффектов ионосферных пузырей (баблов) в экваториальной области, а также возмущений аврорального происхождения. 9) Проведены работы по ускорению получения карт вариаций ПЭС. Разработана специальная система индексации данных, схожая с подходом используемом в разреженных матрицах, но учитывающей особенности данных ПЭС. 10) Осуществлены 3 командировки для представления результатов проекта, а также в рамках данного этапа запланирована командировка для представления приглашенного доклада. В отчетном периоде получены следующие основные результаты: 1) Создана система SIMuRG (https://simurg.iszf.irk.ru), реализующая потоковую обработку данных полного электронного содержания (ПЭС) на основе измерений сигналов глобальных навигационных спутниковых систем (ГНСС). [Yasyukevich et al. Tool for Creating Maps of GNSS Total Electron Content Variations // Proceedings of 2018 Progress In Electromagnetics Research Symposium (PIERS — Toyama), Japan, 1–4 August. 2018. P. 2417-2421. DOI: 10.23919/PIERS.2018.8597604] 2) Разработана подсистема расчета и хранения вариаций ПЭС. Выявлены недостатки традиционно используемого алгоритма фильтрации данных ПЭС, основанного на скользящем среднем с выбранным окном. Предложено использование кубического сглаживающего сплайна, дающего минимальную ошибку, на первом этапе для устранения тренда, вызванного движением спутника, в рядах ПЭС. Далее для селекции вариаций предлагается использовать фильтрацию скользящим средним. Наряду с расчетом вариаций ПЭС в диапазонах 2-10мин, 10-20мин, 20-60мин, реализованы расчеты индекса ROTI (Rate of TEC Index), общепринятого для оценки уровня возмущенности ионосферы по данным ГНСС, а также индекса AATR (являющегося улучшенной версией ROTI). 3) Создана система для получения глобальных и региональных карт ПЭС. На ее основе получен банк карт вариаций ПЭС для событий SYM-H < -50 нТл и AE > 500 нТл. Банк данных используется для тренировки моделей машинного обучения. 4) На основе измерений сигналов среднеорбитальных ГНСС GPS/ГЛОНАСС/Galileo установлено, что во время мощнейших геоэффективных событий на Солнце - вспышек X-класса, произошедших на 6 сентября 2017 г., в ионосфере Земли произошло синхронное увеличение ионизации на освещенной стороне, характеризующееся резким ростом производной полного электронного содержания до ~1.3 TECU/мин для вспышки X9.3 и ~0.18 TECU/мин для вспышки X2.2. Выявлено, что мощнейшая вспышка X9.3, сопровождавшаяся интенсивным радиоизлучением в диапазоне рабочих частот ГНСС до ~20 000 с.е.п., не привела к срывам измерений радионавигационных параметров, но сопровождалась трехкратным снижением точности высокоточного режима GPS-позиционирования. [Padokhin et al. Application of BDS-GEO for studying TEC variability in equatorial ionosphere on different time scales // Advances in Space Research. DOI:10.1016/j.asr.2018.08.001; Yasyukevich et al. The 6 September 2017 X‐class solar flares and their impacts on the ionosphere, GNSS, and HF radio wave propagation // Space Weather. DOI: 10.1029/2018SW001932] 5) Разработана подсистема расчетов и хранения глобального электронного содержания (ГЭС). Получены полные ряды ГЭС за период с 1998 по 2019 гг. ГЭС доступно любому пользователю в интерактивном режиме (https://simurg.iszf.irk.ru/gec) в виде картинок и цифровых данных. 6) Разработан новый алгоритм расчета вертикального ПЭС позволяющий приводить все измерения к одному базовому уровню на основе глобальных ионосферных карт GIM, но сохраняющий высокое пространственно-временное разрешение исходных данных. 7) На основе анализа банка данных глобальных ионосферных карт GIM выявлено, что при низком уровне геомагнитной активности зимняя аномалии в ПЭС появляется в Североамериканском регионе при 90 с.е.п., в Восточносибирском регионе – при 120 с.е.п., при 160 с.е.п. она наблюдается на всех средних широтах Северного полушария, а при 170 с.е.п. начинает регистрироваться в австралийском секторе. Рост геомагнитной активности приводит к расширению области зимней аномалии в полном электронном содержании. [Yasyukevich et al. Winter anomaly in NmF2 and TEC: when and where it can occur // Journal of Space Weather and Space Climate. DOI: 10.1051/swsc/2018036 (Q1)] 8) Разработан интерфейс и база данных для регистрации и хранения выделенных “событий” в ионосфере по данным ПЭС и производным от него данным. Информация о событиях будет использоваться в качестве обучающей выборки для машинного обучения. 9) Разработана специальная система индексации данных, схожая с подходом используемом в разреженных матрицах, но учитывающей особенности данных ПЭС, предназначенная для ускорения получения карт вариаций ПЭС.

Аннотация результатов, полученных в 2019 году
1. Создана подсистема визуализации распределения вариаций полного электронного содержания (ПЭС) и других производных от данных ПЭС (абсолютного ПЭС, индексов ROTI и AATR) в глобальном масштабе в рамках системы SIMuRG (https://simurg.iszf.irk.ru/). Система визуализации включает построение глобальных распределений данных, ряды данных, геометрию зондирования и длительных рядов данных (за несколько солнечных циклов). Система визуализации предоставляет данные как в статическом, так и в интерактивном режимах, что укоряет их анализ. Разработаны процедуры визуализации глобальных ионосферных карт как в географических, так и в геомагнитных координатах (https://simurg.iszf.irk.ru/gecmap). 2. Внедрена возможность доступа пользователей к системе SIMuRG с помощью API (Application Programming Interface), а также реализован интерактивный интерфейс для работы с системой SIMuRG. Разработано краткое описание, расположенное в разделе документации (https://simurg.iszf.irk.ru/documentation/how_to_api). Реализована подсистема автоматического выбора и обработки данных на основе API для солнечных вспышек и магнитных бурь, отображающая результаты на главной странице системы. 3. В системе SIMuRG внедрена возможность получения данных полного электронного содержания с российских сетей EFT-CORS и HIVE, станции которых в основном расположены в европейском регионе РФ. 4. Разработан метод обнаружения интенсивных кольцевых ионосферных возмущений по картам вариаций ПЭС. Отличительной особенностью метода является использование устойчивых рандомизированных алгоритмов, которые позволяют за ограниченное время обнаружить кольцевые возмущения в присутствии большого количества измерений, не принадлежащих возмущению. 5. Разработана модель для оценки связи потока поступающей энергии в авроральной области с пространственным распределением вариаций ПЭС. Модель построена с применением методов машинного обучения на основе ансамблей решающих деревьев, а также интеллектуального анализа данных для извлечения признаков. В качестве моделей машинного обучения использованы RandomForest и градиентный бустинг над решающими деревьями (XGBoost). 6. Разработан метод выделения южной границы аврорального овала (овала неоднородностей) северного полушария на основе распределений индекса возмущенности ПЭС (AATR), получаемых в системе SIMuRG. Входными данными являются карты AATR, по данным ГНСС. Анализ карт основан на использовании технологий компьютерного зрения. 7. На примере полета и взрыва метеорита, упавшего в северной Америке в феврале 2020 г., выполнена экспериментальная проверка возможностей наблюдения слабого ионосферного отклика на ударно-акустические волны. Обнаружена зависимость отклика индексов возмущенности ионосферы от расстояния точки наблюдений до места взрыва метеорита. На ближайшей к месту падения метеорита станции наблюдается наиболее яркая реакция индексов возмущенности, которая практически совпадает по времени со взрывом метеорита. На удаленных от места взрыва станциях рост индекса мерцаний S4 начинается опозданием на 0.2-0.3 часа после взрыва. Показано, что индекс ROTI имеет наименее выраженный отклик на движение и взрыв метеорита. Выполнен анализ ионосферного отклика ионосферы на запуск сверхтяжелой ракеты-носителя Falcon Heavy, произведенный компанией SpaceX 25 июня 2019 г. со стартовой площадки Космического центра им. Дж. Кеннеди. Показано наличие интенсивного ионосферного отклика с максимумом через 9 минут после старта. Максимальное возмущение располагалось не в месте старта, а на удалении от площадки, предположительно в районе пересечения траектории полета ракеты с ионосферой. 8. Реализован блок расчета регионального электронного содержания (РЭС) в системе SIMuRG (https://simurg.iszf.irk.ru/recseries). Выбор региона для расчета реализован в виде интерактивной карты в географических или геомагнитных координатах. Система рассчитывает данные по выбранному региону и представляет их в виде интерактивных рядов данных с возможностью получения цифровых данных. Расчет возможен на основе данных ряда лабораторий, входящих в консорциум IGS, а также модели IRI-2016, и виртуальной обсерватории Madrigal. 9. Для минимизации негативных эффектов (артефактов) фильтрации данных ПЭС был проведен поиск оптимальной схемы детрендирования исходных рядов и селекции вариаций. Анализ вариаций ПЭС 2-10 мин, 10-20 мин и 20-60 мин показал, что наибольшие ошибки появляются при фильтрации на более длительных периодах (20-60 мин). Для задачи детрендирования сглаживающий кубический сплайн продемонстрировал лучшие результаты среди анализируемых алгоритмов. В целом адекватные результаты для детрендирования данных демонстрирует и полином 6-го порядка. Для селекции вариаций оптимальным был выбран метод на основе центрированного скользящего среднего. По результатам опубликовано две работы в журналах Q1 [Yasyukevich et al., 2020. DOI: 10.1007/s10291-020-00983-2; Maletckii et al., 2020. DOI: 10.3390/rs12081340].