КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер 19-74-10070

НазваниеУниверсальный метод сегментации томографических изображений порового пространства почв на основе машинного обучения: от современных локальных алгоритмов к синтетическим томограммам

РуководительАбросимов Константин Николаевич, Кандидат географических наук

Организация финансирования, регион Федеральное государственное бюджетное научное учреждение Федеральный исследовательский центр "Почвенный институт имени В.В. Докучаева", г Москва

Период выполнения при поддержке РНФ

07.2019 - 06.2022

Конкурс№41 - Конкурс 2019 года «Проведение исследований научными группами под руководством молодых ученых» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными.

Область знания, основной код классификатора 04 - Биология и науки о жизни, 04-108 - Почвоведение

Ключевые словаСупер-разрешение, синтетическая томография, алгоритмы на основе локальных порогов, машинное обучение, свёрточные нейронные сети, моделирование в масштабе пор, съемка на двух энергиях, изображения пористых сред, разрешение изображения, эффект частичного заполнения вокселя, тренировочные данные, совмещение масштабов, поровое пространство почвы, структура почвы

Код ГРНТИ29.19.03

СтатусУспешно завершен

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Сегментация представляет собой процедуру анализа изображений и перехода в пространстве образца от поглощения излучения к пространственному распределению материалов, его составляющих. Например, при исследовании пористых сред и материалов это необходимо для последующего моделирования макроскопических свойств. Примерами таких пористых сред, представляющих особый интерес, являются пористые среды природного происхождения, такие как почвы и почвоподобные структуры, и моделирование фильтрации в таких образцах – так называемое моделирование в масштабе пор – необходимо для изучения процессов фильтрации жидкости в почве, выявления и описания процессов, сопровождающих сезонную динамику порового пространства, определение педотрансферных потоков в толще почв. Несмотря на большое количество различных существующих методик для сегментации изображений пористых сред, ни одна из них не может претендовать на звание точной. Кроме неточностей, вносимых экспериментальной процедурой самой томографии и математической процедуры реконструкции по теневым проекциям (например, шумы и артефакты), в этом виновата фундаментальная проблема разрешения изображения или так называемый partial volume эффект, т.е. содержание в одном вокселе смеси различных фаз/материалов. Хотя существуют особые случаи, когда эта проблема разрешима, например, когда твердая фаза состоит только из одного вещества с известным поглощением, или из большего количества известных веществ, снятых на нескольких энергиях в синхротроне. Такие решения или не могут применяться в общем случае, либо слишком затратны/неточны. Поэтому во всех существующих методах присутствует набор параметров, которые выбираются либо оператором, либо либо автоматически (например, за счет анализа гистограммы градаций серого) и влияют на результаты сегментации. Как показали исследования, оба этих подхода приводят к значительным ошибкам. Потенциально точным методом сегментации без входных параметров является машинное обучение, но оно требует «идеальных» (true data) результатов сегментации для тренировки нейронной сети. Отсутствие таких данных является еще одной фундаментальной проблемой, которая препятствует как созданию метода на основе искусственного интеллекта, так и верификации результатов любой другой методики. Разработанная технология позволит быстро и точно обрабатывать большие объемы 3D томографических данных, в том числе о строении порового простанства почвы. Отсутствие таких данных является еще одной фундаментальной проблемой, которая препятствует как созданию метода на основе искусственного интеллекта, так и верификации результатов любой другой методики. Решение сформулированных выше фундаментальных проблем, в том числе зависимости результатов сегментации от настроек метода и/или влияния выбора оператора, предлагается за счет создания универсального метода сегментации томографических изображений. Изначально междисциплинарный подход к разработке технологии такого метода построен на основе стохастического super-resolution алгоритма и совмещения разномасштабных изображений, синтетических томограмм и машинного обучения, в том числе на основе свёрточных нейронных сетей. Предлагаемое решение позволит создать метод не требующий участия оператора и не имеющий внешних настраиваемых параметров, но при этом позволяющий получать точные (вплоть до частичного заполнения пикселя/воксела определяемого разрешением изображения) сегментации, независимые от настроек томографа, параметров реконструкции по теневым проекциям, и изначального разрешения съемки. Актуальность создания такой технологии тяжело переоценить — точность последующего анализа получаемых томографических изображений напрямую зависит от качества сегментации. Быстрые и точные сегментации позволят значительно повысить достоверность такого анализа и последующего моделирования с использованием получаемых изображений. По сравнению с существующими методами сегментации предлагаемые подходы позволят впервые создать облачный сервис по сегментации томографических изображений пористых сред с точностью в пределах частичного заполнения вокселей и не требующего выбора параметров оператором. Ожидаемые результаты по своему научному содержанию соответствуют мировому уровню исследований в области сегментации томографических изображений, а в части проработки методики, использования уникальной коллекции образцов (несколько тысяч томографических изображений), валидации разрабатываемых методик на основе комплексного анализа лабораторных данных с численным моделированием будут превосходить известные в настоящее время мировые аналоги.

Ожидаемые результаты
Такой метод не требует участия оператора и не имеет настраиваемых параметров (см. обсуждение внутренних параметров нейронных сетей в методологическом разделе), но при этом позволяет получать точные (вплоть до частичного заполнения пикселя/воксела определяемого разрешением изображения) сегментации, независимые от настроек томографа, параметров реконструкции по теневым проекциям, и разрешения съемки. Ввиду наличия у коллектива значительной коллекции образцов томографических изображений пористых сред, разработка и верификация методики будет проводиться на таких изображениях. Для достижения поставленной основной цели Проекта необходимо получение следующих основных результатов: 1) Библиотека томографических изображений из сотен образцов с обработкой стеков согласно протоколу (размер стека, качество, разрешение, параметры съемки и реконструкции, дополнительные данные и т.д.). Эти образцы будут служить основой (прокси-образцами) для создания библиотеки «идеальных» сегментаций и синтетических томограмм для тренировки нейронных сетей. 2) Вспомогательная стохастическая методика для трехмерной многофазной сегментации (расстановки фаз на основе корреляционных функций и локальных значений в градациях серого) с учетом двухмерных карт распределения фаз/материалов, которые обычно получают в виде 2D изображений такими методами как XRD/XRF. 3) Сегментация (бинарная и многофазная сегментация для каждого образца) библиотеку прокси-образцов на основе самых современных методов с локальными порогами. 4) Методика цифрового увеличения разрешения и добавления элементов структуры ниже изначального порога разрешения по изображениям более высокого разрешения (совмещение масштабов) на основе стохастических реконструкций и корреляционных функций, с верификацией на основе морфологического анализа и сеточных моделей. Вопрос минимального необходимого увеличения требует отдельного ответа, который мы собираемся исследовать с использованием синтетических томограмм (на данном этапе предполагаем, что увеличения х10 раз будет достаточно) и выбрать единое значение увеличения для всего Проекта. 5) Обновление библиотеки отсегментированных прокси-образцов с помощью разработанных методик с целью добавления для каждой сегментации прокси-образца бинарную и многофазную «идеальную» сегментацию за счет цифрового увеличения разрешения (в том числе, с добавлением деталей ниже изначального разрешения). 6) Отработанная методика создания синтетических томограмм по увеличенным цифровым моделям прокси-образцов – сначала получим синтетические теневые проекции, из которых реконструируем синтетические томографические изображения. Для каждого образца создадим набор синтетических томограмм с разными параметрами (виртуального) томографа и настройками математической реконструкции по теневым проекциям (энергия излучения, разрешение, отсечки по гистограмме серого и т.д.). Определим необходимый набор таких точек в поле параметров для тренировки нейронных сетей. 7) На основе моделирования фильтрации методами в масштабе пор определим количественно размер ошибки за счет лимита разрешения сегментируемых изображений и частичного заполнения вокселей различными фазами/материалами. 8) На основе расчета тензорных проницаемостей выберем наиболее точный вариант сегментаций на основе нейронных сетей при их тренировке на основе 2D или 3D изображений. 9) Исследуем универсальность сегментации на основе машинного обучения, т.е. ответим на вопрос – как точнее тренировать: на всех возможных образцах или на группе образцов сходного генезиса? 10) Исследуем чувствительность различных архитектур CNN к параметрам томографа и настройкам математической реконструкции по теневым проекциям. 11) Выберем наиболее эффективную архитектуру нейронной сети для сегментации томографических изображений, проведем тренировку и ее верификацию на основе библиотеки связки «идеальных» сегментаций (увеличенные цифровые модели) и синтетических томографических изображений. Разработанная технология позволит быстро и точно обрабатывать большие объемы 3D томографических данных, в том числе о строении порового пространства почв почвогрунтов, полученными методами микро и макротомографии, в автоматическом режиме с высокой точностью. По сравнению с существующими методами сегментации предлагаемые подходы позволят впервые создать облачный сервис по сегментации томографических изображений пористых сред с точностью в пределах частичного заполнения вокселей и не требующего выбора параметров оператором. Ожидаемые результаты по своему научному содержанию соответствуют мировому уровню исследований в области сегментации томографических изображений, а в части проработки методики, использования уникальной коллекции образцов (несколько тысяч томографических изображений), валидации разрабатываемых методик на основе комплексного анализа лабораторных данных с численным моделированием будут превосходить известные в настоящее время мировые аналоги. Косвенно о высоком мировом уровне предлагаемых исследований свидетельствует значительный существующий задел, который был опубликован в ведущих мировых научных изданиях из первой квартили Q1. Ожидаемые результаты могут быть использованы компаниями, научными и экспертными организациями, связанными с работам в области физики и гидрологии почв, моделированию продвижения влаги и растворов в почвах и почвогрунтах, долгосрочным прогнозом воздействия природных и техногенных процессов при внесении удобрений и разных типах землепользования; оказывающими консультационные и страховые услуги, в том числе при разработке эффективных методов орошения и точного земледелия; органами исполнительной власти, в компетенции которых находятся вопросы планирования регионального социально-экономического развития. Предлагаемые к разработке методики, хотя и будут тестироваться и применяться в Проекте в приложении к почвам и почвогрунтам, имеют широкий спектр применения в науках о материалах, фармацевтике, медицине — везде, где требуется обработка изображений томографии.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Аннотация результатов, полученных в 2019 году
За первый год выполнения проекта нами был заложен значительный фундамент в создание универсальной технологии обработки томографических изображений почв на основе машинного обучения: 1) Была создана библиотека из топографических изображений почв и прочих биологических объектов, насчитывающая более 150 образцов. Эта библиотека использовалась для тренировки нейронных сетей и будет использоваться для создания синтетических томограмм и обучения алгоритмов на всех последующих этапах выполнения проекта. 2) Было создано ПО для обработки изображений, в том числе: а) модуль для коррекции градаций серого, и б) модуль для фильтрации и сегментации изображений современными локальными алгоритмами. 3) Все отобранные на первый год образцы почв были отсегментированы с помощью современных методов на основе локальных порогов. 4) На основе моделирования фильтрация на изображениях различного разрешения было проведено исследование ошибки моделирования физических свойств по отсегментированным изображениям за счет эффектов частичного заполнения вокселей. 5) Было проведено исследование по изучению влияния разрешения на соотношение между структурой исследуемой структуры и ее томографическим изображением. На его основе было определено увеличение для цифровых моделей отсегментированных прокси-образцов. 6) Используя в виде true data отсегментированные и увеличенные прокси-образцы, а также синтетические томограммы, полученные на их основе, мы натренировали нейронные сети для сегментации томографических изображений. Мы показали, что если в данных для тренировки являются репрезентативными для сегментируемых изображений, то качество обработки изображений является достаточным (ошибка по влагопроводности 5-26%). За менее чем год в рамках проекта были подготовлены два доклада на конференциях и три статьи в рецензируемые журналы (одна из которых принята). В дополнении к запланированным работам по гранту нами были значительные дополнительные результаты. Мы закрыли часть работ на 2-3й год по изначальному плану, а также получили набор новых идей для улучшения списка работ на второй год выполнения проекта.

Публикации

Аннотация результатов, полученных в 2020 году
За второй год выполнения Проекта нами были полностью выполнен план работ, а местами он был и перевыполнен, т.к. мы применяли разработанные методики к решению ранее незапланированных (но логичных и интересных) задач. Ключевым результатом стало окончание разработки «основного движка» Проекта – методики создания синтетической томографии на основе прямого и обратного преобразования Радона. Перечислим основные полученные научные результаты: 1) Нам наконец удалось собрать вместе всю технологию, которую мы предлагали в настоящем Проекте – от создания прокси-образцов, до синтетической томографии и сегментации на основе глубокого обучения. 2) В рамках задачи по сегментации видимого органического вещества в почвах проведены исследования на модельных образцах, где параллельно исследовалось прорастание семян ячменя. Очевидно, имеет смысл исследовать видимость органики на КТ изображениях более детально. 3) Разработанный пакет для сегментации, который мы назвали MAZAlib (Major binAriZation Algorithms) позволяет в удобном для пользователей режиме подгружать и обрабатывать стеки томографических изображений. В пакете реализованы множественные фильтры и методы сегментации из современных state-of-the-art методов локальных порогов. В целом, мы закончили разрабатывать методики и переходим к самому интересному - их применению для решения актуальных задач обработки изображений КТ в почвоведении и смежных дисциплинах. За отчетный период были опубликованы статьи, в том числе одна в журнале из первой квартили Q1.

Публикации

1. Абросимов К.Н., Герке К.M., Семенков И.Н., Корост Д.В. Применения алгоритма Оцу при сегментации порового пространства почв по томографическим данным Почвоведение, № 4. С. 475–488. (год публикации - 2021) https://doi.org/10.31857/S0032180X21040031

2. Абросимов К.Н., Герке К.М., Семенков И.Н., Корост Д.В. Otsu’s Algorithm in the Segmentation of Pore Space in Soils Based on Tomographic Data Eurasian Soil Science, Vol. 54, No. 4, pp. 560–571. Russian Text © The Author(s), 2021, published in Pochvovedenie, 2021, No. 4, pp. 475–488. (год публикации - 2021) https://doi.org/10.1134/S1064229321040037

3. Абросимов К.Н., Герке К.М., Фомин Д.С., Романенко К.А., Корост Д.В. Томография в почвоведении: от первых опытов к современным методам Почвоведение, - (год публикации - 2021)

4. Лаврухин Е.В., Герке К.М., Романенко К.А., Абросимов К.Н., Карсанина М.В. Assessing the fidelity of neural network-based segmentation of soil XCT images based on pore-scale modelling of saturated flow properties Soil & Tillage Research, Vol. 209. P. 104942. (год публикации - 2021) https://doi.org/10.1016/j.still.2021.104942

5. Суздалева А.В., Шеин Е.В., Верховцева Н.В., Абросимов К.Н. Physical and microbiological aspects of the soil seed bed in the early formation of the barley root system (Hordeum vulgare L.): tomographic studies IOP Conference Series: Materials Science and Engineering, Vol. 941. P. 012032–012032. (год публикации - 2020) https://doi.org/10.1088/1757-899X/941/1/012032

6. Шеин Е.В., Верховцева Н.В., Суздалева А.В., Абросимов К.Н. Рентгеновская компьютерная томография структуры корней и динамика почвенной биоты на ранних стадиях роста ячменя (Hordeum vulgare L.) Вестник Томского государственного университета, Биология. 2021. № 53. С. 6–21 (год публикации - 2021) https://doi.org/10.17223/19988591/53/1

Аннотация результатов, полученных в 2021 году
Основные работы и полученные за третий год выполнения Проекта основные результаты могут быть сформулированы следующим образом: 1) Библиотека сегментаций за время реализации Проекта пополнилась значительным количеством подготовленных почвенных образцов различных почв России. 2) Все собранные за три года образцы были обработаны, отсегментированы и сгруппированы в набор данных для тренировки нейронной сети. Всего в библиотеке на данных момент собрано 179 образцов, что как мы считали было достаточно для проведения тренировки нейронной сети. 3) Было проведено исследование о влиянии состава органики на ее видимость на КТ изображениях, для чего мы меняли состав органической фазы в прокси-образцах и анализировали получаемые синтетические КТ изображения. На основе проведенного исследования были сделаны выводы о видимости органического вещества на КТ изображениях. 4) Было проведено исследование детекции пор на КТ изображениях в зависимости от состава твердой фазы. Мы проверили стандартное «правило», что поры должны быть в 4-ре раза больше разрешения, чтобы быть видимыми на изображении. Таким образом, нам удалось развеять один из мифов КТ-томографии в научной литературе. 5) Было проведено исследование применимости алгоритма синтетической томографии для построения обучающей выборки для моделей многофазной сегментации. Мы показали, что предложенный алгоритм генерации синтетического набора данных применим для обучения нейросетевых моделей многофазной сегментации, а полученные метрики качества моделей сравнимы с метриками моделей двухфазной сегментации, которые обучены на парах оригинальное КТ – алгоритмическая разметка. Стоит заметить, что технология синтетического томографа и дальнейшее обучение нейросетевых моделей требуют значительным вычислительных (и, соответственно, временных) ресурсов, в том числе наличие нескольких высокопроизводительных графических ускорителей (gpu). Поэтому широкомасштабное исследование с фиксацией точных и воспроизводимых результатов возможно только при наличии мощной вычислительной станции. 6) Для улучшения результатов нейронной сети в будущем, мы предложили добавить в loss-функцию корреляционные функции. 7) Для того, чтобы улучшить методику увеличения разрешения изображений КТ для создания прокси-моделей почвенного строения и заменить не самые точные методы бикубической интерполяции, мы создали методику super-resolution на основе глубокого обучения.

Публикации

1. Абросимов К.Н., Герке К.М., Фомин Д.С., Романенко К.А., Корост Д.В. Томография в почвоведении: от первых опытов к современным методам (обзор) Почвоведение, Том: 55. Номер: 9. Страницы: 1097-1112 (год публикации - 2021) https://doi.org/10.31857/S0032180X21090021

2. Абросимов К.Н., Фомин Д.С., Романенко К.А., Васильев Р.В. Связность порового пространства почв. Показатели связности на примере различных типов порового пространства ПОЧВА КАК СВЯЗУЮЩЕЕ ЗВЕНО ФУНКЦИОНИРОВАНИЯ ПРИРОДНЫХ И АНТРОПОГЕННО-ПРЕОБРАЗОВАННЫХ ЭКОСИСТЕМ материалы V Международной научно-практической конференции, посвященной 90-летию кафедры почвоведения и оценки земельных ресурсов ИГУ и Дню Байкала. г. Иркутск, С. 207–211. (год публикации - 2021)

3. Лаврухин Е.В., Герке К.М., Романенко К.А, Абросимов К.Н., Карсанина М.В. Оценка точности нейросетевой сегментации КТ почв с помощью моделирования свойств однофазного течения в масштабе пор V конференция молодых ученых «Почвоведение: Горизонты будущего» Почвенный институт им. В.В. Докучаева, Москва, 21-24 сентября 2021 года. Сборник тезисов., стр. 81-82 (год публикации - 2021)

4. Фомин Д.С., Юдина А.В., Романенко К.А., Абросимов К.Н., Карсанина М.В., Герке К.М. Динамика структуры порового пространства почвы в цикле равновесного увлажнения-сушки V конференция молодых ученых «Почвоведение: Горизонты будущего» Почвенный институт им. В.В. Докучаева, Москва, 21-24 сентября 2021 года. Сборник тезисов., стр. 89-90 (год публикации - 2021)

Возможность практического использования результатов
Результаты Проекта имеют целый ряд возможностей для практического использования: - получение трехмерных данных о строении различных почв и почвоподобных тел в микро и нано-масштабах: это позволит изучать микроструктуру таких образцов в целях выявления признаков деградации или оценки последствий загрязнения или неправильной эксплуатации на недоступном ранее уровне. - создание многомасштабных моделей строения пористых сред естественных и преобразованных почв: позволит создать 3D цифровою модель почв для моделирования их физических свойств, что необходимо для создания макромоделей в целях предсказания реакции на изменение внешних условий (изменение климата, осадков, внесение новых удобрений и т.п.) для повышения продуктивности почв. - создание структурных моделей, в том числе динамических: позволяет конструирование пористых сред (порового пространства почв) с желаемыми физическими свойствами, и таким образом дополнит применяемые физические модели в почвоведении. А также поможет в разработке и дизайне новых безопасных материалов – фильтров, геотекстиля и др. Таким образом, на основе заложенного фундаментального задела, при привлечении средств на разработку первых прототипов возможно создание технологий для применения в науке и индустрии.