КАРТОЧКА
ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер 22-74-00122
НазваниеМетоды компьютерного фенотипирования цветовых характеристик зерен злаков на основе анализа цифровых изображений.
РуководительКомышев Евгений Геннадьевич, Кандидат биологических наук
Организация финансирования, регион Федеральное государственное бюджетное научное учреждение "Федеральный исследовательский центр Институт цитологии и генетики Сибирского отделения Российской академии наук", Новосибирская обл
| Период выполнения при поддержке РНФ | 07.2022 - 06.2024 |
Конкурс№70 - Конкурс 2022 года «Проведение инициативных исследований молодыми учеными» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными.
Область знания, основной код классификатора 04 - Биология и науки о жизни, 04-207 - Системная биология; биоинформатика
Ключевые словаЗерна злаков, фенотипирование, цветовые характеристики, пигментный состав, мобильные устройства, приложение
Код ГРНТИ34.03.23
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Оболочка зерна – это основной барьер между зерном и внешней средой. Поэтому с ее характеристиками связан ряд важных биологических функций: поглощение влаги, жизнеспособность зерна, устойчивость к предуборочному прорастанию. Цвет оболочки зерен злаков – важный признак, он характеризует пигменты и метаболиты, содержащиеся в ней, таких как каротиноиды, антоцианы, меланины. Каротиноиды обуславливают красную, оранжевую, желтую окраску. Антоцианы обуславливают фиолетовую, голубую, синюю и красную окраску. Меланины окрашивают семена растений в коричневый или черный цвет. Наличие пигментов в оболочке зерна влияет на его различные технологические свойства, может отражать поражение патогенами.
В этой связи в генетике и селекции сельскохозяйственных растений наблюдается постоянный интерес к изучению генетических механизмов, контролирующих признаки окраски у растений. При изучении механизмов генетического контроля окраски зерен селекционеры и генетики сталкиваются с необходимостью оценки цветовых характеристик их оболочки. Один из перспективных и актуальных подходов в этой связи - использование цветовых RGB камер, которые являются недорогими по сравнению с научным оборудованием (спектрометры и спектрофотометры), но в то же время достаточно качественными для точной цветопередачи объекта исследования. Поэтому разработка компьютерных методов оценки количественных характеристик цвета зерен - область исследований, которая постоянно развивается в направлении создания все более точных, быстрых и менее ресурсоемких методов анализа.
Настоящий проект посвящен разработке компьютерных методов фенотипирования цветовых характеристик оболочки зерен злаков и оценке их пигментного состава на основе анализа двухмерных цифровых изображений с применением, в том числе, и мобильных устройств. На основе анализа цифровых изображений будет предложена модель оценки пигментного состава оболочки зерен ячменя, параметры которой будут определены с использованием набора зерен из более чем 200 генотипов ячменя.
В рамках проекта будут решены следующие задачи:
1) Создание метода оценки цветовых и текстурных характеристик зерен злаков на основе анализа двухмерных изображений, полученных с помощью цифровых фотокамер.
2) Разработка модели предсказания пигментного состава оболочки зерен ячменя на основе их цветовых и текстурных характеристик.
3) Адаптация разработанных методов оценки цветовых и текстурных характеристик семян злаков для использования в мобильном приложении SeedCounter.
Новизна проекта будет заключаться в разработке нового подхода к оценке цветовых характеристик оболочки зерен злаков на основе большого количества цветовых дескрипторов, и текстурных характеристик, созданию метода предсказания пигментного состава оболочки зерен ячменя и адаптации предложенных методов в приложении для мобильных устройств на платформе Android.
Ожидаемые результаты
1. Новые алгоритмы количественной оценки цветовых характеристик оболочки зерен злаков на основе анализа цифровых изображений.
2. Новый метод предсказания (оценки) пигментного состава оболочки зерен ячменя, основанный на фенотипировании зерен для более 200 генотипов.
3. Новая версия мобильного приложения SeedCounter с возможностью оценки цветовых характеристик зерен. В результате будут реализованы информативные с точки зрения описания цвета и текстуры зерен злаков характеристики. Обновленный протокол позволит снизить влияние внешних факторов на анализируемые изображения за счет цветокоррекции. Будет существенно снижено ограничение на масштаб анализируемого приложения.
Эти результаты позволят существенно снизить трудоемкость, повысить точность и эффективность фенотипирования цветовых характеристик зерен злаков в процессе проведения селекционно-генетических исследований.
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Аннотация результатов, полученных в 2022 году
В рамках данного этапа выполнения проекта были фенотипированы образцы семян ячменя H.vulgare и H.spontaneum с темной окраской оболочек зерна с неизвестным пигментным составом, полученных из коллекции ячменя Всероссийского института генетических ресурсов растений имени Н.И. Вавилова (ВИР), а также образцы с известным пигментным составом, определенных при помощи генотипирования и качественных реакций на антоцианы и меланин. Цветные RGB изображения, полученные по предложенному протоколу, содержали зерна ячменя, расположенные в чашке Петри на белом фоне, рядом с цветовой шкалой ColorChecker mini classic target.
Цель работы заключалась в разработке метода оценки пигментного состава зерен ячменя на основе анализа цифровых изображений с помощью алгоритмов компьютерного зрения и машинного обучения.
Для исследования определения пигментного состава методами машинного обучения, были выбраны 972 изображения 108 образцов ячменя, потенциально содержащие пигменты антоцианов и/или меланинов. Данные образцы включали семена 41 образца ячменя (Hordeum vulgare) с темной окраской оболочек зерна, 38 образцов с неокрашенным зерном, а также 29 образцов ячменя из коллекции ВИР с различными комбинациями пигментов в зерне.
Определение пигментного состава зерна проведено с помощью качественных реакций на антоцианы и меланины. На основе этого метода каждому из образцов был присвоен тип пигментации по наличию этих пигментов (“антоцианы”, “меланины”) либо “без пигментации”, если оба эти пигменты в образцах отсутствовали.
Для обучения моделей сегментации часть изображений (212 изображений, включающие 59 образцов) была размечена вручную: отмечались области зерен и границ чаши Петри для с помощью программы LabelMe (https://github.com/wkentaro/labelme).
Была обучена модель сегментация изображения для выделения на нем области, занятой зернами.
Предсказание наличия пигментов (меланина или антоциана) определялось с помощью 4 методов: (1) методом случайного леса с использованием цветовых дескрипторов изображения; (2) сверточной нейронной сетью архитектуры ResNet-18; (3) сверточной нейронной сетью архитектуры EfficientNetB0; (4) сверточной нейронной сетью архитектуры U-net с энкодером ResNet34.
Чтобы выделить зерна в чашках Петри от внешних объектов была обучена модель, сегментирующая исходные изображения, выходными данными которой были бинарные маски. Для этого использовалась модель U-net с энкодером ResNet-18. Модель U-Net была выбрана так как данная архитектура разрабатывалась специально для сегментации биомедицинских изображений. Далее полученная сегментация на основе масок использовалась для вычисления цветовых дескрипторов.
Из каждого изображения было извлечено 2380 цветовых характеристик, которые включали:
• Средние значения интенсивности цветовых каналов для нескольких цветовых пространств (RGB, HSV, L*a*b*, YCbCr);
• GCH (Global Color Histogram, глобальная цветовая гистограмма) для указанных выше цветовых пространств;
• Дескриптор доминантных цветов (Dominant Color Descriptor).
Мы использовали фильтрацию малозначимых признаков, метод PCA и t-SNE для снижения размерности. Отфильтрованные признаки были подвергнуты нормализации (центрирование по математическому ожиданию и приведение к единичной дисперсии). Количество признаков было уменьшено до 13, которые объясняют 81,2% дисперсии данных. Полученные признаки были использованы для мультиклассовой классификации с помощью алгоритма Random Forest.
Также были обучены модели классификации пигментного состава зерен ячменя:
на основе CNN и фрагментах изображения, содержащих зерна. Использовалась архитектура ResNet-18. В данном подходе при помощи модели сегментации выделялись чашки Петри на исходных изображениях и подавались на вход классификатору, на выходе которого было два числа, предсказывающих присутствие меланина или антоциана.
на основе сегментации с “головой” для классификации. С целью добиться наименьшего веса итоговой модели для задачи классификации пигментов в уже имеющуюся модель на основе сегментации с архитектурой U-Net был добавлен дополнительный выходной классифицирующих слой. В качестве энкодера использовалась архитектура EfficientNetB0.
на основе 2-канальной сегментации. Модель сегментации на основе архитектуры U-net с энкодером ResNet34 была модифицирована так, чтобы на выходе была двухканальная маска, где каждый канал сегментирует область изображения с чашкой Петри если образец содержит пигмент, и не сегментирует если не содержит, для меланина и антоциана соответственно. Если хоть один пиксель в такой сегментации был больше нуля, то считалось, что образец содержит пигмент.
Лучший результат на отложенной выборке показала модель сегментации с дополнительным классифицирующим слоем, которая показала на тестовой выборке точность 0.962.
Публикации