КАРТОЧКА
ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер 22-21-20051
НазваниеИсследование методов автоматической визуальной оценки содержания асбестового волокна в горной породе на асбестовых карьерах Свердловской области (на примере карьер ПАО "УралАсбест")
РуководительРонкин Михаил Владимирович, Кандидат технических наук
Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Уральский федеральный университет имени первого Президента России Б.Н. Ельцина", Свердловская обл
| Период выполнения при поддержке РНФ | 2022 г. - 2023 г. |
Конкурс№65 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами» (региональный конкурс).
Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-202 - Интеллектуальный анализ данных и распознавание образов
Ключевые словаРаспознавание образов, обработка изображений, компьютерное зрение, машинное обучение, глубокое обучение, сегментация асбестовых прожилок
Код ГРНТИ28.23.00
СтатусУспешно завершен
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Свердловская область является одной из ведущих в России и в Мире по добыче и производству асбестового волокна. Здесь находится Баженовское месторождение (г. Асбест, Свердловская область), которое является из разработанных месторождений наиболее крупным месторождением хризотил-асбеста в мире. Результаты обсуждения проблем управления качеством технологических процессов добычи асбестосодержащей породы в забоях открытых карьеров Баженовского асбестового месторождения (ПАО "УралАсбест" г. Асбест, Свердловская область) с ведущими специалистами данного горнодобывающего предприятия позволили сделать следующие выводы.
1. Эффективное управление процессом производства асбеста требует наличия оперативной информации о его концентрации в горной породе, на этапе ее нахождения в забое открытого карьера.
2. Лабораторный анализ горной породы обеспечивает достаточно высокую точность определения концентрации асбеста, но имеет высокую стоимость и требует больших временных затрат (длительность анализа одной партии асбестосодержащей породы составляет 8 часов).
3. Экспресс-оценки концентрации асбеста, выданные специалистами геологической службы горнодобывающего предприятия, на основе визуального анализа горной породы, оказываются весьма субъективными. В том числе такие оценки во многих случаях оказываются как существенно отличными друг от друга, так и отличными от данных лаборатории.
4. Специалисты геологических служб не могут формально описать, алгоритмы и критерии, в соответствии с которыми они оценивают концентрацию асбеста в горной породе.
В этой связи разработка автоматизированных систем для оценки концентрации асбеста в открытых карьерах оказывается актуальной. Проведен анализ известных современных подходов и технических решений, используемых для решения задач управления технологическими процессами в горнодобывающей отрасли показал, что наиболее перспективными считаются компьютерные системы технического зрения, в которых для анализа цифровых изображений горной породы применяются алгоритмы, основанные на использовании искусственных нейронных сетей и других методов машинного обучения. Ранее команда проекта продемонстрировала возможность решения задачи оценки содержания асбестосодержащей породы, находящейся на транспортерной ленте в цехе горно-обогатительной фабрики с помощью системы компьютерного зрения. (Zyuzin, V., Ronkin, M., Porshnev, S. and Kalmykov, A. Computer vision system for the automatic asbestos content control in stones // Journal of Physics: Conference Series, vol. 1727 № 1, 2021. p. 012014.). В данной системе использовались сверточные нейронные сети для решения задач семантической сегментации как асбестовых прожилок, так кусков асбестосодержащей породы. Отметим, что возможность применения в горнодобывающей промышленности систем компьютерного зрения, основанных на использовании сверточных нейронных сетей также подтверждают ряд работ других авторов. Новизна заявляемого исследования заключается в исследовании сверточных нейронных сетей в задаче оценки непосредственного содержания асбеста по оценке отградуированного среднего отношений площадей, выделенных прожилок к общей площади отельных кусков породы в условиях разрабатываемого участка открытого карьера. При этом отметим, что процедура обучения искусственной нейронной сети требует достаточно большого набора данных для правильной обработки соответствующих признаков.
В настоящее время, одним из наиболее популярных классов нейронных сетей, используемых для семантической сегментации объектов на цифровых изображениях, является класс, основанный на использовании архитектуры U-Net. Данная архитектура изначально была использована для анализа медицинских изображений, где они показали высокую точность сегментации объектов небольшого размера. Также нейронные сети данного типа продемонстрировали свою работоспособность в описанном выше прототипе системы технического зрения.
Сегодня для обнаружения и выделения объектов на цифровых изображениях (объектной сегментации, instance segmentation), анализируемых системами компьютерного зрения, также используются нейронные сети на базе архитектур Mask-RCNN. В ряде работ показано что, с использованием данных сетей может быть произведена оценка кусковатости (размеров) и формы породы после взрыва в условиях забоя открытого карьера. Следовательно, целесообразно проведение научных исследований с цель разработки алгоритмов детектирования и объектной сегментации кусков асбестосодержащих пород и далее сегментации в этих кусках прожилок асбеста, основанных на совместном использовании сверточных нейронных сетей, например, основанных на архитектурах U-Net, и Mask-R-CNN или других аналогичных архитектурах. Выбор и исследование наиболее производительных архитектур нейронных сетей для решения поставленных к ним задач также является предметом исследования в данной области.
Таким образом, проведение исследований с целью совершенствования научных принципов построения системы компьютерного зрения для определения концентрации асбеста в горных породах в открытых карьерах, а также алгоритмов анализа цифровых изображений асбестосодержащей породы, полученных в забоях открытых карьеров, для идентификации асбестовых прожилок и автоматического оценивания по ним концентрации асбеста в горных породах, является актуальной задачей.
Ожидаемые результаты
1. Разработка и исследование методики использования современных искусственных нейронных сетей с архитектурами на базе U-Net, Mask-R-CNN или другими подобными архитектурами направленных на решение следующих задач:
• поиск и локализации кусков асбестосодержащей породы, зафиксированных автоматически в условиях разрабатываемых участков открытых карьеров асбестовых месторождений;
• оценка значений площади поверхности отдельных камней (кусков асбестосодержащей породы) и их распределений (кусковатость) в забоях открытых карьеров;
• семантическое сегментирование асбестовых прожилок на изображения отдельных камней асбестосодержащей породы.
2. Разработка и исследование методики высокоточного оперативного контроля содержания асбестового волокна в асбестосодержащей породе по результатам оценок площадей отдельных кусков асбестосодержащей породы и прожилок внутри их.
3. Создание портативной системы технического зрения для оперативного автоматизированного контроля содержания асбестового волокна в асбестосодержащей породе в забоях открытых карьеров.
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Аннотация результатов, полученных в 2022 году
В отчетном периоде проведены следующие работы.
1. Собран набор данных – изображений кусков породы, аннотированных для решения задач семантической и экземплярной (объектной, instance) сегментации асбестовых прожилок и камней (включая изображения, полученные в ручном и автоматическом режимах съемки). Данные собраны на Баженовсом месторождении (г. Асбест). Набор данных включает 1660 изображений отдельных фрагментов асбестосодержащей породы, полученных в условиях открытого карьера, соответствующих различных датам поездок, погодным условиям и временам года; изображения собраны как в автоматическом режиме, так и в режиме ручного наведения.
2. Собран набор данных из 220 изображений планов, аннотированных для поиска и выделения (объектной сегментации, instance segmentation) кусков асбестосодержащей породы на плановых изображениях разрабатываемых участков месторождений. Изображения имеют информацию о времени съемки. Планы для изображений были указаны департаментом геологоразведки ПАО «УралАсбест».
3. Проведено аннотирование собранных наборов данных для решения задачи экземплярной (объектной, instance) сегментации и сопутствующих задач.
4. Проведен литературный обзор на тему анализа современного состояния глубокого обучения нейронных сетей в задачах компьютерного зрения. В частности, проанализировано состояние задач в области горной добычи. Обзор включает 201 страниц и содержит 364 ссылки, большая часть проанализированных работ относится к периоду 2017-2021 годы.
Проведенный литературный обзор позволяет сделать вывод о перспективных направлениях исследований возможностей использования современных архитектур глубоких нейронных сетей для решения задач семантической и экземплярной сегментации, а также обнаружения объектов, в том числе с использованием комбинаций сверточных блоков и блоков трансформеров/миксеров с целью визуальной оценки содержания асбестового волокна в горной породе на асбестовых карьерах Свердловской области (на примере карьер ПАО «УралАсбест»)». В рамках исследований следует делать упор на поиск оптимальных архитектур глубоких нейронных сетей для низко производительных устройств, а также методов их обучения, в том числе с использованием метаобучения. Обзор доступен по ссылке https://www.dropbox.com/s/0xizv6gnyy554yu/report_RNF.pdf?dl=0 . По материалам обзора готовится печатное издание.
5. Опубликованы или находятся таковом статусе следующие материалы:
a. Подготовлена и находится в статусе «редакторские правки» (пройдено рецензирование) обзорная статья M. Ronkin, V. Misilov, A. Akimova, “Application of Deep Learning and Parallel Computing for Computer Vision Problems in Mining Industry: A Survey”. Статья в издании Mathematics MDPI (журнал Q2 SJR/ Q1 WOS). Выход статьи ожидается в течение декабря 2022 год.
b. Опубликована конференционная статья. M. Ronkin, A. Kalmykov, K. Reshetnikov and V. Zyuzin, "Investigation of Object Detection Based Method for Open-Pit Blast Quality Estimation" 2022 Ural-Siberian Conference on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT), 2022, pp. 248-251, DOI: 10.1109/USBEREIT56278.2022.9923353. https://ieeexplore.ieee.org/document/9923353/
c. Принято участие в конференции 2022 Ural-Siberian Conference on Biomedical Engineering, Radioelectronics and Information Technology. Конференция является международной под эгидой IEEE. Доклад Investigation of Object Detection Based Method for Open-Pit Blast Quality Estimation https://usbereit.ieeesiberia.org/
d. Опубликованы наборы данных участков разрабатываемых участков месторождений открытого карьера. Набор данных имеет разметку экземплярной сегментации в формате COCO. Набор данных может быть использован для решения таких задач как фрагментация, оценка качества взрывных работ или других работ, связанных с оценкой большой числа небольших объектов на изображении. Набор ожидается быть доступным по ссылке: Ronkin, Mikhail; Reshetnikov, Kirill; Zyuzin, Vasily (2022), “openpits asbestos”, Mendeley Data, V2, DOI: 10.17632/pfdbfpfygh.2 (https://data.mendeley.com/v1/datasets/pfdbfpfygh/draft?preview=1).
e. Опубликованы наборы данных изображений кусков породы, аннотированных для решения задач семантической и экземплярной (объектной, instance) сегментации асбестовых прожилок и камней. Набор данных может быть использован для решения задач выделения протяженных узких объектов (прожилки), а также для задач одновременной семантической сегментации и экземплярной (камни) – то есть для решения в некотором смысле паноптической сегментации. Набор ожидается быть доступным по ссылке: Ronkin, Mikhail; Reshetnikov, Kirill; Zyuzin, Vasily; Misilov, Vladimir; Akimova, Elena; Miftakhov, Valery (2022), “Asbest veins in the open pit conditions”, Mendeley Data, V2, DOI: 10.17632/y2jfk63tpd.2 (https://data.mendeley.com/v1/datasets/y2jfk63tpd/draft?preview=1).
Публикации
1. М.В. Ронкин, А.А. Калмыков, К.И. Решетников, В.В. Зюзин Investigation of Object Detection Based Method for Open-Pit Blast Quality Estimation 2022 Ural-Siberian Conference on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT), 2022, pp. 248-251 (год публикации - 2022) https://doi.org/10.1109/USBEREIT56278.2022.9923353
2. - Ученые вуза обучают искусственный интеллект для медицинских целей радио комсомольская правда и новостной портал УрФУ, радио комсомольская правда прямой эфир от 05.12.2022 (8.03-8.23 по времени Екатеринбурга) соответствующая эфиру новость на портале УрФУ от 6 декабря 2022 (год публикации - )
Аннотация результатов, полученных в 2023 году
В результате работ 2023 года
1. Исходный код программных средств в рамках языка программирования Python для работы с полученными изображениями опубликован в следующих репозиториях:
• https://github.com/kirilman/stones_size_fragmentaion - определение камней на изображениях участков карьера.
• https://github.com/Mezilkree/Asbestos-semseg - базовые решения семантической сегментации прожилок.
• https://github.com/Leonn-Leon/Asbest_study - исследование решений семантической сегментации прожилок.
2. Результаты работ по выбору базовых архитектур решения задач исследования опубликованы в следующих работах:
• Ronkin M. et al. Asbestos Veins Instance Segmentation in the Open-Pits //2023 IEEE Ural-Siberian Conference on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT). – IEEE, 2023. – С. 247-250
• Ronkin M.V., Akimova E.N., Misilov V.E. Open-Pit Asbestos Vein Segmentation Using Deep Learning // AIP Conference Proceeding (в печати 2024 г.).
• и доложены на соответствующих конференциях USBEREIT 2023 и ICNAAM 2023 (докладчик Ронкин М.В.).
3. Проведен обоснованный выбор архитектур для решения задач сегментации асбестовых прожилок на изображениях отдельных камней асбестовой породы. По результатам работ готовится публикация. Также результаты выложены в открытый доступ в репозитории https://github.com/Leonn-Leon/Asbest_study .
4. Результаты работ по обоснованному выбору архитектур решения задач обнаружения объектов на изображения рабочих участков протестированы с обновлённой разметкой данных опубликованы в работах
• Решетников К.И., Ронкин М.В., Поршнев С.В. Исследование подхода обнаружение объектов в задаче фрагментации горных пород на открытых карьерах // Компьютерная оптика (2024 г., в печати).
• Ronkin M., Reshetnikov K. Real-Time YOLO-family Comparison for Blast Quality Estimation in the Open Pit Conditions //2023 IEEE Ural-Siberian Conference on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT). – IEEE, 2023. – С. 254-257.
• И доложены на конференции USBEREIT 2023 докладчик Решетников К.И.
5. Опубликованы результаты обзора текущего состояния систем фрагментации горных пород.
• Ronkin M. V., Akimova E. N., Misilov V. E. Review of deep learning approaches in solving rock fragmentation problems //AIMS Mathematics. – 2023. – Т. 8. – №. 10. – С. 23900-23940. В статье обсуждаются особенности архитектур глубоких нейронных сетей, используемых в задачах фрагментации.
• Ронкин М.В., Акимова Е.Н., Мисилов В.Е., Решетников К.И. Обзор применения глубоких нейронных сетей и параллельных архитектур в задачах фрагментации горных пород // Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика (Т. 12, № 4. С. 5–54. 2023 г.). В работе рассмотрены вопросы оптимизации архитектур нейронных сетей и повышения их производительности для решения задач фрагментации (определения гранулометрического состава) по изображениям в условиях низко производительных вычислительных устройств.
6. Результаты доработки разметки изображений опубликованы в открытом доступе:
• Ronkin, M.; Reshetnikov, K.; Zyuzin, V. (2023), “openpits asbestos”, Mendeley Data, V3, doi: 10.17632/pfdbfpfygh – набор изображений открытых участков карьеров.
• Ronkin, M.; Reshetnikov, K.; Zyuzin, V.; Misilov, V.; Akimova, E.; Miftakhov, V. (2023), “Asbest veins in the open pit conditions”, Mendeley Data, V2, doi: 10.17632/y2jfk63tpd– набор изображений отдельных фрагментов с прожилками.
7. Всего в 2023 году опубликовано 3 журнальные статьи: 1 статья Q1 Scopus; 1 статья Q2 Scopus, издание РФ; 1 статья ВАК К-1, Toп-10 RSCI; 3 конференционных статьи на международных конференциях, материалы индексируются Scopus, в том числе 2 статьи в конференциях IEEE. Принято участие в двух конференциях с 3 докладами. Также дополнено 2 набора данных, опубликованных в открытом доступе. Примеры кода по работе с исследуемыми нейронными сетями приведены в открытом доступе на соответствующих страницах сайта https://github.com/.
По результатам работ также готовится 1 журнальная статья по сегментации прожилок асбестовой породы. Также результаты работ являются основой для подготовки 1 кандидатской диссертации по теме использования методов компьютерного зрения для решения задач фрагментации (определения гранулометрического состава) горных пород в реальном масштабе времени.
Все запланированные на 2023 год результаты достигнуты полностью.
Публикации
1. Решетников К.И., Ронкин М.В., Поршнев С.В. Исследование подхода обнаружение объектов в задаче фрагментации горных пород на открытых карьерах Компьютерная оптика, - (год публикации - 2024)
2. Ронкин М.В., Акимова Е.Н., Мисилов В.Е. Open-Pit Asbestos Vein Segmentation Using Deep Learning AIP Conference Proceedings, - (год публикации - 2024)
3. Ронкин М.В., Мисилов Е.В., Акимова Е.Н., Мифтахов В.О. Asbestos Veins Instance Segmentation in the Open-Pits 2023 IEEE Ural-Siberian Conference on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT), pp. 247-250 (год публикации - 2023) https://doi.org/10.1109/USBEREIT58508.2023.10158814
4. Ронкин М.В., Решетников К.И. Real-Time YOLO-family Comparison For Blast Quality Estimation in the Open Pit Conditions 2023 IEEE Ural-Siberian Conference on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT), pp.254-257 (год публикации - 2023) https://doi.org/10.1109/USBEREIT58508.2023.10158813
5. Ронкин М.В., Акимова Е.Н., Мисилов В.Е. Review of deep learning approaches in solving rock fragmentation problems AIMS Mathematics, 8.10, p.23900-23940 (год публикации - 2023) https://doi.org/10.3934/math.20231219
6. Ронкин М.В., Акимова Е.Н., Мисилов В.Е., Решетников К.И. Обзор применения глубоких нейронных сетей и параллельных архитектур в задачах фрагментации горных пород Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика, 2023. Т. 12, № 4. С. 5–54. (год публикации - 2023)
7. - • Интервью с экспертным мнением на ТВ Россия Урал ( утреннее шоу) Россия.Урал, Выпуск от 16 февраля (год публикации - )
Возможность практического использования результатов
Результаты работ могут быть использованы при создании новых систем автоматизации оперативного контроля за производством и работами на открытых карьерах и другими работами, требующими решения задач фрагментации (определения гранулометрического состава) и другими сопутствующими задачами. Например, такими задачами, как оценка качества взрывных работ, контроль за однородностью и нормой выхода продукции, качеством дробления горной продукции и ее переработки и т.д.
При этом результаты работ позволяют создавать полностью автоматизированные системы оперативного контроля за производством горной продукции в открытых карьерах. Благодаря собранной базе данных и интеллектуальным подходам на их основе системы способны работать в широком спектре внешних условий, таких как время суток, погодные условия или время года. Также особенностью исследуемых решения является ориентир на достижения компромисса скорости (вычислительной сложности) работы алгоритмов и их точности. Это позволяет создавать систем, способные работать на низкоприозводительных вычислительных устройствах в близком к реальным масштабам времени.
Отдельно отметим важность фактора автоматизации в указанных работах. В настоящее время часто контроль фрагментации осуществляется специалистами «на глаз». Другими словами, задача оценки качества слабо формализуемая. Подготовка таких специалистов требует значительных временных и материальных затрат. Это в свою очередь ограничивает возможности масштабирования обсуждаемых систем и ограничивает возможный экономический эффект решаемой задачи. Поэтому создание систем, автоматизирующих оперативный контроль за горной продукцией является актуальной задачей в промышленности. Создаваемые системы представляют собой новый уровень решения задач, основанный на последних достижениях в области компьютерного зрения и их адаптацию под особенности работы в условиях открытых карьеров.