Аннотация результатов, полученных в 2018 году
Впервые был предложен подход для управления глубоким лесов, а также и случайным лесом, позволяющий достичь две основные цели: 1) создать механизм управления лесами с точки зрения ориентации на решаемую задачу машинного обучения, что приблизит глубокие леса к универсальности и гибкости глубоких нейронных сетей; 2) улучшить характеристики точности классификации или регрессии глубоких лесов путем введения дополнительных элементов управления процессом классификации или регрессии. Основная идея предложенного в проекте подхода заключается в построении такой функции весов, определенной на множестве выходов деревьев решений в каждом лесу, чтобы минимизировать ошибку классификации или в более общем случае минимизировать некоторую заранее заданную функцию потерь. При этом в качестве выходов деревьев решений используется распределение вероятностей классов. Веса обучаются с использованием той же обучающей выборки. В отличие от обычного глубокого леса, который решает только стандартную задачу классификации, предлагаемый подход позволяет решать различные задачи, задавая требуемую функцию потерь для выходов деревьев решений. Это приближает глубокие леса к универсальности и гибкости глубоких нейронных сетей, не приводя к проблеме переобучения при малом объеме обучающей выборки. Первый вариант функции - линейное весовое усреднение распределений вероятностей классов на выходе деревьев решений. Итоговой задачей оптимизации весов в качестве переменных является задача квадратичной оптимизации с линейными ограничениями. Для эффективного решения задачи предложена модификация алгоритма Франка-Вульфа, учитывающая, что веса ограничены единичным симплексом. Предлагаемый подход реализован для случайных лесов выживаемости, которые являются регрессионной моделью. В проекте впервые разработан взвешенный случайный лес выживаемости как модификация стандартного лес выживаемости, в соответствии с которой усреднение функций риска на выходе каждого дерева решений, которое используется для вычисления функции риска всего леса, заменяется взвешенной суммой этих функций. Вычисление весов также сведено к решению задачи квадратичной оптимизации с линейными ограничениями, максимизирующей индекс конкордации или C-индекс. Для известного датасета Primary Biliary Cirrhosis (PBC) Dataset прирост C-индекса составил почти 9%. В проекте впервые предложены новые модели классификации глубокого леса и сокращения количества весов на основе подмножеств «близко» расположенных распределений вероятностей классов на единичном симплексе. Веса назначаются не деревьям и не примерам, а подмножествам распределений вероятностей классов, получаемых на выходе каждого дерева решений для каждого примера. В качестве модели разбиения единичного симплекса была выбрана модель тотализатора (imprecise pari-mutuel model) Уолли, в соответствии с которой единичный симплекс разбивается на множество подмножеств. Веса подмножеств распределений можно рассматривать как вероятности второго порядка над подмножествами симплекса. Идея определения весов не для деревьев, не для примеров обучающей выборки, а для подмножеств распределений вероятностей классов, которые одновременно определяются и классификационной «способностью» деревьев, и тем, насколько пример типичен для своего класса, предложена впервые. В проекте разработаны новые модели классификации на основе сужения пространства значений весов. Кроме того, попытка получения эффективных новых моделей привела к неожиданному новому научному результату. Сужение множества весов есть их сглаживание и ограничение, что является основой регуляризации или использования регуляризационного слагаемого в целевой функции. Использование модификации алгоритма Франка-Вульфа дало возможность построения множества моделей глубокого леса с использованием различных ограничений на единичный симплекс весов. Использовались многие известные интервальные статистические модели, такие как интервальная модель засорения, модель распределений Дирихле, интервальная модель тотализатора, границы Колмогорова-Смирнова, модель постоянного отношения шансов. Были разработаны новые модели реализации робастных метрических моделей расстояний, которые, с одной стороны, использовали общий подход к модификации глубоких лесов с использованием обучаемых весов, а, с другой стороны, в которых были предложены совершенно новые идеи, ориентированные на реализацию общего подхода именно для решения задач в рамках метрических моделей на деревьях и лесах. Алгоритмы сиамских и тройных нейронных сетей впервые были реализованы на моделях случайных и глубоких лесов. Первая модель - сравнение пар объектов и изменение взаимного расположения объектов в пространстве признаков с учетом их принадлежности одним и тем же классам. Для обеспечения выпуклости функции потерь была впервые предложена идея комбинировать в одной функции евклидово расстояние и манхэттенское расстояние (расстояние Минковского порядка 1). Вторая модель используется при отсутствии меток классов и служит для анализа семантически близких и далеких объектов. Это – первый полный аналог сиамских нейронных сетей на случайных лесах. В проекте предложено управлять близостью объектов при помощи весов деревьев и получить новую обучающую выборку, состоящую из конкатенированных пар объектов. Третья модель - альтернатива тройных нейронных сетей. Идея обучения в данном случае аналогична. В проекте разработан и реализован новый алгоритм для оконтуривания паталогических образований в легких на основе мультипланарных реконструкции изображений компьютерной томографии в формате DICOM. Основой для реализации является идея рассматривать планарные изображения снимков компьютерной томографии как единый трехмерный объект. Задача сводится к нахождению границ объекта в трехмерном пространстве. Для сегментации легких разработан метод на основе алгоритма порогового включения. Применен новый подход для сегментации объектов в легких на снимках КТ, учитывающий различные типы расположения онкологических узлов. Был разработан алгоритм покадровой заливки, алгоритм корневого контура с применением дилатации и фильтрация плотностей для изображения легких.

Аннотация результатов, полученных в 2019 году
Впервые были предложены новые модификации глубокого леса для реализации разделения данных с учетом их классов в пространстве признаков и решена задача реализации метрических методов обучения (distance metric learning) на глубоких лесах. Было предложено назначение весов деревьям решений во всех случайных лесах, чтобы уменьшить расстояния между парами примеров из одного класса и увеличить их между парами примеров из разных классов. Использовалась специальная сравнительная функция потерь, включающая различные метрики расстояния, для получения задачи квадратичной оптимизации. Предложены также модификации глубокого леса для реализации задачи передачи обучения (transfer learning), где для вычисления весов деревьев используются мера консенсуса, основанная на энтропии Шеннона, и среднее расстояние (mean discrepancy) между исходными и целевыми данными. Разработаны новые модели глубоких леса выживаемости для решения задачи анализа выживаемости. В рамках моделей предложено изменение процедуры усреднения, используемой для оценки функции выживания леса на основе функции выживаемости на выходе деревьев решений, применение коэффициента конкордации (C-индекс) в качестве целевого показателя для построения задачи оптимизации и замена С-индекса его приближенным представлением, которое основано на применении хорошо известной петлевой функции потерь. Впервые был предложен подход, в соответствии с которым для использования множеств распределений на следующем уровне (слое) глубокого леса деревья решений следующего уровня лесного каскада обучаются на основе расширенного обучающего набора, который добавляется новыми сгенерированными распределениями вероятностей классов из исходных множеств. Увеличенное количество обучающих примеров компенсируется обновлением гипер-параметров используемой интервальной модели, например, модели Дирихле или границ Колмогорова-Смирнова. Для работы с множествами распределений вероятностей классов на выходе деревьев решений, и для обеспечения робастности предложена мета-модель, которая определяет оптимальные веса деревьев решений. В рамках подхода введены новые функций потерь для задач классификации и регрессии, которые позволили свести минимаксные задачи оптимизации для вычисления оптимальных весов деревьев к задачам квадратичной оптимизации. Данный подход также реализован для задачи анализа выживаемости, где использовались доверительные интервалы для оценок Нельсона-Аалена. Предложен подход, использующий множества распределений, который заключается в назначении весов не деревьям, а подмножествам распределений вероятностей классов специальным образом, что делает решение более гибким и сокращает количество весов как параметров обучения. Впервые предложена новая архитектура случайного и глубокого леса, использующая множество нейронных сетей для повышения точности классификации. Фактически нейронные сети осуществляют нелинейное преобразование распределений вероятностей классов таким образом, чтобы обеспечит максимальную точность классификации на выходе случайного леса или глубокого леса. Нейронные сети являются расширением сиамских нейронных сетей, так как реализуют одинаковые функции. Идея использования такой архитектуры открывает новые возможности реализации самых различных задач машинного обучения, включая передачу обучения, обнаружение аномалий и т.д. Впервые было предложено рассмотреть задачу дифференциальной диагностики онкологических заболеваний, особенно атипичных случаев рака, как задачу обучения на одном примере (one-shot learning) или на нескольких примерах (few-shot learning), что обусловлено малым объемом обучающей выборки для атипичных случаев. Было предложено использование сиамских нейронных сетей и сиамского глубокого леса, как инструментов для реализации обучения на одном или нескольких примерах. Для повышения достоверности диагностики была разработана трехканальная архитектура системы классификации новообразований на снимках компьютерной томографии легкого для принятия решения о диагнозе пациента. Первый канал –классификатор, основанный на глубоких лесах. Два других канала – две сиамские нейронные сети (полносвязных нейронные сети и сверточные нейронные сети). Впервые предложена модификация глубокого леса, названная Адаптивный взвешенный глубокий лес. В соответствии с этой модификацией каждому примеру на очередном уровне каскада лесов присваивается вес в зависимости от того, как правильно он был классифицирован на этом уровне. Больший вес присваивается «плохим» примерам, чтобы классификаторы на следующих уровнях пытались его правильно классифицировать. Две стратегии использования весов рассматриваются: взвешенные примеры выбираются случайным образом для обучения деревьев в соответствии с их весами и используются веса при реализации процедуры расщепления при обучении деревьев решений. Предложена трехканальная система сегментации легкого, где первый канал реализован в виде процедуры традиционной обработки изображений, второй канал – процедура глубокого обучения с использованием сегментационной нейронной сети 3D U-Net, являющейся фактически дублированием первого канала, третий канал – процедура глубокого обучения с использованием сегментационной нейронной сети 2D U-Net для особых случаев сегментации, которые сложно выполнить при помощи первых двух каналов. Такая архитектура достигает основной цели - избежать случаев пропущенных новообразований. Дополнительно в процессе выполнения проекта были предложены новые модели оценки эффекта лечения (heterogeneous treatment effect) для реализации концепции персонализированной медицины на основе управляемых случайных и глубоких лесов для случаев, когда количество элементов в испытуемой группе (treatment group) мало. Был предложен эффективный мета-алгоритм, называемый, Co-learner, для оценки условного среднего эффекта воздействия (лечения), который основан на конкатенации векторов признаков из контрольной и лечебной групп и генерации дополнительных конкатенированных векторов. Большая часть результатов опубликована в журналах, включая журналы, индексированные Scopus и Web of Science. Получены свидетельства регистрации 2 программ, 1 базы данных и 2 патентов на изобретение. Результаты выполнения проекта широко освещались в прессе, где указывалось, что проект выполняется при поддержке РНФ, примерами статей, посвященных проекту, являются: https://tass.ru/obschestvo/5995816 https://minobrnauki.gov.ru/ru/press-center/card/?id_4=901 https://www.popmech.ru/science/news-458242-uchyonye-nashli-novyy-sposob-diagnostiki-opuholey/#part0 https://lenta.ru/news/2019/01/26/20_seconds/?utm_source=yxnews&utm_medium=desktop https://www.technologynetworks.com/tn/news/ai-for-lung-cancer-diagnostics-314929 https://ecmiindmath.org/2019/03/20/an-intelligent-system-for-lung-cancer-diagnostics/

Аннотация результатов, полученных в 2020 году
1. Разработаны новые архитектуры подсистем сегментации и классификации, позволяющие уменьшить число ложноположительных случаев и повысить точность дифференциальной диагностики за счет реализации более сложных композиций сиамских нейронных сетей. В качестве новой архитектуры сегментации предложено использовать комбинацию 3D детектирования и сегментации внутри ограничивающего параллелепипеда, что позволяет значительно повысить точность сегментации. В качестве новой архитектуры классификации предложено использовать систему, состоящую из трех параллельных каналов классификации с последующим определением показателей информативности системы для каждого канала в отдельности и для всего алгоритма в целом. Второй канал использует ансамбль 80 триплетных нейронных сетей (triplet neural network), каждая из которых может рассматриваться как обобщение сиамкой сети. Разработана специальная процедура обучения ансамбля, позволяющая формировать триплеты в условиях существенной несбалансированности обучающих данных. 2. Впервые предложен подход к интерпретации и объяснению результатов диагностирования, основанный на использовании естественного языка. Основные идеи в основе подхода: 1) описание представляется в виде иерархии примитивов и фраз, которые описывают форму, структуру, включения, контуры и другие особенности новообразования; 2) создание и обучение простых классификаторов, которые классифицируют подозрительные объекты или их представление малой размерности на классы, соответствующие примитивам, каждый классификатор соответствует особенности новообразования; 3) реализация алгоритма в виде двух частей: первая часть - модель объяснения (LIME или SHAP) для выбора значимых признаков из объекта или его представления, вторая часть, ключевая - набор классификаторов, цель которых соединить выбранные значимые признаки, с предложениями на естественном языке. 3. Предложены две новые модификации адаптивного глубокого леса. Первая - передача обучения (transfer learning), которая направлено на решение задачи классификации. В проекте предлагается решение задачи адаптация домена без учителя, когда используется представление исходных векторов на каждом уровне каскада с помощью адаптивных весов вместо преобразования пространства признаков для достижения минимума меры близости доменов. Вторая модификация основана на «размывании» весов примеров при помощи интервальных статистических моделей, например, интервальной модели Дирихле или модели засорения, что приводит к множеству весов как части единичного симплекса и множеству лесов, из которых выбирается для тестирования один, который на обучении дал максимальную ошибку классификации. Параметр интервальной модели позволяет адаптивно управлять степенью робастности каскадов глубокого леса. 4. Разработаны новые модели оценки эффекта лечения (heterogeneous treatment effect) при малых испытуемых группах пациентов. Основная идея – использование и адаптация аналогов локальных моделей интерпретации и линеаризация модели «испытуемой группы» в локальной области текущего анализируемого пациента. Предложено использование метрики расстояния между данными, определяемой как среднее расстояние по всему лесу между листьями деревьев решений, в которые попадают эти примеры. Среднее расстояние определяется по всему случайному лесу. Локальную линеаризацию оценки функции отклика предлагается выполнять по нескольким близким наблюдениям на основе матрицы схожести, построенной по случайному лесу. Для смягчения эффекта избыточности данных используется модель LASSO. 5. Разработана концепция функционирования и трансформации отделения лучевой диагностики онкологических медицинских учреждений в условиях использования интеллектуальных систем диагностики заболеваний. Показано, что деятельность врача-рентгенолога преобразуется в циклический процесс, подразумевающий кроме анализа и интерпретации изображений контроль верификации патологии, присвоение меток класса для машинного обучения, маркировку патологии и формирование базы данных изучаемой патологии. Разработаны процедуры внедрения практики постоянного обновления базы данных при выявлении каждого нового случая заболевания, когда врач получает обработанные системой данные и сравнивает результат со своей собственной интерпретацией патологии. Большая часть результатов опубликована в журналах, включая журналы, индексированные Scopus и Web of Science, а также представлена на международных научных конференциях.