КАРТОЧКА
ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер 22-79-00171
НазваниеВычислительная креативность в контексте создания и реставрации объектов изобразительного искусства
РуководительКаримов Артур Искандарович, Кандидат технических наук
Организация финансирования, регион Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)", г Санкт-Петербург
Период выполнения при поддержке РНФ | 07.2022 - 06.2024 |
Конкурс№70 - Конкурс 2022 года «Проведение инициативных исследований молодыми учеными» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными.
Область знания, основной код классификатора 09 - Инженерные науки, 09-107 - Мехатроника и робототехника
Ключевые словавычислительная креативность, компьютерное искусство, искусственная креативность, реставрация, искусственный интеллект, GAN, перенос стиля, нейронные сети, нефотореалистический рендеринг
Код ГРНТИ28.23.27
СтатусУспешно завершен
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Проект направлен на развитие решений в области вычислительной креативности и машинного творчества, предназначенных для реконструкции элементов художественного процесса при создании объектов изобразительного искусства и их воспроизведения автоматическими техническими средствами, такими как промышленные роботы. Целью проекта является прецизионное воспроизведение объектов культурного наследия в области живописи и создание новых артефактов, сохраняющих заданные черты художественного стиля таким образом, чтобы визуально и по технике исполнения иметь минимальные отличия от аутентичных оригиналов. Достижение целей исследования предполагается за счет создания нового математического обеспечения, новых алгоритмов и программно-аппаратных средств.
В ходе проекта будут созданы алгоритмы и программное обеспечение для имитации стиля заданного художника или определенной художественной традиции. Под имитацией понимается воспроизведение не только рисунка, но и процесса создания картины, включая генерирование контента в цифровом виде, а также смешивание красок и нанесение их с помощью кисти в заданной манере в один или несколько слоев. Существующие в настоящее время нейросетевые алгоритмы, основанные на технологиях Style Transfer, GAN и CAN способны решать данную задачу лишь с точки зрения цифровой копии, и непригодны для применения в автоматизированной живописи и реставрации с помощью роботов. В то же время, алгоритмы генерации набора команд, такие как алгоритм Херцмана и оптимизационные процедуры, уступают по качеству имитации художественного стиля нейросетевым подходам.
В рамках настоящего проекта реконструкция художественного процесса будет осуществляться на основе анализа структуры мазков картины художника с учетом физически достоверной модели кисти. Помимо повышения достоверности имитации живописи, алгоритмическая реконструкция позволит генерировать набор команд для робота-живописца. Интеграция разработанных алгоритмов с алгоритмами записи утрат художественного произведения позволит создать алгоритм записи дефектов и восстановления утраченных фрагментов картин на основе генеративно-состязательных нейронных сетей (GAN). В настоящее время как определение содержания утрат, так и их запись осуществляется вручную, что значительно увеличивает сроки и стоимость реставрационных работ. В то же время успешные примеры автоматизированной реставрации (например, фресок в церкви Св. Хуанов в Валенсии) показывают важность развития таких подходов. Кроме того, ручная реставрация приводит к неизбежному искажению оригинального произведения, внося в него индивидуальную манеру реставратора. Таким образом, применение роботизированных устройств позволит минимизировать субъективный фактор при реставрации. Подлежащие разработке в ходе выполнения проекта алгоритмы могут быть использованы при создании реплик утраченных или особо ценных произведений, например, когда в экспозиции может находиться копия, визуально эквивалентная оригиналу, подобно тому как современные технологии уже позволяют восстанавливать утраченные памятники скульптуры с использованием 3D-сканирования, моделирования и 3D-печати.
Проект предполагает разработку экспериментального робота-живописца, предназначенного для переноса изображений, существующих в цифровом виде, таких как синтезированный алгоритмом утраченный фрагмент картины мастера прошлого или картина цифрового художника, на физический носитель: холст, стену и другие носители. Существующее техническое обеспечение, а именно, экспериментальные образцы роботов-живописцев, пока еще также не способны решать данную задачу в полном объеме. Один из наиболее близких к решению этой задачи прототипов был ранее создан командой под руководством автора данного проекта. Ключевой особенностью нового устройства будет возможность прецизионного смешения аутентичных художественных красок. Будет разработан алгоритм, позволяющий роботу самостоятельно обучиться смешению красок для достижения требуемого разнообразия цветовой гаммы.
В результате выполнения проекта предполагается создание интерактивной программы, позволяющей совместно с пользователем (художником, изготовителем копий, реставратором и т.п.) синтезировать изображения, обладающие самостоятельной художественной ценностью, и реализовывать их средствами робототехнической живописи, или реставрировать поврежденные фрагменты картин.
Ожидаемые результаты
В ходе выполнения проекта ожидается достичь следующих результатов:
1. Новые алгоритмы извлечения мазков из художественного изображения на основе машинного обучения. Наборы формальных признаков, позволяющих идентифицировать индивидуальную манеру художника. Значимость: полученные с помощью новых алгоритмов данные можно использовать для создания копий, реставрирования и имитации живописи определенного художника, для установления авторства, для генерирования суррогатных данных. Их можно будет использовать в науках о культурном наследии, музейном деле, в культурно-досуговых целях.
2. Новые методы синтеза структуры мазков с учетом их формальных признаков, аналогичных признакам мазков на картинах заданного живописца. Данный результат будет достигнут впервые в мировой научной практике. Значимость: полученные с помощью новых алгоритмов структуры мазков можно будет использовать для физической реставрации картин с помощью роботов. Полученные алгоритмы машинного обучения также позволят лучше решать более общие задачи перехода от растровых изображений к векторным и наоборот, что может найти применение как в науках о культурном наследии, так и в создании технических рисунков и digital art.
3. Новое программное и аппаратное обеспечение робота-живописца, позволяющее автоматически смешивать цветные краски с заданной точностью с использованием нелинейных моделей и наносить их на холст художественной кистью. Значимость: впервые будет создан робот, пригодный для реставрации произведений искусства и полноценного воспроизведения цифровой живописи средствами именно живописи, а не цветной печати. Робот может быть использован не только для реставрации, но и экспериментального исследования свойств красок, в том числе аутентичных пигментов прошлого, и - более широко - смесей произвольных веществ низкой и средней вязкости. Актуальность этого пункта обусловлена, в частности, тем, что до сих пор не известны нелинейные формулы, сопоставляющие заданному в RGB цвету пропорции красок в смеси. Робот, его алгоритмы и программное обеспечение найдут применение в науках о культурном наследии, digital art и прикладных направлениях, таких как интерьерная живопись, декоративно-оформительские работы, а после соответствующей адаптации - в аналитической химии и аддитивном производстве, в т.ч. биопечати.
4. Разработан новый алгоритм машинного обучения на основе регрессии и новая цветовая модель HSC (Hue, Saturation, Continuous Lightness), альтернативная существующим цветовым моделям RGB, HSL, HSV и т.п., позволяющие роботу эффективно обучаться получению новых цветов при использовании смесей базовых красок. Данный результат будет новым. Значимость: разработанный алгоритм и модель HSC будут полезны для digital art и реставрации, более того, они могут использоваться в других исследованиях, например, при использовании данных с гиперспектральных камер или при идентификации данных рамановской спектроскопии, то есть, более широко - в целом ряде естественных и технических наук.
5. Новые алгоритмы синтеза как фрагментов, так и целых реалистических семантически-зависимых изображений на основе технологий машинного обучения и генеративно-состязательных сетей (GAN), позволяющие добиваться большего реализма, чем известные системы. Также данные алгоритмы могут быть использованы для синтеза двумерных массивов суррогантых данных произвольного рода. Данные алгоритмы будут опираться на новейшие результаты в этой области и ожидается, что они превзойдут их. Значимость: новые результаты предполагается использовать в науках о культурном наследии, музейном деле, в культурно-досуговых целях, а после соответствующей адаптации - в других приложениях искусственного интеллекта.
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Аннотация результатов, полученных в 2022 году
В первый год выполнения проекта решались задачи создания алгоритмов генерации структуры мазков по растровому изображению, а также алгоритмы создания плотных карт мазков и разработка конструктивных элементов перспективного робота-живописца. Созданы новый алгоритм и программа на основе нейронной сети pix2pix, использующей технологию GAN, отличающиеся от аналогичных алгоритмов и программ тем, что предоставляют в явном виде данные о геометрической структуре мазков с оценкой достоверности их распознавания. Для создания обучающей выборки программы было разработано приложение на основе эвристического градиентного алгоритма рендеринга, генерирующее изображения, имитирующие репродукции живописных произведений, используя в качестве входных данных растровое изображение и библиотеку оцифрованных реальных мазков. Для повышения качества результатов работы алгоритма эта библиотека была создана самостоятельно. Она содержит 48 изображений мазков в высоком разрешении с картами прозрачности и картами нормалей, которые используются при рендеринге, накладывая блики и полутени и тем самым имитируя рельеф отсканированного живописного полотна.
С помощью разработанной программы были созданы размеченные плотные карты мазков для картин трех известных художников конца XIX века: Винсента ван Гога, Жоржа Сёра, Исаака Левитана. Для каждой картины было получено растровое изображение границ мазков, растровое изображение скелетов мазков, набор распределения геометрических параметров мазков и данные о достоверности распознавания каждого мазка в диапазоне от 0 до 1.
Также в ходе первого года проекта был разработан алгоритм и основанное на нем приложение для стилизации исходных растровых изображений в виде живописных произведений, воспроизводящих стиль конкретного художника, использующее данные о структуре мазков, извлеченных из стилевого изображения с помощью нейронной сети. Приложение для стилизации изображений основано на применении двух алгоритмов: эвристического градиентного алгоритма рендеринга, генерирующего предварительно стилизованное живописное изображение, и алгоритма оптимизации на основе метода имитации отжига, который модифицирует форму, расположение и цвет мазков таким образом, чтобы был достигнут минимум целевой функции, представляющей собой взвешенную сумму среднеквадратичной погрешности между стилизованным и исходным изображением, среднеквадратичной погрешности между гистограммами геометрических параметров мазков стилевого и стилизованного изображения и среднеквадратичной погрешности между гистограммой цвета стилевого и стилизованного изображения. Два последних компонента целевой функции задают правила, по которым изображение модифицируется в соответствии с манерой живописи конкретного художника. Такой метод позволяет более точно имитировать стиль, чем другие известные подходы, например, нейронный перенос стиля.
На основе предложенного алгоритма были сформулированы новые процедурные модели генерации мазков в заданном стиле. Данные модели состоят из набора явных и неявных правил, которые используются для генерирования мазков. Правила, сформулированные явно, представлены в виде процедур и параметров эвристического алгоритма рендеринга, а правила, сформулированные неявно, представлены в виде целевой функции алгоритма оптимизации.
Была разработана новая модель художественной кисти для робота-живописца, оснащенная стальной пружиной, закрепленной на смесителе краски и снабженной круглым наконечником из щетины. Новая кисть позволяет наносить на холст мазки постоянной ширины произвольной длины, ограниченной только емкостью смесителя краски. Для уточнения параметров этой кисти, таких как диапазон ее сжатия по оси Z, не вызывающий деформацию ширины мазка, а также зависимости ширины оставляемого ей мазка от времени и объема оставшейся в смесителе краски, был разработан алгоритм параметрической идентификации модели кисти на основе машинного обучения. В результате было найдено, что в пределах погрешностей от 5% до 20% (в зависимости от зернистости холста) ширина мазка остается неизменной. Научной новизной
является формулировка методики исследования кисти, включающей этапы экспериментального исследования и обработки данных, разработанной впервые.
В ходе работы была разработана новая техническая документация на узлы и компоненты смесителя краски, а также создана новая управляющая программа робота-живописца, учитывающая особенности новой кисти. Было достигнуто более высокое качество смешивания краски с одновременным уменьшением вспенивания красочной смеси. Исследование эмпирически показало существование динамического хаоса в системе смеситель-краска, благодаря чему удалось достичь высоких технических и эксплуатационных характеристик. Новыми научными результатами являются достигнутые показатели хаотического перемешивания в вязкой среде с использованием всего одной степени свободы, по которой смеситель управляется, а именно, скорость работы привода системы перемешивания.
Также была разработана новая цветовая модель HSC (Hue - оттенок, Saturation - насыщенность, Continuous Lightness - непрерывная яркость), альтернативная известным цветовым пространствам RGB, HSV или HSL, а также новая цветовая модель TABC, определяющая цвет составной красочной смеси, содержащей объемные доли из 4-х основных красок. Ключевое отличие предложенной модели HSC от известной модели HSL заключается в том, что HSC гладко и непрерывно преобразуется в пространство RGB и обратно. Созданная модель TABC позволяет осуществлять преобразование заданного в любом известном пространстве цвета (например, HSV) в объемные доли краски, которые затем использует робот-живописец. Обе цветовые модели получены впервые. Таким образом, полученные результаты являются новыми и соответствуют мировому уровню исследований в предметной области. По результатам работы были опубликованы две статьи в журналах первого квартиля Web of Science.
Публикации
1. Каримов А.И., Копец Е.Е., Леонов С., Скалера Л., Бутусов Д.Н. A Robot for Artistic Painting in Authentic Colors Journal of Intelligent & Robotic Systems, №107(34) (год публикации - 2023) https://doi.org/10.1007/s10846-023-01831-4
2. Каримов А.И., Копец Е.Е., Шпилевая Т., Кацер Е., Леонов С., Бутусов Д.Н. Comparing Neural Style Transfer and Gradient-Based Algorithms in Brushstroke Rendering Tasks Mathematics, №11(10), стр. 2255 (год публикации - 2023) https://doi.org/10.3390/math11102255
3. - Ученые лэти научили робота-художника писать картины цветными красками Информационный портал "Научная Россия", Усик И. УЧЕНЫЕ ЛЭТИ НАУЧИЛИ РОБОТА-ХУДОЖНИКА ПИСАТЬ КАРТИНЫ ЦВЕТНЫМИ КРАСКАМИ / Усик И. // Научная Россия. — 2022 — URL: https://scientificrussia.ru/articles/ucenye-leti-naucili-robota-hudoznika-pisat-kartiny-cvetnymi-kraskami (Дата обращения: 05.12.2022) (год публикации - )
4. - В России создали робота-художника для реставрации картин Информационный портал "Газета.ru", Бунина В. В России создали робота-художника для реставрации картин / Бунина В. // Газета.Ru. — 2022 — URL: https://www.gazeta.ru/science/news/2022/12/02/19174621.shtml (Дата обращения: 05.12.2022) (год публикации - )
5. - Ученые ЛЭТИ научили робота-художника писать картины цветными красками Официальный сайт СПбГЭТУ «ЛЭТИ», Ученые ЛЭТИ научили робота-художника писать картины цветными красками — 2022 — URL: https://etu.ru/ru/nauchnaya-i-innovacionnaya-deyatelnost/novosti1/uchenye-leti-nauchili-robota-hudozhnika-pisat-kartiny-cvetnymi-kraskami (Дата обращения: 05.12.2022) (год публикации - )
Аннотация результатов, полученных в 2023 году
На втором этапе проекта решались задачи объединения ранее разработанного программного и аппаратного обеспечения в единый программно-аппаратный комплекс, предназначенный для робототехнической реставрации художественных работ на том этапе, когда основные мероприятия по консервации красочного слоя и основы произведены и требуется осуществить ретушь дефектов и утрат красочного слоя. Усовершенствованы разработанные на первом году исследования алгоритмы StrokeIdentifier и StrokeLearner, позволяющие после обучения на тестовой выборке генерировать карты мазков с распределением параметров, близким к распределению параметров мазков на картинах тестовой выборки. В ходе тестирования алгоритма были созданы обучающие выборки на картинах Винсента ван Гога, Аркадия Рылова и Эдварда Мунка. Произведено сравнение результатов работы алгоритма StrokeLearner и базового алгоритма Херцманна, лежащего в основе этого алгоритма. В формате анкетирования произведено качественное сравнение двух алгоритмов. Ключевым вопросом анкеты был вопрос “какая из двух картин больше похожа по стилю на картину художника N”, и алгоритму, сгенерировавшему выбранную картину, присваивался балл 1, а другому алгоритму присваивался балл -1, а в качестве N стояла фамилия одного из 4 художников, на картинах которых осуществлялось обучение. По результатам исследования, алгоритм StrokeLearner получил статистически достоверное предпочтение перед алгоритмом Херцманна. Количественное сравнение показало, что нормированные гистограммы распределения параметров мазков, генерируемых алгоритмом StrokeLearner, ближе к параметром мазков на обучающей выборке, чем аналогичные гистограммы для алгоритма Херцманна с настройками по умолчанию, как в смысле среднеквадратичного отклонения, так и в смысле медианного значения.
Затем в ходе выполнения проекта был создан новый алгоритм и одноименная программа StrokeRepair, которая с применением нейросетевого алгоритма CoModGAN восстанавливает недостающие фрагменты художественных изображений, а затем с помощью алгоритма StrokeLearner достраивает мазки поверх восстановленных областей в стиле художника, кисти которого принадлежит реставрируемое полотно.
Для обучения нейронной сети CoModGAN был разработан собственный алгоритм нанесения масок дефектов на обучающие семплы картин в обучающей выборке, основанный на анизотропности подложки художественного изображения и формирующего трещины и утраты с краями вдоль вертикальных и горизонтальных линий, соответствующих волокнам дерева или льняного холста. После обучения на наборе 1024 тестовых изображений размером 512х512 пикселей, нейронная сеть обучилась восстанавливать недостающие фрагменты картин. Точность восстановления оценивалась по параметрам “начальное расстояние Фреше” (Frechet Inception Distance, FID) и “воспринимаемое расстояние схожести между участками изображения” (Perceptual Image Patch Similarity Distance, LPIPS). Полученные параметры были равны FID = 3.61 и LPIPS = 0.18, что сопоставимо с результатами для этой нейронной сети, известными из литературы, а также путем оценки СКО реального и восстановленного изображения и дала величину 15,3% при повреждении от 2% до 6% площади изображения
По сравнению с первым годом выполнения проекта алгоритм StrokeLearner был дополнен математической моделью круглой художественной кисти, разработанной на основе уравнений динамики пучка щетинок при соблюдении условий единственности решения уравнения Эйлера-Бернулли для каждой из щетинок. Было показано, что такие уравнения динамики кисти имеют аналитическое решение. За счет этого удается построить эффективную оптимизационную процедуру для расчета траектории движения робота и одновременно с виртуальными мазками получить набор машинных кодов для реализации ретушного слоя с помощью средств робототехнической живописи.
Разработанные программы были объединены в новый комплекс программного обеспечения “Реставратор робототехник”, для автоматизированной ретуши живописных работ полного цикла, включая ретушь физических образцов картин, с использованием разработанных алгоритмов StrokeIdentifier, StrokeLearner, StrokeRepair. Было проведено тестирование разработанного программного обеспечения на тестовом наборе аугментированных картин и произведена количественная и качественная оценка произведенной реставрации.
Помимо этого, для реализации робототехнической реставрации были разработаны алгоритм и программное обеспечение системы управления механизмами робота-живописцем при реализации процедур автоматической реставрации с использованием разработанного программного и методического обеспечения для ретуши художественных изображений. Комплекс прикладного программного обеспечения, получившего название RobotControl, написанный на языке C# и на графическом языке программирования робота Jaka, управляет коллаборативным роботом Jaka Zu-3, размещенном на столе со вспомогательным оборудованием, включающим стойку для сменных кистей, автоматическую кистемойку и автоматическую сушилку кистей, а также систему быстрого крепления холста к столу.
В целях тестирования разработанного программно-аппаратного комплекса, был произведен эксперимент по реставрации копии картины А. Рылова “Белая ночь. Ночная заря”, написанной роботом. На картину был вручную с помощью мастихина и растворителя нанесен дефект, который сначала был автоматически ретуширован с помощью алгоритма StrokeRepair, а затем закрашен с помощью робота-живописца. Качество реставрации было оценено как высокое. Хотя алгоритм, не обладая данными об исходной картине, не сумел реконструировать все потерянные детали в точности, правки, внесенные алгоритмом StrokeRepair, были нанесены роботом на картину с высокой точностью, и субъективная оценка результата реставрации оказалась высокой.
Публикации
1. - ИСКУССТВЕННАЯ ЖИВОПИСЬ — КАК РОБОТЫ ПИШУТ КАРТИНЫ? ИНТЕРВЬЮ С СОЗДАТЕЛЕМ РОБОТА-ХУДОЖНИКА АРТУРОМ КАРИМОВЫМ электронное периодическое издание «Научная Россия», Еркнапешян М. ИСКУССТВЕННАЯ ЖИВОПИСЬ — КАК РОБОТЫ ПИШУТ КАРТИНЫ? ИНТЕРВЬЮ С СОЗДАТЕЛЕМ РОБОТА-ХУДОЖНИКА АРТУРОМ КАРИМОВЫМ / Еркнапешян М. // Научная Россия. - 2023 - URL: (год публикации - )
2. - В России создали робота-реставратора Сетевое издание Газета.Ru, Бунина В. В России создали робота-художника для реставрации картин / Бунина В. // Газета.Ru. — 2023 — URL: https://www.gazeta.ru/science/news/2023/06/09/20623592.shtml (Дата обращения: 05.12.2023) (год публикации - )
3. - В России создали робота-реставратора Сайт Российского Научного Фонда, Бунина В. В России создали робота-художника для реставрации картин / Бунина В. // Сайт Российского Научного Фонда. - 2023 - URL:https://rscf.ru/news/presidential-program/v-rossii-sozdali-robota-restavratora/?bitrix_include_areas=N&clear_cache=Y (год публикации - )
4. - Сотрудники ЛЭТИ создали робота, способного создавать картины в стиле Аркадия Рылова и Клода Моне Сетевое издание discover24.ru Источник: https://discover24.ru, Бонтарюк В. Сотрудники ЛЭТИ создали робота, способного создавать картины в стиле Аркадия Рылова и Клода Моне / Бонтарюк В. // Сетевое издание discover24.ru. - 2023 - URL: (год публикации - )
5. - Будущее реставрации: робот повторил пейзажи великих художников сайт Минобрнауки России, Будущее реставрации: робот повторил пейзажи великих художников//Минобрнауки.-2023-URL: https://www.minobrnauki.gov.ru/press-center/news/nauka/69456/ (Дата обращения: 10.12.2023) (год публикации - )
6. - В ЛЭТИ обучили нейросеть писать картины в стиле Клода Моне Сетевое издание "Питерские заметки", Колмина Д. В ЛЭТИ обучили нейросеть писать картины в стиле Клода Моне / Колмина Д. // Питерские заметки. - 2023 - URL: https://piterskie-zametki.ru/251255 (Дата обращения: 10.12.2023) (год публикации - )
7. - В России разработали робота-реставратора Сетевое издание "Москва 24", Бунина В. В России создали робота-художника для реставрации картин / Бунина В. // Москва 24. - 2023 - URL: https://www.m24.ru/news/tehnologii/09062023/586533 (Дата обращения: 10.12.2023) (год публикации - )
8. А. И. Каримов, М.Д. Стрельников, С.В. Мазин, Д. С. Горюнов, М. В. Кулагин, Т.И. Каримов Модель сухой кисти для робототехнической живописи Известия высших учебных заведений. Приборостроение, - (год публикации - 2024)
9. Каримов А.И., Стрельников М.Д., Мазин С.В, Горюнов Д.С., Леонов С.В., Бутусов Д.Н. Physically Motivated Model of a Painting Brush for Robotic Painting and Calligraphy Robotics, - (год публикации - 2024)
Возможность практического использования результатов
Результаты проекта могут быть использованы при создании роботизированных систем реставрации художественных объектов, а также при разработке перспективных художественных роботов, например, для нанесения росписи на стены архитектурных сооружений, или копирования каллиграфических работ.