КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ

---

Номер 22-79-00171

НазваниеВычислительная креативность в контексте создания и реставрации объектов изобразительного искусства

РуководительКаримов Артур Искандарович, Кандидат технических наук

Организация финансирования, регион Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)", г Санкт-Петербург

Период выполнения при поддержке РНФ

07.2022 - 06.2024

Конкурс№70 - Конкурс 2022 года «Проведение инициативных исследований молодыми учеными» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными.

Область знания, основной код классификатора 09 - Инженерные науки, 09-107 - Мехатроника и робототехника

Ключевые словавычислительная креативность, компьютерное искусство, искусственная креативность, реставрация, искусственный интеллект, GAN, перенос стиля, нейронные сети, нефотореалистический рендеринг

Код ГРНТИ28.23.27

---

 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

---

Аннотация
Проект направлен на развитие решений в области вычислительной креативности и машинного творчества, предназначенных для реконструкции элементов художественного процесса при создании объектов изобразительного искусства и их воспроизведения автоматическими техническими средствами, такими как промышленные роботы. Целью проекта является прецизионное воспроизведение объектов культурного наследия в области живописи и создание новых артефактов, сохраняющих заданные черты художественного стиля таким образом, чтобы визуально и по технике исполнения иметь минимальные отличия от аутентичных оригиналов. Достижение целей исследования предполагается за счет создания нового математического обеспечения, новых алгоритмов и программно-аппаратных средств. В ходе проекта будут созданы алгоритмы и программное обеспечение для имитации стиля заданного художника или определенной художественной традиции. Под имитацией понимается воспроизведение не только рисунка, но и процесса создания картины, включая генерирование контента в цифровом виде, а также смешивание красок и нанесение их с помощью кисти в заданной манере в один или несколько слоев. Существующие в настоящее время нейросетевые алгоритмы, основанные на технологиях Style Transfer, GAN и CAN способны решать данную задачу лишь с точки зрения цифровой копии, и непригодны для применения в автоматизированной живописи и реставрации с помощью роботов. В то же время, алгоритмы генерации набора команд, такие как алгоритм Херцмана и оптимизационные процедуры, уступают по качеству имитации художественного стиля нейросетевым подходам. В рамках настоящего проекта реконструкция художественного процесса будет осуществляться на основе анализа структуры мазков картины художника с учетом физически достоверной модели кисти. Помимо повышения достоверности имитации живописи, алгоритмическая реконструкция позволит генерировать набор команд для робота-живописца. Интеграция разработанных алгоритмов с алгоритмами записи утрат художественного произведения позволит создать алгоритм записи дефектов и восстановления утраченных фрагментов картин на основе генеративно-состязательных нейронных сетей (GAN). В настоящее время как определение содержания утрат, так и их запись осуществляется вручную, что значительно увеличивает сроки и стоимость реставрационных работ. В то же время успешные примеры автоматизированной реставрации (например, фресок в церкви Св. Хуанов в Валенсии) показывают важность развития таких подходов. Кроме того, ручная реставрация приводит к неизбежному искажению оригинального произведения, внося в него индивидуальную манеру реставратора. Таким образом, применение роботизированных устройств позволит минимизировать субъективный фактор при реставрации. Подлежащие разработке в ходе выполнения проекта алгоритмы могут быть использованы при создании реплик утраченных или особо ценных произведений, например, когда в экспозиции может находиться копия, визуально эквивалентная оригиналу, подобно тому как современные технологии уже позволяют восстанавливать утраченные памятники скульптуры с использованием 3D-сканирования, моделирования и 3D-печати. Проект предполагает разработку экспериментального робота-живописца, предназначенного для переноса изображений, существующих в цифровом виде, таких как синтезированный алгоритмом утраченный фрагмент картины мастера прошлого или картина цифрового художника, на физический носитель: холст, стену и другие носители. Существующее техническое обеспечение, а именно, экспериментальные образцы роботов-живописцев, пока еще также не способны решать данную задачу в полном объеме. Один из наиболее близких к решению этой задачи прототипов был ранее создан командой под руководством автора данного проекта. Ключевой особенностью нового устройства будет возможность прецизионного смешения аутентичных художественных красок. Будет разработан алгоритм, позволяющий роботу самостоятельно обучиться смешению красок для достижения требуемого разнообразия цветовой гаммы. В результате выполнения проекта предполагается создание интерактивной программы, позволяющей совместно с пользователем (художником, изготовителем копий, реставратором и т.п.) синтезировать изображения, обладающие самостоятельной художественной ценностью, и реализовывать их средствами робототехнической живописи, или реставрировать поврежденные фрагменты картин.

Ожидаемые результаты
В ходе выполнения проекта ожидается достичь следующих результатов: 1. Новые алгоритмы извлечения мазков из художественного изображения на основе машинного обучения. Наборы формальных признаков, позволяющих идентифицировать индивидуальную манеру художника. Значимость: полученные с помощью новых алгоритмов данные можно использовать для создания копий, реставрирования и имитации живописи определенного художника, для установления авторства, для генерирования суррогатных данных. Их можно будет использовать в науках о культурном наследии, музейном деле, в культурно-досуговых целях. 2. Новые методы синтеза структуры мазков с учетом их формальных признаков, аналогичных признакам мазков на картинах заданного живописца. Данный результат будет достигнут впервые в мировой научной практике. Значимость: полученные с помощью новых алгоритмов структуры мазков можно будет использовать для физической реставрации картин с помощью роботов. Полученные алгоритмы машинного обучения также позволят лучше решать более общие задачи перехода от растровых изображений к векторным и наоборот, что может найти применение как в науках о культурном наследии, так и в создании технических рисунков и digital art. 3. Новое программное и аппаратное обеспечение робота-живописца, позволяющее автоматически смешивать цветные краски с заданной точностью с использованием нелинейных моделей и наносить их на холст художественной кистью. Значимость: впервые будет создан робот, пригодный для реставрации произведений искусства и полноценного воспроизведения цифровой живописи средствами именно живописи, а не цветной печати. Робот может быть использован не только для реставрации, но и экспериментального исследования свойств красок, в том числе аутентичных пигментов прошлого, и - более широко - смесей произвольных веществ низкой и средней вязкости. Актуальность этого пункта обусловлена, в частности, тем, что до сих пор не известны нелинейные формулы, сопоставляющие заданному в RGB цвету пропорции красок в смеси. Робот, его алгоритмы и программное обеспечение найдут применение в науках о культурном наследии, digital art и прикладных направлениях, таких как интерьерная живопись, декоративно-оформительские работы, а после соответствующей адаптации - в аналитической химии и аддитивном производстве, в т.ч. биопечати. 4. Разработан новый алгоритм машинного обучения на основе регрессии и новая цветовая модель HSC (Hue, Saturation, Continuous Lightness), альтернативная существующим цветовым моделям RGB, HSL, HSV и т.п., позволяющие роботу эффективно обучаться получению новых цветов при использовании смесей базовых красок. Данный результат будет новым. Значимость: разработанный алгоритм и модель HSC будут полезны для digital art и реставрации, более того, они могут использоваться в других исследованиях, например, при использовании данных с гиперспектральных камер или при идентификации данных рамановской спектроскопии, то есть, более широко - в целом ряде естественных и технических наук. 5. Новые алгоритмы синтеза как фрагментов, так и целых реалистических семантически-зависимых изображений на основе технологий машинного обучения и генеративно-состязательных сетей (GAN), позволяющие добиваться большего реализма, чем известные системы. Также данные алгоритмы могут быть использованы для синтеза двумерных массивов суррогантых данных произвольного рода. Данные алгоритмы будут опираться на новейшие результаты в этой области и ожидается, что они превзойдут их. Значимость: новые результаты предполагается использовать в науках о культурном наследии, музейном деле, в культурно-досуговых целях, а после соответствующей адаптации - в других приложениях искусственного интеллекта.

---

 

ОТЧЁТНЫЕ МАТЕРИАЛЫ

---