КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ

---

Номер проекта 22-79-00171

НазваниеВычислительная креативность в контексте создания и реставрации объектов изобразительного искусства

Руководитель Каримов Артур Искандарович, Кандидат технических наук

Организация финансирования, регион Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" , г Санкт-Петербург

Конкурс №70 - Конкурс 2022 года «Проведение инициативных исследований молодыми учеными» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными

Область знания, основной код классификатора 09 - Инженерные науки; 09-107 - Мехатроника и робототехника

Ключевые слова вычислительная креативность, компьютерное искусство, искусственная креативность, реставрация, искусственный интеллект, GAN, перенос стиля, нейронные сети, нефотореалистический рендеринг

Код ГРНТИ28.23.27

---

 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

---

Аннотация
Проект направлен на развитие решений в области вычислительной креативности и машинного творчества, предназначенных для реконструкции элементов художественного процесса при создании объектов изобразительного искусства и их воспроизведения автоматическими техническими средствами, такими как промышленные роботы. Целью проекта является прецизионное воспроизведение объектов культурного наследия в области живописи и создание новых артефактов, сохраняющих заданные черты художественного стиля таким образом, чтобы визуально и по технике исполнения иметь минимальные отличия от аутентичных оригиналов. Достижение целей исследования предполагается за счет создания нового математического обеспечения, новых алгоритмов и программно-аппаратных средств. В ходе проекта будут созданы алгоритмы и программное обеспечение для имитации стиля заданного художника или определенной художественной традиции. Под имитацией понимается воспроизведение не только рисунка, но и процесса создания картины, включая генерирование контента в цифровом виде, а также смешивание красок и нанесение их с помощью кисти в заданной манере в один или несколько слоев. Существующие в настоящее время нейросетевые алгоритмы, основанные на технологиях Style Transfer, GAN и CAN способны решать данную задачу лишь с точки зрения цифровой копии, и непригодны для применения в автоматизированной живописи и реставрации с помощью роботов. В то же время, алгоритмы генерации набора команд, такие как алгоритм Херцмана и оптимизационные процедуры, уступают по качеству имитации художественного стиля нейросетевым подходам. В рамках настоящего проекта реконструкция художественного процесса будет осуществляться на основе анализа структуры мазков картины художника с учетом физически достоверной модели кисти. Помимо повышения достоверности имитации живописи, алгоритмическая реконструкция позволит генерировать набор команд для робота-живописца. Интеграция разработанных алгоритмов с алгоритмами записи утрат художественного произведения позволит создать алгоритм записи дефектов и восстановления утраченных фрагментов картин на основе генеративно-состязательных нейронных сетей (GAN). В настоящее время как определение содержания утрат, так и их запись осуществляется вручную, что значительно увеличивает сроки и стоимость реставрационных работ. В то же время успешные примеры автоматизированной реставрации (например, фресок в церкви Св. Хуанов в Валенсии) показывают важность развития таких подходов. Кроме того, ручная реставрация приводит к неизбежному искажению оригинального произведения, внося в него индивидуальную манеру реставратора. Таким образом, применение роботизированных устройств позволит минимизировать субъективный фактор при реставрации. Подлежащие разработке в ходе выполнения проекта алгоритмы могут быть использованы при создании реплик утраченных или особо ценных произведений, например, когда в экспозиции может находиться копия, визуально эквивалентная оригиналу, подобно тому как современные технологии уже позволяют восстанавливать утраченные памятники скульптуры с использованием 3D-сканирования, моделирования и 3D-печати. Проект предполагает разработку экспериментального робота-живописца, предназначенного для переноса изображений, существующих в цифровом виде, таких как синтезированный алгоритмом утраченный фрагмент картины мастера прошлого или картина цифрового художника, на физический носитель: холст, стену и другие носители. Существующее техническое обеспечение, а именно, экспериментальные образцы роботов-живописцев, пока еще также не способны решать данную задачу в полном объеме. Один из наиболее близких к решению этой задачи прототипов был ранее создан командой под руководством автора данного проекта. Ключевой особенностью нового устройства будет возможность прецизионного смешения аутентичных художественных красок. Будет разработан алгоритм, позволяющий роботу самостоятельно обучиться смешению красок для достижения требуемого разнообразия цветовой гаммы. В результате выполнения проекта предполагается создание интерактивной программы, позволяющей совместно с пользователем (художником, изготовителем копий, реставратором и т.п.) синтезировать изображения, обладающие самостоятельной художественной ценностью, и реализовывать их средствами робототехнической живописи, или реставрировать поврежденные фрагменты картин.

---

 

ОТЧЁТНЫЕ МАТЕРИАЛЫ

---