Нейросеть смотрит на фрески
Сотрудники ИКИ РАН и Кирилло-Белозерского музея-заповедника исследуют возможности нейронных сетей для восстановления первоначального облика поврежденных произведения искусства.
Фрески собора Рождества Богородицы Ферапонтова монастыря — единственная роспись великого русского мастера Дионисия Мудрого, дошедшая до нашего времени почти в полном составе и подлинном виде с начала XVI века. К сожалению, в росписи есть некоторые потери, причем часть из них вызвана переделками в самом соборе. В частности, потеряны части фресок, украшающих барабан купола, после того как там пробили окна в XVIII веке.
Хотя первоначальный облик таких произведений мы никогда не узнаем, всегда интересно хотя бы попытаться представить, каким он мог быть. С этим успешно справляются реставраторы, восстанавливающие утерянные изображения из мелких фрагментов и на основе общей карты. Но каждое такое предприятие требует очень много времени и сил.
Решение, которое напрашивается сегодня, — использовать для этой работы нейронные сети, обученные на большой выборке изображений и способные генерировать картинки «по запросам пользователей». Однако насколько результат их работы будет приемлем с точки зрения искусствоведения?
Начальную проверку возможностей ИИ для решения этой задачи провели сотрудники ИКИ РАН и их коллеги из Музея фресок Дионисия — части Кирилло-Белозерского музея-заповедника. В качестве «основы» использовалась коллекция фотографий, полученных в ходе мультиспектральной съёмки росписей собора в 2016 году (совместная работа ИКИ РАН, Московского государственного университета геодезии и картографии, Национального исследовательского центра «Курчатовский институт», Государственного научно-исследовательского института реставрации).
Для реставрации поврежденных фресок использовалась нейросеть Stable Diffusion. Это глубокая модель машинного обучения, которая способна создавать изображения на основе текстовых описаний.
Результаты «тестовых прогонов» можно увидеть в анимации.
Нейросеть в целом хорошо справляется с «ретушированием» не только малых, но и значительных потерь. Ей удалось восстановить не только фоновый цвет и повторяющиеся узоры, что вполне естественно, но и фрагменты фигур святых, направление взгляда и положение рук.
Есть и «ошибки» — в частности, фреска с изображением праматери Евы, где положение глаза сильно смещено относительно того, которое мы ожидали бы увидеть.
Такого рода «ошибки» можно исправить, продолжая «обучать» нейронную сеть на специально подобранных изображениях фресок и частей фресок. Эта работа сейчас продолжается.
И в связи с этим появляется вопрос об оценке качества реконструкции, ответить на который сложно, поскольку у нас нет исходного изображения.
Один из путей — попросить искусствоведов дать такую оценку. Сотрудники Кирилло-Белозерского музея-заповедника, совместно с которыми проводятся работы, полагают, что уже сейчас качество восстановления довольно высокое.
«Второй метод — попробовать оценить качество реконструкции с помощью специализированных метрик, также использующих нейронные сети, — поясняет Артем Просветов, ведущий математик отдела телекоммуникационных сетей и высокопроизводительных вычислительных комплексов, — Первым шагом формируется выборка близких по содержанию изображений того же автора с минимальными потерями. Эта выборка поможет нейронной сети Inception понять, какие детали и объекты присутствуют на «типичном» рисунке. Для расширения выборки к изображениям применяются различные повороты и фильтры. Аналогичные операции проводятся для реконструированных изображений. Таким образом, получается две выборки: набор изображений с минимальными повреждениями и серия реконструированных рисунков. Теперь появляется возможность получить статистику активированных нейронов на глубоких слоях сети для каждого из наборов. Чем меньше отличаются распределения «хороших» и реконструированных изображений, тем выше качество реконструкции. Получается, что сравнивается общее впечатление нейронной сети от каждого из наборов изображений, поэтому присутствие конкретного объекта на рисунке играет несущественную роль, намного важнее общий набор деталей и совокупное множество типичных объектов».
Пока это лишь первые походы к решению задачи. И как справедливо замечают исследователи, мы никогда не сможем быть уверенными в том, что восстановленное изображение действительно соответствует тому, каким оно было изначально.
Но надо ли стремиться к максимально полному восстановлению? Нейросеть, видимо, действительно может показать нам что-то приближенное к нашему пониманию оригинала, но вполне может быть, что видимые потери для восприятия исторического искусства важны не менее, чем восстановленные фрагменты.