Рейксмузеум использовал ИИ для перекраски утраченных частей «Ночного дозора» Рембрандта. Вот как они это сделали.
Ключевые выводы
- В 1715 году амстердамская ратуша отрезала все четыре внешних края бесценного шедевра Рембрандта, чтобы он поместился на стене.
- Нейронные сети были использованы для заполнения недостающих фрагментов.
- Беспрецедентное сотрудничество между человеком и машиной теперь демонстрируется в Государственном музее.
Роберт Эрдманн, старший научный сотрудник Рейксмузеума, не может не улыбнуться, когда я прошу его как можно подробнее объяснить, как именно он использовал искусственный интеллект для воссоздания давно утраченных частей Самая известная картина Рембрандта ван Рейна «Ночной дозор» (1642).«Большинству людей просто нужна презентация в лифте», - говорит он мне в Zoom.
Ночной дозор - это гигант картины, а раньше он был еще больше. В 1715 году он перешел во владение бюрократов, ответственных за ратушу Амстердама. Чтобы повесить его на стену, они срезали все четыре внешних края бесценного шедевра Рембрандта, непреднамеренно создав скомпрометированную версию, которую мы знаем сегодня.
Пропавшие фрагменты «Ночного дозора» так и не были восстановлены, но мы знаем, как они выглядели, благодаря Герриту Лунденсу, современнику Рембрандта, который скопировал картину, когда она была завершена. На этих недостающих участках изображена верхняя часть арки, балюстрада внизу и два солдата роты ополчения Франса Баннинка Кока, которые стояли в крайнем левом углу.
Хотя отсутствие этих элементов не делает «Ночной дозор» менее впечатляющим, их присутствие сильно меняет внешний вид картины. Балюстрада подчеркивает движение компании вперед. Вместе четыре недостающие части смещают главные фигуры - Кока и Виллема ван Рейтенбургов - вправо, создавая более убедительную композицию.
В рамках операции «Ночной дозор», многомиллионной реставрационной миссии, Рейксмузеум решил воссоздать недостающие части картины, чтобы показать посетителям «Ночной дозор» в том виде, в каком его изначально создал Рембрандт. Один из простых способов сделать это - загрузить уменьшенную копию Лунденса в Photoshop, увеличить ее в пять раз, распечатать и на этом закончить.
Легко, но далеко не адекватно. Как говорит Эрдманн: «Нет ничего плохого в том, чтобы использовать такого артиста. Однако конечный продукт все равно будет содержать следы собственного стиля этого художника». Для Эрдманна единственным жизнеспособным решением было создание ряда нейронных сетей - программного обеспечения, которое имитирует человеческий мозг с помощью искусственных нейронов, - чтобы превратить копию Лундена в «оригинала» Рембрандта.
Люди, в отличие от компьютеров, не могут делать идеальные копии. Несмотря на то, что картина Лунденса верна, особенно в ее визуальных деталях, например, количестве пуговиц на пальто, перьях на перьях или гравюрах на алебарде, она все же содержит множество мельчайших отличий, которые не позволяли Эрдманну просто копировать. вставить его в оригинал.
Перспектива была первым и, возможно, самым важным пунктом в списке Эрдманна. «Геометрическое соответствие в нижней части копии довольно хорошее», - говорит он. «Наверху эта переписка начинает разваливаться; композиция выглядит вытянутой, предположительно потому, что Лунденс не смог добраться до верха картины, чтобы сделать точные размеры».
После создания нейросети, которая могла идентифицировать соответствующие элементы в обеих версиях «Ночного дозора» - от лиц и рук до одежды и оружия - Эрдманн сделал вторую нейросеть, которая могла растягиваться, вращаться, ракурсировать, сжиматься, и распаковать копию Лундена, чтобы ее размеры максимально соответствовали оригиналу Рембрандта.
По словам Эрдмана, этот шаг был «руководством к тому, куда мы должны поместить цифры слева, потому что они должны соответствовать экстраполяции из оригинального «Ночного дозора». Помимо совмещения двух картин, корректировки Эрдманна также изменили структуру лица таких фигур, как Кок, приблизив их к профессиональному изображению Рембрандта.
Как художник должен тонировать свой холст, прежде чем он сможет работать над композицией и цветом, так и Эрдманн должен был получить правильные размеры, прежде чем он мог перейти к третьему и последнему этапу своего процесса кодирования.. Следующая часть задействованной нейронной сети Эрдманна - перефразируя его речь в лифте - отправка алгоритма искусственного интеллекта в художественную школу.
«Похоже на то, как вы могли бы перевести текст с голландского на английский, мы хотели посмотреть, сможем ли мы преобразовать живописный стиль и палитру Лунденса в стиль Рембрандта», - объясняет он, сравнивая кривую обучения с викториной.. Для обучения ИИ давали случайные плитки из копии Лунденса и просили отрисовать плитки в стиле Рембрандта.
Как и в любой педагогической ситуации, Эрдманн оценил усилия ИИ соответствующей оценкой. Чем ближе его вывод соответствовал содержанию оригинального «Ночного дозора», тем выше его оценка. При оценке Эрдманн учитывал такие вещи, как цвет, текстура и репрезентация (т. е. насколько это хмурое лицо похоже на хмурое лицо или этот меч является настоящим мечом?).
«После того как вы определили, что делает копию хорошей, вы можете обучать сеть на тысячах и тысячах этих плиток», - продолжает Эрдманн. В памяти хранится 265 гигабайт тысяч попыток, что демонстрирует улучшение качества за очень короткое время. Менее чем за день погрешность между ИИ и реальным Рембрандтом стала настолько малой, что стала незначительной; обучение было завершено.
Попутно ИИ развил полное понимание того, что сделало Рембрандта Рембрандтом. При переводе копии Лунденса использовалась менее насыщенная цветовая палитра и более толстые, схематичные мазки. Он даже использовал характерную для художника технику светотени - технику резкого контраста между светом и тенью.
Настало время выпускного экзамена. Используя знания, полученные при копировании Рембрандта, Эрдман приказал ИИ преобразовать четыре внешних края копии Лундена, удаленной из оригинального «Ночного дозора», в фирменный стиль Рембрандта. Результат беспрецедентного сотрудничества человека и машины теперь выставлен в Eregalerij Рейксмузеума.
Недостающие фрагменты, реанимированные ИИ, были напечатаны на холсте и покрыты лаком, чтобы они имели такой же блеск, как и остальная часть картины. Затем части были прикреплены к металлическим пластинам, которые были помещены перед оригинальным «Ночным дозором» на расстоянии менее одного сантиметра, таким образом создавая оптическую иллюзию для посетителей, фактически не прикасаясь к работе Рембрандта.
Хотя наука о консервации быстро развивается, достижения таких людей, как Эрдманн, по-прежнему затмеваются художественным гением художников, чьи работы они пытаются сохранить, и это позор, потому что программное обеспечение Эрдманна может быть столь же изобретательным. как мазок Рембрандта. По крайней мере, мастер мог бы гордиться навыками решения проблем Эрдманна.