Новые грехи: обучение генеративной модели стилю Иеронима Босха

Меня интересует визуальный язык Иеронима Босха: многофигурные сцены, странные гибридные существа, фантастическая архитектура и мягкая палитра его картин. Босх изображал человеческие пороки через тело и чудовищ. Мне захотелось посмотреть, как этим языком можно рассказать о современных грехах, которые живут в экране.

Цель проекта — обучить Stable Diffusion XL стилю Босха и создать серию «Новые грехи»: семь пороков цифровой эпохи вокруг центрального «Ока» с объективом камеры вместо зрачка. Важно было проверить, перенимает ли модель именно стиль, а не копирует картины, и как она рисует предметы, которых нет в датасете: смартфоны, кольцевые лампы, коробки доставки.

Модель обучена на 118 квадратных фрагментах восьми картин Босха: «Сад земных наслаждений», «Воз сена», «Искушение святого Антония», «Страшный суд», «Семь смертных грехов», «Корабль дураков», «Смерть и скупец», «Видения загробного мира». Босх умер в 1516 году, его работы — общественное достояние; репродукции взяты с Wikimedia Commons с лицензией Public Domain, ссылка и лицензия каждого файла сохранены в таблице источников.

Для создания датасета я нарезала картины на квадратные фрагменты трёх масштабов: крупные детали (лица, существа, фактура мазка), средние сцены и общие планы. Все фрагменты приведены к размеру 1024×1024 px. Участки с пустым фоном отсеялись автоматически, а неудачные фрагменты с рамками, надписями и трещинами лака я удалила вручную. Всего в датасет вошло 118 изображений.

Я не обучала модель с нуля, а дообучила Stable Diffusion XL с помощью LoRA — небольшого адаптера, который запоминает стиль и включается словом-триггером. Обучение шло в Google Colab на бесплатной видеокарте и заняло около двух часов.
Сначала каждый фрагмент получил подпись. Модель BLIP описала, что на нём изображено, а я добавила в начало фразу «painting in BSCH style». Так модель привязывает содержание к подписи, а всё, что делает картинку похожей на Босха (палитру, манеру, фактуру), к слову BSCH.
Модель обучалась 1000 шагов, и каждые 250 шагов я сохраняла промежуточную версию. Чтобы проследить, как появляется стиль, я сгенерировала одну и ту же картинку базовой SDXL и каждой из сохранённых версий.

Базовая SDXL рисует сцену как современную неоновую иллюстрацию. К 250 шагам она превращается в живопись с охристо-зелёным пейзажем и толпой существ, на 500–750 тонет в серой дымке. К 1000 шагам изображение проясняется: высокий горизонт, голубое небо и розовые фигуры, как в «Саде земных наслаждений». Эту финальную версию я и взяла для серии.

Серия построена по композиции «Семи смертных грехов»: в центре — око, вокруг — семь пороков. Только зрачок ока здесь — объектив камеры, а грехи — современные

Модель переняла у Босха больше, чем я ожидала. Узнаётся палитра: оливковая зелень, охра, красные акценты и бледные тела. Узнаются высокий горизонт с озёрами, фантастические башни, гибридные существа и многофигурная толчея. Некоторые картинки прямо отсылают к исходным картинам: гигантская клубника пришла из «Сада земных наслаждений», круговая композиция «Ока» — из «Семи смертных грехов», а проём со Смертью над скупцом — из «Смерти и скупца».

Самое интересное происходит с современными предметами. Их не было в датасете, и модель переводит их на язык XV века. Телефон исчезает, и от него остаётся только жест поднятой руки. Кольцевая лампа становится то зеркалом, то нимбом, то аркой. Коробки доставки превращаются в деревянные сундуки с монетами, лайки — в сердечки на клубнике, светящиеся экраны — в круглые окна башни. Я считаю эти «ошибки» частью высказывания: XV век не знает интерфейса и превращает его в аллегорию.