Нидерландские изразцы с современными сюжетами

В проекте Stable Diffusion учится языку голландской плитки на 99 изразцах и рисует современные профессии, хобби. У каждой профессии есть рифма — историческая плитка из датасета. Например: водонос это — курьер.

Датасет 99 сине-белых плиток с фигурами людей из открытой коллекции Rijksmuseum. Музей публикует изображения под Public Domain Mark — это общественное достояние, их можно использовать без ограничений, в том числе для обучения моделей. Лицензия проверена через открытый API музея.

В датасет попали только сине-белые плитки с людьми: ремёсла, детские игры, солдаты, всадники, горожане. Не взяты полихромные плитки, плитки с марганцевым фоном, корабли, звери и орнаменты, так как они не подходят по идеи.

Рисунок переносили на плитку через спонс — лист бумаги, проколотый иглой по контуру. Его клали на сырую глазурь и простукивали мешочком с угольной пылью, на плитке оставался пунктир. По этому пунктиру мастер быстро прописывал фигуру кистью. Шаблон и рука, плитки одной серии похожи, но двух одинаковых нет.
Генеративная модель устроена так же. Обученная LoRA — это спонс, выученный язык плитки, композиция, манера, орнамент в углах. Seed — рука: каждый раз картинка прописывается немного иначе.

Триггер-слово — tegeltje (плитка по-нидерландски).
К каждой плитке написана подпись на английском — только про сюжет, без слов о стиле: tegeltje, a water carrier with two buckets hanging from a yoke. Так модель связывает стиль со словом tegeltje, а фигуру — с остальными словами. При генерации сюжет можно заменить любым другим, а стиль останется.

Вес LoRA решает, насколько выученный стиль перекрывает базовую модель при 0.4 и 0.7 выходит фотография с 1.0 уже плитка. Seed меняет позу, рамку и орнамент, но один промпт даёт четыре разные плитки.

Использованные модели ИИ:Stable Diffusion 1.5, LoRA для обучения и генерации модели.
Сlaude Opus 5.5 для поиска датасета и исправления кода.

Блокнот Google colab