i. Концепция
В основе данного проекта — интерес к архитектурной и декоративной графике Джузеппе Барбери и желание исследовать, как её художественный язык может развиваться в новых пространствах и предметах. Рисунки Барбери объединяют тонкую линию, мягкую отмывку и тёплый тон бумаги с архитектурной симметрией и свободным движением орнамента. Эти особенности становятся основой для создания воображаемого дворца, существующего только на бумаге.Я работаю с открытым архивом — рисунками, среди которых представлены архитектурные проекты, интерьеры, мебель и декоративные композиции. Задача заключается в том, чтобы обучить генеративную модель передавать визуальные принципы этой графики и применять их к новым сюжетам. Любопытно, может ли LoRA на основе ста рисунков Барбери передавать общую графическую манеру при смене масштаба и назначения объекта от фасада до кресла?
ii. Подготовка окружения
Для обучения использую Colab с GPU. Основа реализации — Stable Diffusion XL, DreamBooth и LoRA.
Проверка подключения к GPU
Ускорение вычислений
Загрузка репозитория Diffusers
Скачивание скрипта для дообучения
Сначала я проверяю доступность GPU. Затем устанавливаю библиотеки для работы с моделями, подготовки данных и экономного использования ресурсов, включая инструменты для LoRA. Далее устанавливаю Diffusers из репозитория Hugging Face. В завершение загружаю скрипт обучения SDXL по методу DreamBooth с LoRA для последующей адаптации модели к графической манере выбранных рисунков.
iii. Подготовка датасета
Для обучения используем 100 рисунков Giuseppe Barberi из коллекции Cooper Hewitt, Smithsonian Design Museum. По данным карточек, включённых в архив, изображения имеют статус CC0. Все файлы заранее подготовлены в формате 512×512 пикселей. Подписи содержат названия и описания произведений.
Загружаю и распаковываю архив с рисунками Барбери
Примеры изображений из архива
iv. Генерация подписей к изображениям
Проверяю 100 изображений, соответствие подписей, размер 512 × 512 и лицензию CC0
Собираю сетку из восьми изображений для визуальной проверки датасета
v. Обучение модели
В подписях используется единый маркер стиля GBBR. Я оставляю параметры обучения близкими к примеру: 512 пикселей, 500 шагов, LoRA и 8-битный Adam.
Авторизуюсь в Hugging Face для доступа к модели
vi. Генерация изображений
Создам шесть частей одного воображаемого дворца: фасад, вестибюль, потолок, камин, кресло и садовый павильон. Эти объекты связаны общей идеей и перекликаются с темами исходных рисунков.
Загружаю SDXL и подключаю обученную LoRA с силой влияния 0,7
Задаю 6 промптов для генерации изображений
Генерирую изображения, сохраняю их и вывожу общей сеткой
Собираю изображения и запросы в ZIP-архив и скачиваю
vii. Результат
