Обучение генеративной модели Stable Diffusion стилю Жана Мишеля Баскии

Для этого проекта я решила обучить нейросеть Stable Diffusion XL создавать изображения в узнаваемом стиле Жана-Мишеля Баския — одного из самых влиятельных художников нео-экспрессионизма конца XX века.

Баския известен своим уникальным стилем, сочетающим примитивизм, граффити, яркие цвета и элементы поп-культуры с глубокими социальными комментариями. Его работы наполнены символизмом, анатомическими рисунками, короноподобными структурами и необработанными, энергичными линиями.

Для обучения модели я собрала датасет из 22 картин Баския, включающий его наиболее характерные работы:

https://drive.google.com/file/d/1RD7yy6yWSgx3WFHQOV_UdP0FVpJ0eN5Q/view?usp=sharing

1/ Подготовка данных

Для обучения модели в стиле Жана-Мишеля Баския был собран датасет из 22 изображений его наиболее характерных работ. Изображения были предварительно обработаны:

— Преобразованы в формат PNG — Размещены в директории ./cher/

2/ Инфраструктура обучения

Обучение производилось в Google Colab на бесплатном GPU T4, используя передовые техники для оптимизации памяти и вычислений:

— Gradient checkpointing — 8-битная оптимизация Adam — Смешанная точность (Mixed precision, fp16)

3/ Основные параметры обучения

Для обучения использовался метод DreamBooth с LoRA (Low-Rank Adaptation), позволяющий значительно сократить требования к памяти при сохранении качества результатов:

— Базовая модель: stabilityai/stable-diffusion-xl-base-1.0 — Оптимизированный VAE: madebyollin/sdxl-vae-fp16-fix — Размер батча: 2 — Шаги градиентного накопления: 3 — Скорость обучения: 1e-4 — Общее количество шагов обучения: 500 — Промпт для обучения: «In the style of BASQUIAT»

Использовался скрипт train_dreambooth_lora_sdxl.py из репозитория Diffusers. Основные шаги:

По окончании обучения модель сохранена в формате LoRA весов для последующего использования с базовой моделью Stable Diffusion XL.

— basquiat_style_LoRA/adapter_model.safetensors (финальная версия после 500 шагов)

1. Модель успешно усвоила ключевые элементы стиля Баския даже на небольшом датасете.
2. Использование LoRA позволило эффективно обучить модель на ограниченных вычислительных ресурсах.
3. Автоматически сгенерированные BLIP подписи в сочетании с префиксом «In the style of BASQUIAT» улучшили результаты обучения.