Обучение генеративной нейросети стилю художника Клода Моне.
Идея проекта заключается в обучении генеративной нейросети создания рисунков на основе картин известного художника Клода Моне.
Материал обучения нейросети состоял из 35 картин художника.
Примеры обучения
Итоговая серия
промт для обеих картинок: «саt fight»
barbie
disney cartoon the lion king portait
couple sitting on a bench in a garden
chickens are taking a dinner of humans
anthropomorphic Fantastic Mr. Fox
Grinch is taking christmas gift
Анализ итоговых работ
Можно заметить, что нейросеть отлично повторяет индивидуальный стиль художника. Она способна воссоздавать схожую работу мазками, присущими Клоду Моне и подбирать похожую палитру цветов: не очень яркую, но выразительную.
работа нейросети и работа художника
Как и у любой современной нейросети, у этой модели присутствуют некоторые невнятные огрехи в картинках. Однако они не бросаются в глаза и не являются центром композиции.
Несмотря на единство стиля во всех работах, можно обратить внимание, что палитра работ крайне разнообразная. Как и художник, нейросеть создает разное настроение с помощью цвета для разных задач.
темная и яркая работа нейросети
схожие темная и яркая палитры в картинах художника
Анализ кода
Чтобы обучить нейросеть создавать картинки по написанному промту в стиле определенного художника в первую очередь нужно было собрать датасет из картин автора, в моем случае — Клода Моне, а затем обработать их. Нейросеть реализовалась на Kaggle. Для обучения нейросети потребовалось применение таких методов как Fine-tuning Stable Diffusion XL — чтобы, использовав собранный датасет изображений, улучшить генеративную модель SDXL и добиться стилистики рисунка Клода Моне, DreamBooth — способная создавать изображения на основе текстового описания, и LoRA — позволившая без сильной нагрузки вычислительными затратами и нужды обновления параметров нейросети, облегчая потребление ресурсов, сделать обучение более продуктивным.
Первым делом в коде производилась подготовка среды
Следующей частью кода является создание директории и копирование датасета в нее.
Превью
Следующим шагом было создание авто подписи для каждой картинки, чтобы нейросеть смогла распознавать конкретные объекты на изображении и в принципе что она видит.
Далее началась тренировка модели Stable Diffusion XL. Для обучения использовалось 1000 шагов, промежуточные шаги не потребовались, а чекпоинты совершались каждые 500 шагов.
Завершающим шагом является сама генерация картинок.
Такой результат получился по промту «crows».
Описание применения генеративной модели
Искусственный интеллект применялся для обучения стилю художника и воспроизведения изображений в стилистике Клода Моне, чтобы передать атмосферу произведений. Модель базирована на stable-diffusion-xl-base-1.0.
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
