Кирилл Кто. Генерация изображений при помощи нейросети Stable Diffusion

В рамках финального проекта было необходимо дообучить нейросеть Stable Diffusion самостоятельно генерировать изображения в заданном стиле.

Было принято решение для стиля использовать работы современного художника Кирилл Кто (Лебедев).

Художник активно работает с цветами. Оформляя свои работы в неком цветном детском визуале. Зачастую используются надписи с социальными, абсурдными и юмористическими надписями.

На примере 156 изображений удалось дообучить нейросеть генерировать новые изображения в данном стиле.

Рассмотрим как будет изменяться изображение с использованием различной доли стиля от Lora модели. Так как художник пишет свои работы в достаточно абстрактном формате, мы видим как с увеличением влияния стиля пропадают узнаваемые образы и все уходит в больший сюреализм.

Рассмотрим времена года. У автора часто встречается тема ели. Визуальный образ вечнозеленого дерева вчтречается на многих его работах.

Давайте создадим цикл произведений с елью с различными состояниями в разные времена года. А также дабавим в промт ассоцирующую эмоцию, чтобы сделать изображения более близкими к постмодернистким решениями автора.

Подготовка Окружение: Google colab. Библиотеки: Были установлены diffusers, transformers, accelerate. также установлены open-cv, requests для парсинга изображений. Установлен основной фремворк torch и сопутсвующие зависимости

Данные Датасет: Использованы изображения современного росссийского художника Кирилл Кто. Разметка: Генерация описания «image in KIRILL KTO style».

Обучение Модель: Дообучение SDXL 1.0 + LoRA. Параметры: Разрешение изображений: 512 (исходные изображения были резайснуты через open-cv) Batch size: 2 (на вход модели за один шаг передается тензор из 2 изображений) Шагов обучения: 500.

В процессе генерации изображений задавался определенный промпт. (prompt = «image in KIRILL KTO style»)

Результат Выход: LoRA-адаптеры сохранены в папку kirillkto_LoRA. Публикация: Модель загружена в Hugging Face Hub в репозиторий

Во время работы над проектом использовалась только Stable Diffusion.