Обучение нейросети Stable Diffusion для рисования в стиле Сатору Ноды

Целью моего проекта было обучить нейросеть Stable Diffusion создавать изображения на основе стиля Сатору Ноды, автора «Золотого божества» и «Красных псов».

В результате обучения нейросети получилось добиться смешанного результата — несмотря на то, что сеть хорошо улавливала уникальные черты лиц персонажей Сатору Ноды (большие уши, сильные челюсти, такие же геометричные носы), она плохо справлялась с фоном из-за композиции фреймов на странице и общего большого количества объектов на исходниках.

В качестве промптов для нейросети я использовал базовую задачу получить портрет мужчины, опираясь на то, какие текстовые промпты я получил с помощью BLIP. В целом, несмотря на плохо проработанные детали, в полученных персонажах читаются черты персонажей оригинальной манги, слитые друг с другом во что-то, что при доработке вполне могло бы стать дизайном кого-то на фоне оригинальной манги или фанатским персонажем внутри вселенной. Забавно было увидеть также сходства с персонажами, которых в датасете точно быть не могло.

Самые качественные изображения получались на 25 шагах при генерации, а на 50 и более нейросеть начинала отходить от стиля Сатору Ноды в какой-то общий манга-стиль и красить изображение, хотя их детализация и повысилась.

В целом я бы сказал, что изображения получались примерно одного качества, однако при моей попытке сгенерировать элемент фона или женского персонажа, нейросеть, обученная преимущественно на бородатых солдатах, ломала композицию в некое подобие страницы с фреймами.

Предварительным этапом стал сбор датасета и его кроп под подходящее для нейросети разрешение. Я решил собрать сет из примерно 30 картинок разрешением 512×512 пикселей для оптимизации и ускорения процесса обучения сети в ограниченном по времени Google Collab. Для изменения размера сразу нескольких изображений я использовал сервис BulkImageCrop.

Далее я открыл в Google Colab код для обучения Stable Diffusion через Dream Booth и LoRA, представленный в лекции. С помощью возможностей среды по работе с файлами я импортировал датасет напрямую в Colab, подключив системе доступ к моему Google Drive. Далее, используя BLIP, я обозначил свой кастомный промпт для сети как «true ultimate SATORU NODA SUTAIRU!!!», который и позволил мне потом использовать плоды обучения нейросети для генерации изображений. Непосредственно для обучения я выставил параметры исходников 512×512 пикселей, с 1000 шагами итерации и чекпоинтом на 250 для оптимизации, а также вошел в сервис Hugging Face, чтобы сохранить модель в нем.

Код в формате IPYNB

Обученная мной нейросеть может создавать скорее идеи для дизайна персонажей, чем сами дизайны, которые у Сатору Ноды отличаются особой креативностью и эксцентричностью. Однако при этом, мне кажется, она хорошо может передать интенсивность, присущую его работам, и общую энергетику.

В проекте была использована генеративная модель Stable Diffusion XL для обучения её с помощью Dream Booth и LoRA для генерации изображений на основе стиля Сатору Ноды. BLIP для генерации промптов к исходникам. Hugging Face для того, чтобы иметь доступ к обучению нейросети и смочь сохранить модель.

1. true ultimate SATORU NODA SUTAIRU!!! , handsome man in uniform
2. true ultimate SATORU NODA SUTAIRU!!! , man, snowy field
3. true ultimate SATORU NODA SUTAIRU!!! , man, snowy field
4. true ultimate SATORU NODA SUTAIRU!!! , man portrait
5. true ultimate SATORU NODA SUTAIRU!!! , men fight
6. true ultimate SATORU NODA SUTAIRU!!! , boy, portrait, smug
7. true ultimate SATORU NODA SUTAIRU!!! , dark skin man
8. true ultimate SATORU NODA SUTAIRU!!! , handsome man in uniform
9. true ultimate SATORU NODA SUTAIRU!!! , man with a beard
10. true ultimate SATORU NODA SUTAIRU!!! , dark skin man
11. true ultimate SATORU NODA SUTAIRU!!! , woman smiling