Обучение генеративной нейросети Stable Diffusion под игру Gris
Идея проекта
Я решила обучить Stable Diffusion так, чтобы она надёжно генерировала изображения в визуальном стиле, характерном для игры Gris: мягкие пастельные палитры, акварельные/пастельные переходы, минималистичные силуэты, атмосферные пейзажи и плавная композиция.
Для кого полезно
Обучение нейросети в визуальном стиле игры Gris полезно прежде всего тем, что позволяет создать инструмент для быстрого и гибкого формирования концепт-артов и фоновых иллюстраций, выдержанных в единой эстетике и цветовой палитре, характерной для этой игры. Такая модель даёт возможность художникам и дизайнерам легко экспериментировать с новыми персонажами, объектами и сценами. Это существенно сокращает время, затрачиваемое на этапы поиска визуального стиля и прототипирования, позволяет сосредоточиться на творческой концепции.
Подготовка
Была собрана папка из 30 квадратных изображений самой игры. Это скаченные игровые местности, персонажи, а также детали.
Цели
Качественная генерация: при промпте a painting of mycharacter in a Gris-inspired landscape — получить 512×512 изображение с высоко выраженной палитрой и структурой, узнаваемой как «Gris» в 60–80% случаев после 800–2000 шагов.
Контроль качества: визуальная оценка + FID (опционально) против контрольной выборки артов в стиле Gris.
Главная цель проекта — посмотреть, насколько сильно нейросеть сумеет попасть в стиль известной игры.
Список инструментов, которые я использовала:
- Stable Diffusion — обучение генеративной нейросети под свой стиль.
- Google Colab — выполнение кода и генераций.
- Hugging Face — получение токена для обучения нейросети.
- Adobe Photoshop and Illustrator — для коллажирования.
Исходные изображения персонажей
Исходные изображения местности
Описание процесса обучения
- Сначала загрузила все необходимые для работы библиотеки: Diffusers, DreamBooth и так далее.
- Распаковала и проверила все изображения из zip архива
- Настроила LoRA
- Обучила LoRA (DreamBooth)
- Сгенерировала изображения и архивировала результаты
Промпты:
- a painting of mygris landscape with waterfalls and pastel colors, soft light
2)a painting of mygris, pastel tones, watercolor texture, minimal composition, soft light
Подводя итоги, чему же мне удалось обучить нейросеть?
- Цветовая палитра - Акварельная эстетика - Стиль рисования
В заключение хотела бы сказать, что нейросеть хоть и правляется с базовой задачей не сможет заменить художника. Однако ее можно использовать как вспомогательный элемент для концепт-художника.
