Обучение генеративной нейросети в стиле Moon Chanpil
Идея проекта
Moon Chanpil — иллюстратор из Южной Кореи, его работы пугают необычной рисовкой глаз и одновременно привлекают смягчающей цветовой гаммой и формами.
Я выбрала этого автора, потому что такую рисовку и переходы цвета сложно повторить обычной генерацией по референсу и обучение модели — оптимальное решение данной задачи. При этом вполне реализуемое, иллюстрации сами по себе отсылают к цифровому искусству.
работы иллюстратора Moon Chanpil
работы иллюстратора Moon Chanpil
Так как большинство иллюстраций посвящены женским образам, темой генераций стали значимые женские фигуры в мировой истории.
Серия итоговых иллюстраций
Мерлин Монро / Анна Ахматова
Фрида Кало
Мария Каллас / Принцесса Диана
Коко Шанель
С помощью генеративной модели удалось применить стиль к разным формам лица и их пластике.
Маргарет Тэтчер
Нефертити
Нефертити
Мона Лиза
Мона Лиза
Оценка процесса
Целью генераций было не клонирование работ художника, а развитие стиля на новых образах и персонажах. Из-за это возникали трудности с формированием границ лица.
неудачные примеры генераций
В процессе генераций и уточнения промта эту проблему удалось решить и в результате получилось сохранить узнаваемые элементы стиля и отобразить новые женские персонажи.
Удалось передать узнаваемые глаза, принцип заливки лица, векторные мазки, а также пастельную цветовую палитру.
Процесс обучения модели
Проект был выполнен в среде Google Collab с использованием GPU.
Обучение модели началось с установки необходимых библиотек и сбора изображений в виде датасета для дальнейшего анализа.
Далее изображения были загружены в Google Colab. Следующим шагом необходимо было проверить, что подгруженный датасет отображается в коде.
Затем с помощью модели BLIP к каждому изображению была создана подпись, отображающая сюжет в корректной формулировке.
После была подключена система Hugging Fасе и началось обучение, используя предобученную модель stable-diffusion-xl-base-1.0. Заданные параметры: разрешение 512, максимальный шаг тренинга 1000, чекпоинт 500.
Полученная модель была сохранена на Hugging Fасе как MOONCHANPIL style. Далее началась генерация изображений серии на тему популярных женских образов в MOONCHANPIL style и финальный отбор лучших генераций.
Выводы
Благодаря коду получилось повторить сложный стиль автора, трудно реализуемый вручную или одним промтом генерации. Кроме того, удалось выйти за рамки работ художника и применить стиль к реальным людям.
