Обучение генеративной нейросети на основе иллюстраций Джона Тенниела
Концепция
Для обучения генеративной нейросети я выбрала стиль автора оригинальных иллюстраций к «Алисе в стране чудес» — Джона Тенниела. Цель проекта: обучить модель для создания изображений в стиле Джона Тенниела.
Было использовано около 90 изображений. Я выбрала автора, чьи работы уже стали культурным наследием, во избежание этических проблем и вопросов.
Оригинальные иллюстрации Джона Тенниела
Его работы можно описать как графичные иллюстрации с узнаваемой штриховкой и параллельными линиями на заднем плане. Люди и животные обладают более простыми чертами, чем в реальности. Часто можно встретить композицию из множества предметов, практически сливающихся в одно целое.
Описание применения генеративной модели: Процесс обучения
При работе над проектом были использованы Stabble Diffusion, Kaggle, Hugging face, доп. ГенИИ не был использован.
Запуск окружения, установка библиотеки bitsandbytes и diffusers, загрузка train_dreanbooth_lora
Загрузка датасета для обучения модели, создание директории для собственного датасета, настройки для просмотра датасета
Просмотр датасета
Создание пары «Путь к картинке — картинка» и файла с подписями к изображениям
Использование токена HuggingFace, обучение, которое занимает около 60 минут
Загрузка, использование модели и пример промпта
Генерация изображений
Сначала была создана серия изображений в черно-белом стиле, изображающая объекты и персонажей, подходящих по смыслу произведению и оригинальным иллюстрациям, например, королевы и шахматные фигуры.
Для создания промпта перед основной частью прописывалось «illustration in ALI style».
prompt: 1. «Fortune teller» 2. «Beautiful woman» 3. «Crying girl» 4. «Portrait of a young prince dressed in a Middle Ages style. He holds a sword in his hands»
prompt: 1. «Scary Queen» 2. «Portrait of Scary Queen of Hearts with hair done in a Middle Ages style, she is wearing a beautiful ball gown»
prompt: 1. «Bottle of wine» 2. «Chess figures as people»
prompt: 1. «Mouse Sonya from Alice in Wonderland» 2. «White Rabbit from Alice in Wonderland» 3. «Kitten» 4. «Beagle dog»
prompt: 1. «Giant dark dragon is flying above the castle» 2. «Giant dark dragon with 3 heads from slavic folklore is flying above the castle with his wings spread and breathing fire»
Чем сложнее промпт, тем точнее и правильнее изображение.
Была создана тестовая серия изображений знаменитостей. Стиль похож на Джона Тенниела, немного отличается размер штриховки из-за наличия большего количества мелких деталей.
prompt: 1. «Jensen Ackles» 2. «Sabrina Carpenter» 3. «Harry Styles»
Дополнительная мини-серия работ: известные картины в стиле Джона Тенниела. При сравнении оригинала и генерации можно отследить характерные признаки стиля: угловатость и четкость контуров предметов, ч/б или заливка тусклым цветом, штриховка.
1. prompt: «The Starry Night by Van Gogh» 2. «Звездная ночь», Винсент ван Гог, 1889 3. prompt: «Sunflowers by Vincet van Gogh» 4. «Подсолнухи», Винсент ван Гог, 1888
Итоговая серия сгенерированных изображений
Для итоговой серии была поставлена задача сгенерировать изображения знаменитостей с добавлением элементов, отсылающих к произведению «Алиса в стране чудес». Для женщин — розы, для мужчин — циферблаты. В изображения добавлены цвета, наиболее подходящие личностям соответственно. Цвет закрашивает предметы и иногда придает оттенок иллюстрации.
Megan Fox
Kendall Jenner
Kylie Jenner
Rihanna
Lucy Hale
Shay Mitchell
Ashley Benson
Selena Gomez
Selena Gomez
Sabrina Carpenter
Robert Downey Jr.
Tom Hiddleston
Marlon Brando
Jensen Ackles
David Tennant
Harry Styles
Matthew Gray Gubler
Вывод
В финальной серии четко прослеживаются характеристики стиля: штриховка, четкость и угловатость контуров, большой процент ч/б пространства.
Личность четко узнается, иногда черты лица утрируются, добавляется гротескность.
У модели хорошо получается изображать знакомые предметы (например, розы), другие иногда трудно узнаются, являются довольно размытым объектом, что, однако, походит на стиль Джона Тенниела в котором маленькие объекты, как уже было сказано выше, так же сливались друг с другом.
При генерации иллюстраций (помимо портретов) необходимо как можно четче прописывать промпт, особенно задний план, чтобы модель не создавала хаос.
