Обучение генеративной нейросети под средневековую китайскую живопись
Китайская живопись — это традиционная форма изобразительного искусства Китая, ее характерные черты это — минимализм, символизм и отсутствие линейной перспективы, в работах акцент направлен на выражение внутреннего состояния, гармонию с природой.
Цель моего проекта — узнать, как точно нейросеть сможет воспроизвести характерную композицию, текстуру туши и «пустоту» как художественный элемент. Также меня заинтересовало, сможет ли она не только подражать внешне, но и передать ту самую атмосферу уединённости и поэтичности, характерную оригинальным работам.
Процесс обучения
Для начала мне потребовалось установить нужные пакеты: bitsandbytes, transformers, accelerate, diffusers.
Затем я нашла 120 подходящих под мой запрос и стилистику изображений, перемасштабировала под соотношение сторон 1:1 и загрузила их в Google Collab для обучения модели.
Дальше я подготовила входные данные (изображения) для моделей BLIP. Данная модель возвращает итоговую готовую модель, обученную на задачи подписей изображений. Затем я задала обязательную строку префикс, которая будет автоматически добавляться перед сгенерированным описанием изображения. Все описания моих изображений запишутся в JSON-документ для удобного обучения моей модели.
Дальше я перешла к процессу обучения LoRA-модели в выбранном стиле на базе Stable Diffusion XL. Обучение происходило с помощью скрипта train_dreambooth_lora_sdxl.py, библиотеки accelerate и модели от Hugging Face.
Параметры обучения: Размер входных изображений был 512*512, количество шагов — 500, чекпоинт каждые 250 шагов.
Первые результаты
По полученным результатам видно, что модель обучилась, но на изображениях присутствует большое количество артефактов. Причина этому — неточно написанный промпт для генерации.
Промпты, которые я использовала:
«artwork of a red dragon, medieval Chinese painting style, rich details, mystical atmosphere»
«artwork of a warrior in traditional Chinese armor fighting with the blue dragon, medieval Chinese painting style, rich details, mystical atmosphere»
«artwork of a majestic Chinese dragon flying among stormy clouds, medieval Chinese painting style, rich details, mystical atmosphere»
В изначальных промптах присутствуют размытые формулировки, из-за которых модель «плавает». Поэтому я поменяла промпт: добавила больше конкретики, подробного описания художественного стиля (техники рисования) и придерживалась более организованной схемы структуры промпта. Промпты стали выглядеть примерно так:
«artwork of traditional Chinese landscape, featuring towering mountains, steep cliffs, winding rivers, cascading waterfalls, and drifting mist, painted in the medieval Chinese ink wash style, soft brushstrokes and serene atmosphere, ancient pine trees on rocky slopes»
Я выделила четыре категории изображений в стиле китайской средневековой живописи для того чтобы картинки были не однотипными и наглядными, чтобы увидеть степень обученности моей модели:
Пейзаж
Сюжетные рисунки
Живопись растений и животных
Мифические сюжеты
Пейзаж
1: artwork in medieval Chinese painting style of traditional Chinese landscape, with misty mountains, dense forest of pine and bamboo trees, small wooden huts hidden among the trees, river gently flowing through the valley, soft morning fog, painted in ancient Chinese ink wash style, peaceful and poetic atmosphere
2: artwork in medieval Chinese painting style of a lone traveler on a small wooden boat drifting along a misty river, surrounded by bamboo forest and foggy mountains, painted in ancient Chinese ink wash style, peaceful and poetic atmosphere
3: artwork in medieval Chinese painting style of traditional Chinese landscape with small huts located in pine forests, a flowing river and ancient trees, misty mountains and gentle waterfalls in the background, painted in ancient Chinese ink wash style, peaceful and poetic atmosphere
1: artwork in medieval Chinese painting style of a weeping willow tree growing from a rocky cliff, branches flowing in the wind, misty soft clouds, painted in ancient Chinese ink wash style, peaceful and poetic atmosphere
2: artwork in medieval Chinese painting style of the Great Wall of China winding through misty mountains, fog drifting between peaks, painted in ancient Chinese ink wash style, peaceful and poetic atmosphere
3: artwork in medieval Chinese painting style of a surreal traditional Chinese landscape, floating mountains in misty sky, waterfalls flowing upward, ancient pine trees growing sideways from cliffs, small chinese temples on the mountains, painted in ancient Chinese ink wash style, peaceful and poetic atmosphere
Сюжеты
1: artwork in medieval Chinese painting style of ancient Chinese old men in traditional robes, wise old men with long beards, sitting under pine trees, having a conversation, drinking tea and reading scrolls, surrounded by rocks and bamboo, painted in traditional Chinese figure painting style, detailed ink brushwork, elegant lines and tranquil atmosphere
2: artwork in medieval Chinese painting style of ancient Chinese monks in traditional robes, meditating in nature, sitting peacefully under ancient pine trees, calm expressions, minimalist surroundings, painted in traditional Chinese figure painting style, detailed ink brushwork, elegant lines and tranquil atmosphere
3: artwork in medieval Chinese painting style of a woman in national robes preparing tea in a bamboo landscape, with tea set, calm natural surroundings, detailed hands and clothing folds, traditional Chinese figure painting style, detailed ink brushwork, elegant lines and tranquil atmosphere
Природная живопись
1: artwork in medieval Chinese painting style of a featuring bamboo, plum blossoms, orchids, traditional Chinese flower and bird painting style, ink wash technique, serene and noble atmosphere, delicate brushwork, soft background
2: artwork in medieval Chinese painting style of elegant Chinese cranes standing near a pine tree, long-legged white birds with red crowns, traditional Chinese flower and bird painting style, ink wash technique, serene and noble atmosphere, delicate brushwork, soft background
3: artwork in medieval Chinese painting style of a tiger, standing on a rocky cliff surrounded by pine trees and mist, powerful pose, traditional Chinese flower and bird painting style, ink wash technique, serene and noble atmosphere, delicate brushwork, detailed background
Мифология
1: artwork in medieval Chinese painting style of a majestic Chinese dragon with long body covered in golden-red scales, claws outstretched, flying through the clouds above misty mountains, surrounded by mist and flashes of light, painted in traditional Chinese ink wash style, dynamic brushstrokes, powerful and mythical atmosphere
2: artwork in medieval Chinese painting style of terrifying demons from Chinese mythology, horned and fanged spirits with fiery eyes, flowing robes, hiding in shadows and mist, riding dark clouds, painted in traditional Chinese ink wash style, dynamic brushstrokes, terrifying and mythical atmosphere
3: artwork in medieval Chinese painting style of Guanyin, the Chinese goddess of compassion, standing on a blooming lotus flower above the water, surrounded by pure golden light and soft mist, wearing flowing white robes, calm expression, holding a vase, painted in traditional Chinese ink wash style, dynamic brushstrokes, calm and divine atmosphere
Подводим итоги!
Моя модель научилась хорошо передавать текстуру туши, композицию, ту присущую «пустоту», характерные стилистические особенности и даже фактуру материалов. При правильном промпте модель может детально генерировать персонажей, пейзажи и животных.
Но также моя модель имеет некоторые слабые стороны. Часто сложные сцены с большим количеством персонажей, или большим количеством деталей получаются смазанными и запутанными, одни элементы изображения сливаются с другими.
Тем не менее, для простых иллюстраций модель можно смело использовать, так как она хорошо воплощает многие стилистические особенности.
Спасибо за внимание!!!
