Концепция
Целью данного проекта является обучение генеративной нейросети под свой стиль или объект. В качестве референсов я использовала некоторый набор картинок разных авторов из социальной сети Pinterest. Подбор фото я осуществляла по принципу наличия розовых оттенков и акварельной «мечтательной» тематики. В качестве финального результата мне было важно получить легкие дымчатые наброски в эстетике «dreamy», олицетворяющие сны, фантазии и мечты.
Подборка картинок из Pinterest
Пример кода
В первую очередь в блокнот был выгружен датасет с собранными референсами в размере 1024×1024 пикселя.
Далее с помощью кода каждому фото был присвоен сгенерированный промт для дальнейшего анализа.
С помощью модели LoRA все референсы и промты были отправлены на анализ и обработку данных. Мой собственный стиль был назван «Pink Fantasy», далее все промты будут начинаться именно с этого.
После обучения были выгружены все нужные модели и веса для генерации собственных картинок в обозначенном стиле.
Результат обучения
Результат превзошел все мои ожидания. Созданный мной стиль включал все элементы, которые были учтены при подборе референсов. В первую очередь — преобладание розового цвета.
Промт: «photo in PINKFANTASY style, dolphins in the ocean»
Мне было важно достичь эффекта дымки и смазанных нечетких границ у изображенных предметов.
Промт: «photo in PINKFANTASY style, sunset in the mountains»
При упоминание реальных природных/животных объектов в промте, модель выдавала мне нужные «мультяшные» изображения.
Промт: «photo in PINKFANTASY style, two kittens in a wicker basket»
В случае более абстрактных объектов модель создавала «акварельный» эффект, присутствующий на большинстве подобранных референтов.
Промт: «photo in PINKFANTASY style, art abstarction»
Так как некоторые картинки в подборке датасета для обучения включали в себя элементы реализма, модель переодически выдавала чуть более реалистичные генерации живых объектов, сохраняя при этом отсутсвие границ и «расфокус» на лицах.
Промт: «photo in PINKFANTASY style, ballerinas»
Промт: «photo in PINKFANTASY style, swans on the lake»
При отсутствии описания заднего плана модель генерировала размытые акварельные фоны, оставляя понятным силуэт предмета, упомянутого в промте.
Промт: «photo in PINKFANTASY style, little deer»
Некоторые генерации сохранили стилистические элементы графики, присутствующие на незначительном количестве референсов. Тем не менее, такие генерации все еще оставались в эстетике стиля Pink Fantasy, напоминая детские рисунки и фантазии.
Промт: «photo in PINKFANTASY style, a girl walking down the street»
Еще несколько дополнительных генераций в стиле Pink Fantasy:
