Обучение генеративной нейросети для рисования сильвашек
Концепция
Sylvanian Families — это коллекция фигурок и игрушек в виде животных, часто дополняемых простыми, но невероятно красивыми конструкторами домов, мебели и декора, созданная компанией Epoch Co. Ltd. Эти фигурки очень милые, приятные на ощупь из-за флокированного покрытия, с акцентом на семейные ценности и дружбу в кругу других разнообразных животных. Среди коллекций можно увидеть котят, собачек, кроликов, бурундуков, мишек, ежей и еще очень много разных видов. Изначально такие игрушки предназначены для разнообразной игры у детей, поскольку окружение и сами игрушки предполагают приятную атмосферу для общения и создания творческих игровых сценариев. Для взрослых это и любимые игрушки, и источник ностальгии, и возможный объект для коллекционирования старых экземпляров. Это не просто игрушки, а целые миниатюрные миры, в которых можно разыгрывать различные истории и создавать свои собственные семьи и сообщества.
В данном проекте с помощью дообучения нейросети я решила попробовать воссоздать некоторые сценарии из детских игр с фигурками Sylvanian Families (далее — Сильваниан Фемелис, сильвашки и пр.) Главные задачи генерации: чтобы нейросеть могла передать текстуру игрушки, аккуратность их мордочек, детальность проработки окружения и атмосферу добра и пасторали.
Предварительная работа с кодом
Перед обучением генеративной модели код прошел много этапов подготовки. Среди них:
1. Проверка GPU и установка различных библиотек, которые понадобятся на пути 2. Создание папки в локальной директории, выгрузка файлов с квадратными изображениями одного размера 3. Проверка файлов и изменение размера для удобной работы 4. Создание описаний для картинок с помощью модели BLIP 5. Конечное обучение модели, сохранение файла и использование в генерации
Уже при генерации я дополнительно меняла настройки, чтобы получить интересный результат. Сначала я прописала простой промпт, но нейросеть начала генерировать картинки в обычных разных стилях, поэтому я добавила вперед префикс-обозначение, что промпт относится конкретно к стилю фотографии Сильваниан Фемилис, и работа пошла гораздо лучше. Помимо этого для повторной генерации я поменяла значение checkpoint.
Результирующие изображения
Для итоговой серии изображений первый промпт я решила написать сама, а потом предложить Chat GPT размножить результат. Так я написала историю про маленькую мышку, которая убирается в своем домике. Дополнительными параметрами я задала ее одежду, интерьер, декор, а также атмосферу и освещение. Под картинками далее я прикрепляла краткий промпт, поскольку полный не помещался в строку. Интересно, что при выполнении проекта генерация сначала была странной и больше реалистичной, потом после изменений в промптах качество улучшилось, а через какое-то время с теми же параметрами генерация опять начала склоняться к реализму.
A baby sylvanian families bear is serving tea and jam to his friends at a forest picnic. / A tiny sylvanian families mouse is tidying up her cozy and sweet room, filled with soft warm lighting.
Лучшие картинки из результатов на выходе. Они хороши именно тем, каким нежным и при этом коротким получился ворс на фигурках, а также детальным окружением. Приятно, что ткани вокруг все имеют свою текстуру — где-то это кружево, где-то мягкий флис, где-то явно прослеживается текстура бумаги.
A little sylvanian families fox is watering flowers in clay pots on the porch. / A little sylvanian families bunny is reading a book by the fireplace, wrapped in a checkered blanket.
Эти фотографии тоже получились интересными, но скорее из-за цветов, атмосферы и сюжета. Видно, что лисенок держит парящую над землей лейку, хотя цветы по бокам вышли очень даже детальными и аккуратными. А рядом с кроликом появилась игрушка-кролик с очень странной формой тела и не совсем понятная мебель. С первого взгляда картинки все еще очень красивые и привлекают внимание, но вглядываясь начинаешь видеть недочеты нейросетевой генерации.
A tiny sylvanian families goat is hand-sewing a quilt in her cozy little workshop, surrounded by spools of thread and the soft glow of a lamp.
Тоже одни из любимых картинок в серии. В этот раз нейросеть опять очень хорошо поработала с тканями, видно каждый цветочек на платьишках сильвашек, ниточки в бобинах и текстурный абажур лампы. Даже узор на швейной машинке выглядит реалистично. Недочеты тоже видны, но их поменьше. Из явных — у всех козочек на двух картинках всего один рог. Может, нейросеть больше любит единорогов, чем козочек.
A sylvanian families kitten is washing dishes in a sink with a view of the forest. / A sylvanian families squirrel is washing dishes in a sink with a view of the forest.
Вот здесь нейросеть начала сдаваться перед пушистыми животными, потеряв текстуру покрытия фигурок. Тем не менее, мордочки все равно вышли характерными и картинки именно с этим промптом (полный звучит так: A sylvanian families squirrel is washing dishes in a sink with a view of the forest. Sunlight dances on the window glass, surrounded by greenery and flowers) получились самыми светлыми и милыми в духе cottage core.
Вывод
Обученная модель генеративной нейросети относительно хорошо справилась с поставленной ей задачей — игрушки получились по-своему живыми и интересными, нейросеть часто дополняла картинки важными для такого стиля фотографии деталями, соблюдала пропорции и эстетическую наполненность. Конечно, можно обнаружить очень много мелких недочетов, но нейросеть — это в первую очередь инструмент, а не замена в этом случае нескольким людям: умелому производителю, коллекционеру и фотографу.
Применение генеративной модели
При обучении нейросети первый промпт я написала сама, задав основные параметры и тон. Далее мое дело продолжил Chat Gpt, размножив количество промптов до восьми. Задача для него звучала так: «Сгенерируй еще 7 промптов на английском на основе уже имеющегося для создания проекта с генерацией картинок в стиле фотографии Sylvanian Families, а потом представь результат в таблице.»
