Постапокалиптический Крот
Я вдохновилась мультфильмом Алексея Сухова «Крот». Стиль Алексея Сухова трудно перепутать с чьим-то другим. В мультфильме «Крот», как и в других своих живописных и графических работах, художник создает уникальный экспрессионистский и наивный мир
Обучив модель на скриншотах из мультфильма, я создала иллюстрации жутковатой вселенной. Мне показалось, что стиль мультфильма хорошо подойдет для создания пугающих и атмосферных изображений, поэтому я попросила Deep Seek придумать апокалиптичные пейзажи и странноватых героев. Все персонажи в этой стилистике становятся пугающими. Благодаря плоским заливкам, ярким цветам и отсутсвию детализации люди теряют свою человечность. Они начинают казаться страшными и заставляют додумывать для них жуткие истории
Исходные изображения
Результирующая серия изображений
Комментарий
Мне кажется, что сгенерированная серия хорошо раскрывает мир какой-то мрачной вселенной. На картинках изображено либо мало героев, либо их нет вовсе, что создает ощущение опустошения и упадка. В изображениях преобладают темные, кислотно-зеленые грязные и нездоровые цвета. Серия изображений сохранила эспрессивность исходников. Фоны на картинках выглядят как абстракции, ручные рандомные пятна, линии и узоры. Многие персонажи получились, как и на исходниках, заливочными. В них отсутвует детализация, как и в скриншотах оригинального мультфильма. Иногда, когда на сгенерированных картинках появляется объем, реалистичность и детализированность, как на последних генерациях роботов, изображения становятся менее похожими на оригинальные скриншоты, хотя и сохраняют их фоны и цветовую гамму
Ноутбуки с кодом
Процесс обучения
Я обучала модель Stable Diffusion XL с использованием техники LoRA.
В начале я проверила доступность GPU и установила необходимые зависимости. Потом создала директорию для датасета и перенесла туда изображения. В датасете были скриншоты из мультфильма «Крот». Используя функцию image_grid, я отобразила первые изображения из датасета, чтобы убедиться, что датасет загрзился правильно. Потом я сгенерировала описания для каждого изображения с помощью модели BLIP. Это было необходимо для обучения модели с использованием текстовых описаний. Затем я создала файл metadata.jsonl, который содержит пути к изображениям и подписи. После генерации описаний я удалила модель BLIP, чтобы освободить память. Дальше я начала обучение модели Stable Diffusion XL. Когда модель обучилась, я сохранила ее на Hugging Face Hub
При помощи предобученной модели я приступила к генерации серии изображений. Для создания большинства промптов я использовала нейросеть DeepSeek. После обучения модели у меня закончилось бесплатное время GPU в Google Colab, поэтому я использовала несколько ноутбуков (Прикрепила ссылки на оба).
Описание применения генеративной модели
Stable Diffusion — применялась для дообучения в целях генерации изображений в стиле мультфильма Алексея Сухова
BLIP — применялась для генерации автоматических промптов к исходному датасету
DeepSeek — применялась для генерации большинства промптов к итоговой серии изображений
