Обучение нейросети для иллюстративного календаря Севкабель Порт х ВШЭ
концепция
В ходе работы над основным проектом 1 модуля я разработала календарь по брифу Севкабель Порт х ВШЭ, который представляет своего рода «прогулку» по промышленному арт-пространству возле Финского залива.
В дизайне каждого месяца и обложки я использовала фотографии видов, которые сама запечатлела в Севкабель Порту, и столкнулась с проблемой, что живописных и довольно разнообразных мест для съемки не так много.
Концепция проекта заключается в создании сета из нескольких квадратных изображений, чтобы еще больше разнообразить стилистику календаря и разработать дизайн мерча из карточек, в основе которых будут лежать генеративные иллюстрации.
референсы
В основе стиля из загруженных 12 иллюстраций лежат трассированные изображения различных частей зданий в Севкабель Порту: кирпич, окна, трубы вместе с чистым небом и деревьями. Полный сет располагается в папке photo на диске.
принцип работы кода
Для генерации изображений использована нейросеть Stable Diffusion, которая была обучена моему стилю на основе предоставленных иллюстраций.
(обучение нейросети)
1. импорт необходимых библиотек, монтирование Google Drive к среде Google Collab, определение путей к рабочим папкам
2. основные гиперпараметры (CFG), который содержит ключевые настройки для процесса обучения
3. утилита поиска изображений (сканирует указанную папку и собирает пути ко всем изображениям с заданными расширениями)
4. класс датасета (определяет, как загружать и предобрабатывать каждое изображение)
5. загрузка предварительно обученной модели Stable Diffusion, настройка метода LoRA
6. основной цикл обучения
7. финальное сохранение
(генерация изображений)
1. импорт необходимых библиотек, монтирование Google Drive к среде Google Collab, определение путей к рабочим папкам
2. основные параметры для работы модели и процесса генерации изображений
3. загрузка основной модели Stable Diffusion и интеграция LoRa
4. список использованных промптов
5. функция генерации (определение логики создания одного изображения)
6. основной цикл, управляющий процессом генерации нескольких изображений
генерации
В результате нейросети удалось уловить общее настроение, но оттенки зачастую оказывались неточными. Также я заметила неоднородность: какие-то генерации вышли более реалистичными, а другие чересчур минималистичными. Все полученные изображения находятся в папке results на диске.
Я отобрала несколько наиболее подходящих иллюстраций и решила их доработать, применив цветокоррекцию и трассировку в Photoshop, чтобы добиться стилистической консистентности.
Эти изображения могли бы свободно использоваться для карточек из мерча, куда я вдобавок вписала буквы, основываясь на дизайне календаря.
заключение
Таким образом, использование генеративной модели может быть отличным инструментом для оптимизации задач и создания большого количества изображений в единой стилистике. Получаемый материал оказывается полезным для расширения границ стиля и наводит на новые идеи.
