Как я генерировала акварельные градиенты
Я в своей работе художником часто использую акварельные градиенты, но рисую я в фотошопе, и эти градиенты мне приходится искать в интернете. Мне это надоело, и я решила создать модель, которая будет генерировать мне изображения этих градиентов.
Я собрала архив из 30 картинок с акварельными разводами, на основе которых создала генерации
Обучение модели и генерация
Установила нужные библиотеки и подключила Google Drive для доступа к файлам.
Создала словарь с основными параметрами обучения и настроила пути к папкам.
Подготовила датасет: изображения приведены к единому формату, добавлен список коротких подписей (self._captions) для текстовых условий обучения.
Запустила обучение LoRA — модель Stable Diffusion училась на моих изображениях, периодически сохраняя результаты.
После обучения перешла к генерации: подключила предобученную модель, загрузила LoRA и добавила список промптов.
В цикле задала уникальный seed для каждого изображения, выбрала случайный промпт и сохранила результаты в папку на Google Drive
Анализ результатов
Я сделала несколько попыток, меняя некоторые настройки и части кода, однако к тому результату, который я ожидала прийти так до конца и не удалось.
Часть получившихся фотографий на изначальный запрос отвечали только наличием градиента, на них присутствовали посторонние фигуры, объекты, текстуры.
Другая часть получилась более удачной: на ней можно увидеть простые градиентные переливы. Да, без желаемых мною акварельных разводов, но все-таки.
Зато, на некоторых из них проглядывается текстура, похожая на текстуру бумаги с референсов. А одна генерация и вовсе получилась именно с разводами, правда, не совсем акварельными.
Я думаю, моя ошибка заключается в изначальном выборе проекта и модели. Мне захотелось создать что-то слишком абстрактное, беспредметное, чего до конца добиться так и не получилось.
