Создания стиля генеративной абстрактной гравюры

Из-за сложности работы с абстракцией были внесены некоторые изменения в структуру шаблона для достижения высокого качества генераций немного иным образом, в связи с чем были превышены мощности базового colab и поэтому процесс обучения будет воспроизведен и объяснен в коде, но не будет запущен. Время затраченное на процесс обучения в более мощной модели заняло около 4 часов.

Первым делом производим подготовку среды и данных, с которыми будем работать далее.

Далее начинаем обучение, которое оказалось довольно глубоким из-за специфики работ. Произведено 25 эпох и 575 шагов. Данные обученной модели подвязаны по ссылке в колабе.

Пример кода ниже для инференса (запускалось как скрипт, а не в jupyter) для генерации тестовых изображений с LoRA Запускалось на A100 80GB. В google colab (T4) не влезет (именна эта версия, но возможно в int4 влезет)

Также было сгенерировано большое множество промптов для отработки обученой модели и поска наиболее интересных вариантов.

Первые две картинки не совсем соответствуют моей задаче создать стиль идеально совпадающий с моими работами, но он отвечает запросу создания идеи для использования моего стиля и создания артов с ним, как отдельного генеративного проекта.

Тут скорее получилось интересное оформительское решение.

Еще одна интересная идея прикладного использования моего стиля.

Приближенный вариант к первой задаче — копирования и воспроизведения моего стиля. Только есть промах в цветах и детализации.

Вот абстракции довольно схожие и использующие самые яркие элементы анализируемого датасета. Это примерно от ожидаемый результат, который можно улучшить продолжив обучать модель. Даже эти изображения уже наталкивают меня новые творческие пути развития моей серии, а значит цель проекта достигнута.