Байкал: снег, свет, точки

Введение.
В прошлом году я впервые побывала на зимнем Байкале: пустынные заснеженные пейзажи острова Ольхон засели в моём сердце. В свою поездку я взяла фотоаппарат и безостановочно вела съёмку всего, что меня окружало.

Переход к теме и идея.
В тот день шёл лёгкий снегопад. Когда я уже была дома и разбирала получившиеся фото, я заметила множество точек-снежинок, перебивающих статичные каменные пейзажи.

Своей динамикой снежинки здорово оживили всю мерзлоту, и тогда я вспомнила о работах художников-пуантилистов, использующих точки в качестве основного художественного приёма при создании работ.

В частности я вспомнила работы Поля Синьяка — французского неоимпрессиониста и пуантилиста. В своих работах он часто изображал прибрежные пейзажи и природу. Именно на его картинах я решила обучить нейросеть: мне стало интересно, как бы выглядели мои фотографии будь они выполнены в стиле пуантилизма.

Итак, цель моего проекта — стилизовать зимние пейзажи Байкала под живопись Поля Синьяка с помощью SDXL и обученной LoRA. Для обучения использованы 19 репродукций картин художника, взятые с сайта Wikipedia Commons, они имеют маркировку Public Domain. Для применения стиля я также подготовила 22 фотографии Байкала, которые в обучение LoRA не входили. Перед началом работы я загрузила репродукции и свои фото на Google диск в отдельные папки.

Далее я проверила GPU и установила зависимости.

Подготавливаю обучающий скрипт: скачиваю и адаптирую его из репозитория Hugging Face.

Затем я подключаю папку с заранее выгруженными работами Синьяка и моими фотографиями к проекту. Следующим шагом проверяю все пути.

Далее распаковываю репродукции, меняю разрешение до 512×512 и импортирую. Просматриваю первые несколько картинок, чтобы убедиться что всё прошло успешно. Настраиваю подписи к изображениям.

Запускаю обучение и проверяю сохранённые веса.

Публикую обученную модель на Hugging Face

Базовая SDXL загружена вместе с обученной LoRA. Делаю запрос с маркером «snqstyle» и начинаю создавать зимние пейзажи Байкала.

Стилизую первую фотографию, чтобы проверить что получится

Удостоверившись в том, что стилизация Перой фотографии прошла успешно, стилизую оставшиеся фото и вывожу их в новую папку на том же диске с репродукциями и моими изначальными фотографиями.

Первая сгенерированная по промпту картинка выглядела так: яркие синие цвета, незамёрзшая вода и ясное солнечное небо.