Идея проекта
Практическая часть проекта выполнялась в облачной среде Google Colab с использованием аппаратного ускорения GPU (NVIDIA T4). За основу была выбрана современная диффузионная модель Stable Diffusion XL 1.0, обладающая высокой базовой детализацией.Для переноса художественного стиля использовался метод DreamBooth в связке с LoRA (Low-Rank Adaptation).
Louis Comfort Tiffany, Glass Window from the Tiffany Residence at Laurelton Hall, Oyster Bay, New York, The Metropolitan Museum of Art, New York, NY, USA. Photograph by Sailko via Wikimedia Commons (CC-BY-SA-3.0).
Проект исследует возможности переноса классического декоративно-прикладного искусства (стиль Art Nouveau, витражи Тиффани) в цифровую среду с помощью дообучения генеративных нейросетей (LoRA для SDXL). В основе лежит идея синкретизма: историческая техника мозаичного стекла из эпохи общественного достояния (Public Domain) применяется к привычным современным или сказочным объектам, создавая уникальный визуальный синтез ремесла и алгоритмов.
Процесс обучения модели
Для обучения был собран датасет из 10 высококачественных изображений классических витражей и мозаичных паттернов в стиле Тиффани и затем кадрированных 1:1
Подготовка среды и данных
Перед тем как заставить нейросеть учиться, нам нужно было «распаковать файлы». Сначала мы распаковываем архив с картинками витражей, чтобы программа знала, на чем тренироваться. Потом мы скачиваем официальные инструменты для работы с нейросетями и настраиваем их точные версии, чтобы компьютер в облаке не выдавал ошибки из-за конфликта программ. .
Фрагмент кода Google Colab
Обучение модели (LoRA)
Сердце проекта. Мы берем большую базовую модель SDXL и заставляем её 300 раз изучить твои картинки витражей. Флаги --mixed_precision="fp16» и --gradient_checkpointing позволяют сэкономить память видеокарты T4, чтобы Colab не вылетел с ошибкой OOM. В итоге за 1.20 минут создается маленький файл-адаптер (tiffany_lora), запомнивший стиль Тиффани.
Фрагмент кода Google Colab
Генерация итоговой серии изображений
Когда обучение закончилось, нам нужно увидеть результат. Этот код загружает базовую нейросеть, надевает на неё наш новый «витражный фильтр» и по очереди запускает 8 разных идей (кота, машину, чашку, замок, дерево, портрет, планету и птицу). Нейросеть превращает каждую из этих задумок в красивый витраж.
Фрагмент кода Google Colab
Ссылка на блокнот: google colab
Серия изображений
В результате работы дообученной модели была создана серия из 8 концептуальных изображений в едином стилевом ключе, демонстрирующая универсальность нейросети при переносе различных объектов в эстетику витражей Тиффани:1. «Кот на подоконнике» (интеграция живого существа в витражную мозаичную структуру).2.«Винтажный ретро-автомобиль» (трансформация сложного индустриального объекта в цветное стекло).3.«Уютная кофейная чашка» (предметный дизайн в стилистике художественного витража).4. «Сказочный замок в горах» (архитектурный пейзаж сквозь призму классической витражной эстетики).5. «Светящееся волшебное дерево» (перенос органических форм природы и сказочных мотивов в полупрозрачные грани).6. «Таинственный портрет женщины» (создание портретной графики с характерными контурами и текстурой стекла).7.«Футуристичная планета с кольцами» (космический пейзаж, стилизованный под мозаичное панно).8.«Красочная экзотическая птица» (передача ярких переливов оперения через фактуру витражного стекла).
Итоговая серия наглядно демонстрирует, как цифровая модель «усваивает» ДНК исторического ремесла. Витраж перестает быть просто плоским окном и начинает формировать объём объектов через цветные сегменты стекла и характерные контуры спайки
Описание применения генеративных моделей
Stable Diffusion XL (SDXL 1.0): Базовая диффузионная нейросеть с открытым исходным кодом, обеспечивающая высокое качество и детализацию исходной генерации (1024×1024 пикселей).DreamBooth + LoRA (Low-Rank Adaptation): Метод дообучения нейросети, с помощью которого был создан индивидуальный визуальный стиль (tiffany_lora) на основе авторского датасета витражей. Это позволило перенести характерную эстетику ремесла конца XIX века в цифровую сред
Google Colab (GPU T4): Облачный сервис, предоставивший необходимую вычислительную мощность (для запуска тяжелых скриптов обучения нейросети и генерации изображений.
Помимо обученной нейросети (LoRA SDXL) для генерации самих артов, в работе над проектом использовался текстовый ИИ-ассистент Gemini:-Генерация идеи и легальной концепции: Помощь в выборе темы Public Domain (витражи Тиффани) для абсолютной юридической чистоты проекта.-Помощь в структурировании искусствоведческого анализа и составлении текста пояснительной записки.
