О чем проект
Цель проекта — исследовать возможности генеративных нейросетей в работе с художественным стилем и обучить модель создавать портреты, вдохновлённые творчеством Эгона Шиле. Мне хотелось проверить, насколько нейросеть способна передать характерные особенности его художественного языка и сохранить их при изображении людей разного возраста, внешности и в различных позах.
Выбор пал на Эгона Шиле из-за его экспрессивной манеры изображения человеческого тела, выразительными контурами и намеренно вытянутыми, угловатыми формами. Работы находятся в общественном достоянии (public domain), поэтому подходят под критерии датасета: использования материалов со свободной лицензией.
Картины Эгона Шиле
Его портреты часто передают внутреннее напряжение персонажа через позу, направление взгляда и особенности пластики тела. Важную роль играют неровные линии, ощущение незавершённого рисунка, контрастные детали и сочетание приглушённых оттенков с более насыщенными цветовыми акцентами.
Тренировка нейросети
Сначала я проверила доступность GPU, а затем скачала библиотеки
Для обучения я собрала датасет из 51 изображения произведений Эгона Шиле. В подборку вошли портреты и изображения человеческих фигур с различными позами, особенностями внешности и композицией, примеры были показаны выше.
Изображения были загружены в отдельную директорию в Google Colab. После этого я проверила состав датасета и подготовила фотографии для дальнейшего обучения модели.
Для автоматического создания описаний использовала модель BLIP, которая анализирует изображение и формирует текстовое описание его содержания. К полученным описаниям добавлялся общий префикс «portrait in Schiele-inspired expressionist style». Метаданные с названиями файлов и текстовыми описаниями сохранялись в metadata.jsonl.
Дообучение нейросети
Для проекта я использовала Stable Diffusion XL — базовую модель генерации изображений, которую дообучала с помощью метода LoRA.
В качестве основы использовались модели:Stable Diffusion XL Base 1.0 — базовая модель для генерации изображений.SDXL VAE FP16 Fix — компонент для преобразования латентных представлений в изображения и обратно.DreamBooth-LoRA — подход к адаптации модели на выбранной подборке изображений.Обучение проводилось в Google Colab с использованием библиотеки Diffusers и инструмента Accelerate.
Основные параметры обучения:1. Разрешение изображений: 512 × 512 пикселей.
2. Размер батча: 1.
3. Накопление градиентов: 4 шага.
4. Скорость обучения: 1e-4.
5. Количество шагов: 500.
6. Точность вычислений: FP16.
7. Оптимизатор: 8-bit Adam.
8. Gradient checkpointing для снижения потребления памяти.
Сохранение обученной модели
После завершения обучения веса LoRA сохраняются в отдельную директорию schiele_portrait_LoRA. Это позволяет повторно подключать полученную адаптацию к базовой модели Stable Diffusion XL и использовать её для дальнейшей генерации портретов.
В проект также предусмотрен этап публикации модели на Hugging Face, где можно хранить обученные веса и описание эксперимента.
Сгенерированные изображения
После подключения обученной LoRA я использовала DiffusionPipeline для генерации портретов по текстовым запросам. В промптах задавались особенности внешности персонажа, возраст, одежда, поза и композиция, а также визуальные характеристики, связанные с экспрессионизмом Шиле.
Основные параметры генерации:Количество шагов: 30.
Guidance scale: 7.0.
Текстовые промпты: индивидуальные для каждого портрета.
результат генераций
В результате эксперимента была получена серия портретов, в которой варьируются возраст, внешность и позы персонажей. При генерации я стремилась сохранить узнаваемые особенности художественного языка Шиле: выразительные контуры, угловатую пластику, графичность.
результат генераций
