Обучение генеративной нейросети. Стиль живописи Ван Гога
Концепция
Данный визуальный ряд — попытка соединить прошлое и будущее искусства. Мы берем одну из самых ярких и узнаваемых фигур постимпрессионизма — Винсента Ван Гога — и переносим его художественное мировоззрение в эпоху алгоритмов и генеративных нейросетей. В центре проекта — идея переосмысления творчества через технологический фильтр. Как ИИ способен имитировать, интерпретировать и даже продолжать художественный язык Ван Гога? Что происходит, когда художник из 19 века отправляется в путешествие по миру 2025 года?
Звездная ночь
Исследовать художественный потенциал нейросетей через стилизацию и генерацию изображений в духе Ван Гога. Мы не ставим задачу воссоздать оригинал — напротив, мы хотим понять, как меняется визуальный код, когда его формирует не художник-человек, а нейросеть, обученная на визуальной памяти одного из величайших мастеров живописи.
Ван Гог Винсент — Автопортрет 1889
Исходные изображения. Всего было загружено 21 фото.
Ход работы
Модель основана на stable-diffusion-x1-base-1.0 https://huggingface.co/stabilityai/stable-diffusion-x1-base-1.0
В процессе обучения использовалась модель Stable Diffusion XL (stabilityai/stable-diffusion-xl-base-1.0), которая является улучшенной версией генеративной модели изображений.
Для повышения качества декодирования изображений дополнительно был подключён предобученный вариационный автокодировщик (VAE) — madebyollin/sdxl-vae-fp16-fix. Основной задачей было дообучение модели в стиле «Vincent Van Gogh», поэтому в качестве обучающего текста к изображениям использовался специальный промпт: «TVincent Van Gogh style,» — он автоматически добавлялся к описанию каждого изображения.
Итог
Так под призмой взгляда Винсента Ван Гога мы смогли увидеть различные достопримечательности мира и знаменитых людей. Мы живем в момент, когда искусство становится цифровым не только по форме, но и по сути. ИИ уже умеет рисовать, писать музыку и создавать образы. Через творчество Ван Гога мы проверили границы: может ли нейросеть «сделать» так, чтобы мы не смогли отличить реальность от цифрового мира.
