Картины мировых художников в стиле видеоигры Sims

Идея моего проекта заключается в обучении нейросети воссоздавать известные картины мировых художников в стиле игры The Sims.

Концепция проекта заключается в создании диалога между реальностью и виртуальностью. Трансформация знаменитых картин мировых мастеров в стиль игры The Sims позволяет исследовать контраст между реализмом оригиналов и игривой эстетикой цифрового мира. Эти произведения искусства, изначально символизирующие каноны и идеалы своих эпох, через игру обретают новое восприятие, подчёркивая, как технологии и культура меняют восприятие традиционного искусства в современном мире.

В итоговой серии изображений представлено пять картин известных художников в стилистике игры The Sims: «Девушка с жемчужной сережкой» Вермеер, «Автопортрет» Ван Гог, «Американская готика» Грант Вуд, «Дама с горностаем» Леонардо да Винчи и Сикстинская мадонна Рафаэля.

Получилось передать стилистику игры через характерную графику людей (черты лица, кожа, волосы), пропорции человека (особенно видно по рукам), элементы одежды (они выглядят как не детализированная текстура, что характерно для игры). А также пикселизация изображений, как в игре.

Результаты соответствуют первоначальной идеи. Я задумывала показать содержимое картин через призму игры. Думаю нейросеть справилась. Но конечно, есть некоторые моменты, как удвоение предметов и тд. Но нейросеть интересно передала разные эпохи через стиль игры.

Я пробовала дополнительно изменять параметры воздействия стиля LoRa, но оказалось, что изначально вышло лучше.

В коде можно увидеть, что у меня получилось несколько вариаций одного изображения, я использовала для презентации лучшие.

Получилось интересно передать эпохи изображенного на картинах, детали (такие как украшения или горностай) и поиграть с реальностью и виртуальностью. А также рассмотреть искусство под новым углом, в доступной для нас форме. Получилось забавно и интересно.

Для обучения применялась модель Stable Diffusion XL, с использованием DreamBooth и LoRA для обучения.

Сначала я создаю папку с изображениями на основе которых будет обучаться модель. Это папка состоит из 35 картинок и скринов из игры The Sims 3 и The Sims 4.

После этого подгружаю эти изображения.

Потом регистрируюсь на сайте Hugging Face и получаю токен, для хранения модели, которую я обучила. А дальше заполняю скорость, разрешение и другие параметры для обучения. Само обучение у меня заняло 38 минут.

После обучения я подхожу к генерации самих изображений. Вызываю модель с промптом «photo in SIMS style». Я отобрала несколько картин, где хорошо видно лицо и черты, чтобы нейросети было легче это переработать. (Вот с Джакондой не получилось)