О проекте
Du Jingze — китайский художник, который создаёт монохромные масляные картины, находящиеся на визуальном стыке между применением нейросетей и «зажёванными» фотографиями. Его работы часто посвящены поискам идентичности человека в современности, невозможности найти «что-то чёткое и осязаемое». Жуткие и застывшие во времени образы превращаются в кривое зеркало, в котором зритель может разглядеть своё отражение.
Мне стало интересно, сможет ли обученная модель не только эффективно научиться копировать стиль художника, но и привнести что-то новое в сформированный визуальный язык. Важным критерием для меня было сохранить чувство отстранённости и деперсонализации созданных объектов, глубокой меланхолии и туманности картин Jingze.
Датасет и исходные изображения
Изображения для датасета я взял с персонального сайта художника, далее обрезал их вручную до разрешения 1024 × 1024. Внутри содержится несколько категорий: портреты в разных авторских стилистиках, простые, нейтральные объекты. Преимущественно все изображения находятся в единой стилистике с соблюдением одинаковой композиции. Итоговый датасет содержит 58 картин художника.
Процесс обучения
В работе я использовал облачную среду Kaggle с графическим процессором GPU P 100, что позволило значительно ускорить процесс обучения моей модели и увеличить общее время работы в среде.
Перед началом работы я импортировал и подгрузил все необходимые библиотеки: bitsandbytes, transformers, acceler, peft и тд.
Итоговая серия генераций
«oil painting in JINGZE style, crying young boy, black and white colors»
«oil painting in JINGZE style, blonde woman with tired eyes, black and white colors» / «oil painting in JINGZE style, woman with black hair, looking at the camera, black and white colors»
«oil painting in JINGZE style, young man with a flower, wearing a suit, black and white colors»
«oil painting in JINGZE style, an apple with a snake around it, black and white colors» / «oil painting in JINGZE style, a mouth with sharp teeth, black and white colors»
Некоторые сгенерированные изображения обладают достаточно большим количеством артефактов и искажений, однако мне кажется, что это только позволяет лучше раскрыть отстрённость и гротескность картин автора
«oil painting in JINGZE style, a man surrounded by flowers, black and white colors»
«oil painting in JINGZE style, a man with cow ears, wearing a suit, black and white colors»
«oil painting in JINGZE style, a giant face of a depressed man, black and white colors» / «oil painting in JINGZE style, a giant face of a happy man, black and white colors»
Ещё одним наблюдением, которое я заметил в ходе создания изображений — гиперболизация эмоций, которые находятся будто бы на грани безумия и абсолютной безразличности
«oil painting in JINGZE style, face of a man and a woman, long hair, black and white colors»
«oil painting in JINGZE style, a flower with human eyes, black and white colors»
Наиболее удачной и интересной деталью, создаваемой моделью, стали человеческие глаза — пыльные, замутнённые и устремлённые в пустоту неизвестности
«oil painting in JINGZE style, a pot with human eyes, black and white colors»
Подводя итоги, можно сказать, что модель смогла уловить суть стиля Du Jingze. Она передаёт ту же меланхолию и чувство зыбкости бытия, что и в оригиналах, — будто смотришь на что-то почти узнаваемое, но всё время ускользающее. Получилось сохранить и общие композиционные решения. Мягкие мазки кисти узнаваемы, но цифровая природа генераций всё равно прослеживается. И это, на мой взгляд, только добавляет работам зловещей двойственности, усиливая их тревожность и искаженность.
Мне кажется, что лучше всего получились портреты — их в датасете было действительно больше чем других объектов. Зато с незнакомыми или сложными элементами модель справилась не так хорошо. Но даже такие несовершенные результаты играют на руку: их пыльность и грязность, подчеркивает ту самую туманность, которая делает работы Jingze такими тревожно-притягательными.
Ссылки
