Обучение генеративной нейросети —Basquiat
идея проекта
Проект родился из моего интереса к творчеству Жана-Мишеля Баския и стремления понять, как его яркий, хаотичный, но одновременно наполненный смыслом стиль может быть интерпретирован искусственным интеллектом. Главной идеей стало обучение нейросети Stable Diffusion на основе работ Баския, чтобы затем получить совершенно новые изображения, которые сохраняют и развивают характерные черты художника.
Для обучения модели я использовала работы, которые наилучшим образом отражают уникальность стиля Баския:
Эти работы были выбраны из-за ярко выраженного авторского стиля, наличия текстовых элементов, грубых штрихов и насыщенных цветовых решений, которые хорошо считываются нейросетью.
процесс обучения:
Создаётся локальная директория, куда загружаются изображения (в данном случае предполагается, что это изображения в стиле Баскиа). После загрузки изображения отображаются в виде сетки. Затем используется модель BLIP (от Salesforce) для автоматической генерации описаний к изображениям. Это делается с помощью модели blip-image-captioning-base. Полученные описания дополняются кастомным префиксом «In the style of BASQUIAT,» — это помогает модели учиться ассоциировать стиль с конкретной формулировкой. Все результаты сохраняются в файл metadata.jsonl, где каждой картинке соответствует её путь и сгенерированное описание.
код обучения модели:
итоговая серия изображений:
Полученные изображения представляют собой интерпретацию стиля Баскии, созданную нейросетью на основе изучения исходных работ. Серия состоит из нескольких изображений, которые сохраняют важные элементы оригинала, такие как экспрессивная линия и грубые, неровные штрихи
boxing / forest
cat / hello kitty
In the style of BASQUIAT, a classical orchestra / In the style of BASQUIAT, a Napoleonic war scene
In the style of BASQUIAT, a medieval knight in armor, riding a skeletal horse, surrounded by cryptic Latin phrases and crowns / wine
In the style of BASQUIAT, a ship at sea during a storm / In the style of BASQUIAT, portrait of a young man holding a flower
minions / new york
Pikachu surrounded by abstract electric sparks / skeleton
A shepherd and his dog watching over a valley. / Аfrican
woman with umbrella
вывод
С визуальной точки зрения изображения имеют разнообразие вариаций. Некоторые из них выглядят более абстрактными, демонстрируя активное смешение цветов и форм, в то время как другие — ближе к фигуративному искусству с более чётко читаемыми силуэтами и символами, отсылающими к знаковым мотивам Баскии (например, череп, лица, короны и городские образы). Интересным оказалось и то, как нейросеть интегрировала текстовые элементы: она имитирует характерный почерк художника, создавая ощущение личного, почти интимного взаимодействия зрителя с изображением.
Также я попробовала создать более современные изображения, отсылаясь на поп-культуру: Hello Kitty, миньоны, и т. д. Нейросеть хорошо передала стиль оригинальных работ автора, не отклоняясь от запроса и не искажая исходный промт.
google disk
