Концепция
Пабло Пикассо — это не просто художник, а символ революции в искусстве. Его работы охватывают множество стилей, от реализма до кубизма, и характеризуются яркими цветами, геометрическими формами и экспериментальными композициями. Обучение модели Stable Diffusion на его работах позволяет нам исследовать, как ИИ может интерпретировать и воспроизводить сложные художественные концепции.
Создавать проект мне помогал ИИ Qwen
Подготовка данных
Качество обучения модели напрямую зависит от качества датасета. Вот как мы подготовили данные:
Сбор изображений: Я собрал коллекцию изображений картин Пикассо, включая его работы в стиле кубизма, сюрреализма и абстрактного искусства. Все изображения были конвертированы в формат RGB и масштабированы до разрешения 64×64 пикселей (для ускорения обучения). При помощи ресурса www.birme.net
Организация датасета:
Изображения были сохранены в папке dataset и преобразованы в zip файл. Я использовали библиотеку PyTorch для создания собственного класса Dataset, который загружает и преобразует изображения.
Я запросил нейросеть Qwen прописать мне порядок обучения нейросети основываясь на моём датасете и использовании TPU v2-8.
Для обучения мы использовали базовую модель Stable Diffusion (runwayml/stable-diffusion-v1-5) и выполнили fine-tuning на нашем датасете. Вот основные этапы:
Загрузка компонентов модели:
Мы загрузили предобученные компоненты, такие как UNet, VAE, текстовый энкодер и шумовой планировщик.
Настройка параметров обучения:
Мы использовали оптимизатор AdamW и линейный планировщик скорости обучения.
Обучение:
Модель обучалась на TPU v2-8, что позволило эффективно использовать вычислительные ресурсы. После каждой эпохи модель сохранялась, чтобы избежать потери прогресса.
Собранный датасет из 20 картин Пикассо
После завершения обучения мы протестировали модель.
Результат
Вот что мы видим в сгенерированном изображении:
Яркие, контрастные цвета (синий, красный, желтый), характерные для работ Пикассо. Геометрические формы и необычная перспектива лица напоминают кубизм Пикассо. Особенности стиля, такие как наклонённые глаза и геометрическая структура лица, хорошо переданы. Это показывает, что модель частично уловила ключевые элементы стиля Пикассо. Однако есть пространство для улучшений.
Заключение
Обучение Stable Diffusion на стиле Пикассо — это захватывающий проект, который демонстрирует возможности искусственного интеллекта в области искусства. Мы показали, как можно использовать современные технологии для создания уникальных изображений, вдохновлённых великими художниками.
Ссылка на проект.
https://drive.google.com/drive/folders/1sRqU7nSNKRCEMQmt1gOTamh88ydPyGWq?usp=sharing
P.S
Я очень долго возился с этим проектом по причине постоянной нехватки памяти у ГПУ, ЦПУ и TPU v2-8. Поэтому так мало изображений и результатов, так как во время генерации изображения резко могла закончится память и всё слетало по новой. Обучение занимает в среднем 2 часа на моём компе. Эта картинка единственное что есть. В ссылке есть zip файл с датасетом и два файла с кодом. Один сохраненная версия до того как всё слетело (Копия проект), второй уже полетевший. Код работал на TPU v2-8.
