Описание проекта
«Дымка» — это серия сгенерированных картинок при помощи обученной нейросети Stable Diffusion XL. Нейросеть, обученная на моих работах. В частности, на фонах для анимации и на лайновых рисунках.
Исходники
Я решила использовать нейросеть, чтобы автоматизировать создание изображений в этом стиле. Цель проекта — не только исследовать, как ИИ может имитировать такую сложную художественную технику, но и разработать инструмент, который упростит и удешевит процесс анимации.
В результате, проект открывает новые возможности в цифровом искусстве и делает уникальный стиль доступным для большего числа людей.
Работы ИИ
Анализ итоговых изображений
Основной целью было воспроизведение характерных черт визуального языка исходников: акварельная мягкость, расплывчитость, зернистость и общее ощущение цифровой глубины.
Но, в некоторых случаях модель некорректно пейзаж: она не может составить сложную композицию, хоть и отлично передает фактурность материала. Это типичная трудность для генеративных моделей, особенно при работе с нестандартными визуальными стилями. Также стоит отметить, что моделе даются и полноценные образы.
Также нейросеть научилась работать с контуром, и живостью линий, которые присущи передним планам.
Код и описание процесса обучения
Авторизация и подготовка среды В начале осуществляется вход в аккаунт Hugging Face с помощью функции notebook_login (), что позволяет загружать и сохранять модели в репозитории.
Настройка гиперпараметров и запуск обучения С помощью команды accelerate launch запускается скрипт train_dreambooth_lora_sdxl.py с набором параметров, включая выбор базовой модели, настройку разрешения изображений, размера батча, шагов накопления градиентов, градиентного чекпоинтинга, 8-битного Adam и смешанной точности. Также задаются скорость обучения, количество шагов и другие гиперпараметры для тренировки LoRA на основе DreamBooth.
Процесс обучения и сохранение промежуточных результатов В ходе обучения модель проходит через этапы прямого и обратного прохода, корректируя веса с использованием выбранного оптимизатора. Периодически сохраняются контрольные точки, что позволяет восстанавливать или анализировать промежуточные результаты.
Сбор итоговой модели после завершения обучения Создаётся репозиторий на Hugging Face, а итоговая модель формируется с помощью функции save_model_card. Затем окончательный результат загружается в репозиторий с помощью upload_folder.
Дополнительно при выполнении проекта использовался СhatGPT для объяснения исходного кода.
https://chatgpt.com/
