Обучение нейросети на примере Дружка из Барбоскиных

Цель проекта — исследовать возможности дообучения генеративной модели Stable Diffusion XL методом DreamBooth LoRA для точного воспроизведения персонажа мультфильма. В качестве объекта выбран Дружок Барбоскин, герой мультсериала «Барбоскины».

Основная задача — обучить модель распознавать индивидуальные характеристики персонажа и генерировать новые изображения, которые сохраняют его стиль, пропорции и визуальную идентичность, но помещают его в новые сцены и контексты.

Для обучения собран датасет из 37 изображений персонажа. Изображения охватывают разные ракурсы и сцены. Перед обучением к каждому изображению автоматически генерировались текстовые описания (кэпшены). Это улучшает качество обучения модели.

Все изображения были предварительно приведены к единому формату в процессе обучения.

Чтобы улучшить работу модели, к изображениям были добавлены автоматически сгенерированные текстовые описания, на основе которых затем был сформирован файл metadata.jsonl.

Использование текстовых описаний повышает семантическую осмысленность датасета и увеличивает способность модели обобщать особенности персонажа.

Для генерации кэпшенов использовалась модель BLIP. Она анализирует каждое изображение и создаёт текстовое описание Эти описания автоматически включаются в metadata.jsonl и используются в обучении DreamBooth. Таким образом, BLIP помогает:

1. связать визуальные элементы изображения с текстовой информацией;
2. повысить качество обучения;
3. уменьшить риск переобучения;
4. обеспечить лучшую интерпретацию персонажа в новых сценах.

В проекте использована современная генеративная модель Stable Diffusion XL. SDXL отличается высокой выразительностью, улучшенной архитектурой UNet и двумя текстовыми энкодерами, что делает её наиболее подходящей для задач детализированной стилизации и воспроизведения персонажей.

В ноутбуке происходят следующие этапы:

1. Загрузка SDXL и подготовка LoRA-слоёв.
2. Загрузка изображений и кэпшенов BLIP.
3. Подготовка датасета для тренировки.
4. Запуск тренера для DreamBooth LoRA.
5. Периодическое сохранение промежуточных весов.
6. Экспорт итоговой LoRA-модели.

Процесс обучения выполнялся на GPU. После завершения обучение созданы LoRA-веса, которые можно использовать совместно с любой SDXL-моделью для генерации новых изображений персонажа.

После обучения LoRA подключается обратно к SDXL. Теперь генерации выполняются через текстовый запрос. Модель уверенно воспроизводит персонажа в разных стилях, с различным освещением, в новых контекстах, в разных позах и при этом сохраняет узнаваемость и стилистическую цельность.

Модель хорошо передала ключевые особенности Дружка: характерные пропорции головы, цвет шерсти, форма ушей, характерные большие глаза, стилизацию. На итоговых изображениях заметно, что стиль остаётся консистентным, персонаж легко вписывается в новые сцены, сохраняется базовая цветовая палитра, модель понимает позы и может варьировать мимику. Также можно отметить следующие вариации: модель генерирует различное освещение, меняет фон, корректно реагирует на запросы: «в лесу», «в городе», «в 3D стиле», «в акварели».

В рамках проекта использовались сервисы:

1. BLIP — для автоматической подготовки данных
2. SDXL + LoRA — для выполнения основной задачи обучения генеративной модели
3. ChatGPT — для повышения качества оформления проекта и анализа качества датасета.