Обучение генеративной нейросети на фотографиях кошек

Фотографировать кошек — одно из моих любимых занятий, особенно если удаётся поймать их выразительный взгляд в портретном кадре. Мне нравится передавать текстуру их шерсти, фокусироваться на глазах — они у кошек невероятно выразительные и кажутся почти гипнотическими.

Именно поэтому для обучения нейросети я решила использовать фотографии кошек. Мне было интересно проверить, насколько точно модель сможет воспроизвести их черты и передать характерный взгляд, избегая типичных артефактов, которые часто встречаются в ИИ-генерируемых изображениях.

Работа проходила в среде разработки Kaggle, Датасет состоял из 27 изображений кошек.

Подключаем необходимые библиотеки, загружаем скрипт для обучения модели, а также создаём папку и копируем в неё изображения кошек для дальнейшей обработки.

Один из этапов обучения — генерация подписей к картинкам. Код позволяет автоматически подписывать изображения, передавая их в модель.

Вход — картинка, выход — сгенерированная моделью подпись.

Проходим авторизацию в Hugging Face для загрузки обученной модели, а также устанавливаем библиотеки для оптимизированных вычислений.

Теперь можно было приступать к самому обучению. Размер для изображения был задан в 512×512 пикселей, обучение проходило с шагом в 500 и чекпоинтом 250. С такими параметрами тренировка заняла 30 минут.

Автоматически определяем имя пользователя Hugging Face и создаём уникальный путь для загрузки обученной модели LoRA в облачное хранилище Hugging Face.

Загружаем обученную модель LoRA в Hugging Face Hub, чтобы её можно было использовать и загружать в будущем.

Загружаем обученную LoRA-модель и генерируем 10 изображений кошек на основе запроса.

В итоговой серии изображений кошек, созданных с помощью нейросети, удалось достичь высококачественных результатов, которые соответствуют концепции проекта.

Все изображения выполнены в портретной композиции, что было ключевым требованием, и каждая кошка выглядит выразительно и детализировано. Визуальные характеристики, такие как уникальные и интересные глаза, стали отличительной особенностью.

Нейросеть, несмотря на наличие исходных данных о кошках, сумела передать характерные черты этих животных, такие как текстуры шерсти, форма ушей и лица, а также создаваемое впечатление эмоций и настроений.

Однако нейросеть показала определённые особенности при генерации цветов. Преобладание серых и рыжих оттенков в изображениях связано с тем, что модель в какой-то момент запомнила этот цвет как основное, что ограничивает разнообразие палитры. В некоторых случаях изображения отходят от ожидаемой цветовой гаммы, что можно рассматривать как результат работы нейросети. Это также касается выделения специфических цветовых пятен и оттенков.