Каменное меню

промпт:
a fruit plate with berries and sea glass leaves, everything made of stones with rough natural stone texture, small round red, orange and deep purple pebbles as berries, green sea glass leaves, a large flat grey stone plate

промпт:
a breakfast with fried eggs, toast and tomatoes, everything made of stones with rough natural stone texture, white pebbles as egg whites, golden ochre round stone as yolk, flat sandy beige stones as toast, terracotta red stones as tomatoes with green sea glass leaves

промпт:
a cup of tea with cookies, everything made of stones with rough natural stone texture, a small hollow grey stone cup, a flat round brown stone saucer, three round ochre and beige flat stones as cookies, a driftwood spoon

промпт:
a birthday cake with candles, everything made of stones with rough natural stone texture, stacked round flat stones in cream white and pale pink, small red pebbles on top, thin white driftwood sticks as candles, grey stone plate

промпт:
a burger with fries, everything made of stones with rough natural stone texture, two flat golden-brown stones as the bun, a dark brown stone patty, a green sea glass lettuce leaf, thin pale driftwood sticks as fries, grey stone plate

промпт:
а pizza on a round stone board, everything made of stones with rough natural stone texture, a flat round ochre stone as the crust, small red terracotta pebbles as pepperoni, cream white pebbles as cheese, green sea glass as basil

промпт:
a bowl of soup with a spoon, everything made of stones with rough natural stone texture, a round hollow grey stone bowl filled with small orange and cream pebbles, a flat stone spoon, a green sea glass herb leaf

промпт:
a plate of sushi rolls with driftwood chopsticks, everything made of stones with rough natural stone texture, round reddish-brown and cream white pebbles, grey flat stone plate.

— Отлично передана текстура камней, палок и стекла. Нет странных предметов неестественного происхождения.
— Каменные композиции действительно похожи на свои реальные прототипы.
— Иногда нейросеть перебарщивала с количеством палочек (столовых приборов) по бокам тарелок.
— Хорошо переданы естественные, существующие цвета камней.
— Узнаваемость блюда зависит от формы: твёрдые блюда (яичница, пицца, бургер) читаются хорошо. Жидкие и бесформенные блюда (суп, салат) превращаются просто в кучу камней.
— Нейросеть склонна добавлять больше камней, чем в моих исходных фото, поэтому её «блюда» выглядят насыщеннее и плотнее.

Я дообучила модель Stable Diffusion XL методом DreamBooth LoRA. Этот метод не переучивает всю нейросеть, он лишь добавляет к ней небольшой слой с моим стилем. Датасет — 42 моих фотографии каменных композиций, обрезанных по центру до квадрата 1:1.
К некоторым фото я сама сделала описание. Сначала их автоматически написала модель BLIP, но она не понимала, что камни изображают еду («a rock with a small piece of wood and a small piece of glass»). Поэтому для 15 фото я вручную описала «блюда», а ко всем подписям добавила триггерную фразу «top-down photo of a stone food composition in KAMNI style».
Обучение шло на бесплатной видеокарте T4 в Google Colab: 500 шагов, около 50 минут. Каждое фото модель увидела примерно 72 раза. Я сохранила контрольные точки на 250 и 500 шагах, чтобы сравнить промежуточный и финальный результат.

— Базовая модель: Stable Diffusion XL base 1.0; VAE: sdxl-vae-fp16-fix; подписи: Salesforce/blip-image-captioning-base.
— Данные: 42 фото, 1024×1024 при подготовке, обучение при разрешении 512.
— Подписи: BLIP для всех, ручные для 15.
— Шаги: 500; размер батча 2 с накоплением градиента 3 (итого 6 фото на шаг); learning rate 1e-4.
— Экономия памяти: 8-bit Adam, gradient checkpointing, смешанная точность fp16.
— Время: 50 минут 47 секунд, около 6 секунд на шаг.
— Контрольные точки: checkpoint-250 и checkpoint-500.