Комплексный обед

На этих 30 фотографиях я обучила нейросеть — и попросила её подать в столовском стиле то, чего в столовой никогда не бывает: устриц, рамен, свадебный торт и новогодний стол.

Еда в кадре определяется не только тем, что лежит на тарелке, но и подачей: посудой, фоном, ракурсом, светом. Столовский поднос — одна из самых узнаваемых подач: любой, кто учился в школе или вузе, узнаёт её с первого взгляда.Мне было интересно проверить, можно ли научить нейросеть именно подаче, а не конкретным блюдам. Если модель выучит такую подачу, то сможет превратить в комплексный обед что угодно — от бургера до устриц.

В обучение вошли 30 фотографий еды — только обеды в столовой. У всех есть общие признаки:
• съёмка строго сверху;
• яркий пластиковый поднос — оранжевый, жёлтый, зелёный, красный или бордовый;
• белые тарелки, кружка чая или компота, вилка и ложка;
• привычный набор: суп, второе, салат, хлеб, иногда банан или яблоко;
• ровный свет потолочных ламп.

Как готовился набор: фото переведены из HEIC (так как были сделаны просто на мой телефон) в JPG и обрезаны до квадрата. К каждому изображению модель BLIP создала подпись, а в начало подписи добавлен триггер стиля: «top-down photo of a canteen lunch tray in KOMPLEX style».

Лучше всего модель справилась с блюдами, которые легко положить в тарелку столовой: она сохранила само блюдо, но поставила его на цветной поднос, добавила чай, белые тарелки и приборы. Во всех промптах первая часть одинаковая — триггер стиля.

Интересно, что модель часто ставит на поднос больше тарелок, чем было в датасете — 8–10 вместо привычных 3–4. Она выучила не точное число, а ощущение заполненности подноса.

Сложности возникли с устрицами и свадебным тортом. В первый раз они получились слабыми, так как пропал столовский стиль. Я переписала промпты так, чтобы прямо перечислить столовские детали, а в негативный промпт добавила «wooden table, many plates».

Не всё получилось, и где-то мой эксперимент не удался. Правило, которое я вывела для того, чтобы получались более «столовские» подачи: стиль побеждает, когда блюдо можно разложить по белым тарелкам. Если у блюда есть своя сильная форма подачи (блюдо со льдом, тюбик) — модель выбирает что-то одно.

Каждый промпт основной серии я сгенерировала дважды с одинаковым seed: в базовой SDXL (промпт без слов «in KOMPLEX style») и в SDXL с обученной LoRA. Разница показывает, что именно добавило обучение.