Обучение нейросети графике Маурица Корнелиса Эшера

Мауриц Корнелис Эшер строил невозможные миры вручную — линейка, резец, месяцы кропотливой работы. Тесселяции, где птицы постепенно становятся рыбами; лестницы, замыкающиеся сами на себя; водопады, текущие по кругу. Его графика — это всегда конфликт между строгой математической системой и видимой невозможностью того, что она изображает.

Генеративная нейросеть — тоже машина, которая строит невозможное, но из статистики. Идея проекта — поставить эти две «машины невозможного» лицом к лицу: обучить нейросеть у самого мастера парадокса и посмотреть, что получится, когда логика Эшера переезжает из руки гравёра в латентное пространство диффузионной модели.

Концепция серии — «Порядок и парадокс». Сеть учится у Эшера порядку (жёсткие тесселяции, выверенная тональная графика, геометрическая композиция) и одновременно порождает парадокс: бесконечное число вариаций миров, которые «почти возможны». Эшер мог нарисовать одну «Метаморфозу» — модель способна выдать их сотню, ни одна не повторяя другую.

Задачи проекта: собрать датасет графических работ Эшера (38 квадратных изображений 1:1) → дообучить Stable Diffusion XL методом LoRA → сгенерировать консистентную серию изображений → проанализировать, какие элементы стиля удалось передать.

В датасет вошли 38 чёрно-белых работ Эшера из WikiArt и Wikimedia: литографии, ксилографии и меццо-тинто. Отбор объединил тесселяции, метаморфозы, невозможную архитектуру и пейзажи.

Изображения приведены к квадрату 1024×1024 центральным кадрированием. Репродукции меньше 512 пикселей по короткой стороне исключены; рамки, подписи и лишние поля удалены.

Для обучения использована LoRA: базовые веса SDXL остаются замороженными, а небольшие обучаемые матрицы адаптируют модель к выбранному стилю. В каждой подписи датасета присутствовал триггер escher style. Обучение проходило в Google Colab на Tesla T4 с официальным скриптом diffusers train_text_to_image_lora_sdxl.py.

Основные параметры:

Базовая модель — Stable Diffusion XL 1.0.

Разрешение обучения — [640 / 768] пикселей.

Batch size — 1, накопление градиента — 2.

LoRA rank — 32, learning rate — 1e-4.

Планировщик — cosine, прогрев — 100 шагов.

Длительность — [500 / 800] шагов, сохранение каждые 300 шагов.

Точность — fp16, gradient checkpointing; текстовые энкодеры заморожены.

Серия включает 6 изображений 1024×1024. Промпты объединены триггером escher style и описанием графической техники. Параметры генерации: 30 шагов, guidance scale 7.0, разные seed.

Модель передала характерные признаки графики Эшера: монохромность, штриховую фактуру, ритмическое повторение форм и мотивы невозможного. При этом тесселяции не всегда стыкуются точно, а пространственные парадоксы уступают оригиналам в геометрической строгости. Изображения различаются сюжетами, плотностью штриховки и близостью к мотивам датасета. Серия показывает, как единый визуальный язык меняется от кадра к кадру.

Главный результат — перенос узнаваемых черт графики Эшера в генеративную среду. Модель воспроизводит впечатление порядка и парадокса, но точность этого переноса требует визуальной проверки.

Stable Diffusion XL 1.0 — использована для создания итоговой серии после дообучения методом LoRA на 38 работах Эшера. Обучение и генерация выполнены в Google Colab на Tesla T4.

ChatGPT, [GPT-6 Astra] — использован для отладки кода и подготовки промптов.