Игра, выпущенная в 2024 году с помощью Game and Gen (G&G) – первого в мире игрового движка, полностью основанного на нейросетях, демонстрирует революционный подход к созданию игр. Окружение, коллизии, графика – всё моделируется в реальном времени со скоростью 20 FPS, и для создания уровня не была написана ни строчка кода.
No Code и No Vision
G&G использует подход, схожий с движением No Code, где вместо программирования используется графический интерфейс и готовые модули. Однако, в случае G&G, речь идёт о более радикальной версии – No Vision, поскольку отсутствует даже привычный рабочий интерфейс, как в Unity или Unreal Engine. Эта тенденция к увеличению абстракции и упрощению работы с инструментами наблюдается во многих сферах разработки.
Эволюция игровой графики
В качестве примера рассмотрим игру Doom (1993). Несмотря на революционность для своего времени, Doom не является по-настоящему трёхмерной игрой. Она использует технику 2.5D графики (или билбординг), где плоские 2D спрайты искажаются и масштабируются для создания иллюзии объёма. Современная игровая графика, напротив, невероятно сложна и использует линейную алгебру, множество полигонов и продвинутые технологии освещения (Global Illumination, Ambient Occlusion, Ray Tracing). Современные движки предоставляют огромный арсенал инструментов, значительно упрощающих разработку.
Game and Gen: работа нейросетевого движка
G&G основан на Stable Diffusion 1.4 и использует Reinforcement Learning Agent. Процесс работы движка можно разделить на две части:
- Сбор данных: Агент взаимодействует с игровой средой, выполняет действия, получает вознаграждения и записывает все действия и состояние игры (кадры).
- Обучение генеративной модели: Записанные кадры и действия преобразуются в латентное представление, к которому добавляется шум. Модель, используя denoising network, учится очищать шум и предсказывать следующий кадр, учитывая действия агента. Главная проблема – автокорреляционный дрейф, снижающий качество при увеличении длины последовательности. G&G имеет ограниченное окно контекста (примерно 3 секунды или 60 кадров), что достаточно для управления и генерации в реальном времени в игре вроде Doom.
G&G способен отслеживать состояние здоровья и количество боеприпасов в зависимости от действий игрока.
Будущее разработки игр
Хотя на данный момент игры, созданные с помощью G&G, имеют ограничения (отсутствие сюжета, низкая играбельность), в будущем эта технология может найти широкое применение. Крупные разработчики смогут использовать G&G для генерации уникальных ландшафтов, NPC и даже сюжетных линий в реальном времени, что потенциально приведёт к созданию уникальных игровых опытов для каждого пользователя. Аналогичные технологии уже применяются в робототехнике. Однако, это не означает, что разработчики игр станут не нужны. Сейчас G&G находится на ранней стадии развития.
Game and Gen демонстрирует потенциал нейросетей в революционизации игровой разработки. Хотя на данный момент технология имеет ограничения, её дальнейшее развитие может привести к кардинальным изменениям в индустрии, создавая уникальные и динамичные игровые миры.