Minecraft dentro de GTA V, y cómo lo construyó un agente de IA

Minecraft corriendo dentro de GTA V: Steve construye en Los Santos y su TNT revienta coches.

Lo hizo una persona con un agente de IA en unos dos días. Me leí el código para entender cómo.

Nadie fusionó dos juegos. Los dos corren a la vez, sin modificar, y un mod en cada lado los hace hablar:

1. GTA envía su cámara en cada fotograma y Minecraft dibuja desde el mismo punto. Un metro es un bloque.
2. GTA sondea el suelo, 160 puntos por fotograma, y Minecraft levanta ahí bloques invisibles. Por eso Steve pisa la calle.
3. Minecraft exporta color y profundidad de cada píxel. Un shader pinta el bloque solo donde está más cerca que lo que GTA ya dibujó. Por eso un poste tapa una casa de bloques.
4. Lo que pasa en Minecraft pasa en GTA: una explosión de TNT es una explosión real, una flecha que acierta a un coche llega como bala, y cada bloque que pones es un objeto invisible contra el que chocan los peatones.

Cómo trabajó el agente

Es lo que más me interesó. Construyó un GTA falso para probar todo antes de que el juego de 125 GB terminara de instalarse, y midió el desfase de cámara con una pared de oro contra el horizonte.

Dejó 28 errores documentados con su causa y su arreglo. Uno era un fallo del propio Minecraft, corregido con un parche inyectado en su código.

Son unas 6.000 líneas de C++, Java y un shader, con licencia MIT. El agente lee, prueba y corrige; la persona decide qué vale la pena construir.

El código y las notas del agente están en universal-modder: el ejemplo, en examples/minecraft-gta5-passthrough, y las notas, en knowledge/games/gta-v.