Civilization VI pone en aprietos a GPT-5.4, Claude y Gemini

Civilization VI, y en general la saga de Sid Meier, lleva años demostrando que aquello de «un turno más y me voy a dormir» rara vez significa realmente un turno más. Ahora también se ha convertido en un banco de pruebas para averiguar hasta dónde pueden llegar los agentes de inteligencia artificial cuando tienen que mantener una estrategia durante cientos de decisiones. Investigadores vinculados a instituciones como la Universidad de Oxford, Google DeepMind y el UK AI Security Institute han creado CivBench, un benchmark que enfrenta a modelos como GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro y Kimi K2.5 contra la IA del propio juego. En 23 partidas válidas solo lograron tres victorias, aunque el resultado más interesante del estudio no es cuántas ganaron, sino los motivos por los que perdieron.

Civilization VI resulta especialmente apropiado para este experimento porque una partida estándar puede superar los 300 turnos y obliga a gestionar simultáneamente economía, ciencia, cultura, ejército, diplomacia y expansión territorial, además de vigilar seis condiciones distintas de victoria. Es, en definitiva, exactamente esa clase de juego en la que un turno puede convertirse fácilmente en cincuenta. CivBench conecta los modelos mediante 76 herramientas MCP con las que pueden consultar el estado de la partida, controlar unidades, gestionar ciudades, investigar tecnologías o relacionarse con otros jugadores. Cada turno puede exigir entre cinco y quince llamadas, por lo que una partida completa acaba acumulando miles de decisiones.

Hay además una diferencia fundamental frente a un jugador humano. Los modelos no observan directamente la pantalla, sino que reciben información estructurada mediante una capa de narración, y buena parte del estado global del juego solo aparece si deciden consultarlo expresamente. Un jugador puede reparar casi de pasada en que un rival está peligrosamente cerca de ganar; el agente debe acordarse de pedir esa información. Esta característica permite a los investigadores distinguir entre un modelo que no dispone de un dato y otro que tenía acceso a él pero sencillamente no fue a buscarlo, algo especialmente útil para estudiar cómo distribuyen su atención durante tareas muy prolongadas.

Los resultados globales son llamativos, aunque deben interpretarse con prudencia. De las 23 partidas admisibles, Claude Opus 4.6 ganó dos de ocho, Gemini 3.1 Pro una de seis, GPT-5.4 ninguna de ocho y Kimi K2.5 perdió su única ejecución exploratoria. Las tres victorias se produjeron en el escenario base Ground Control y fueron de tipo tecnológico, mientras que ninguno de los modelos consiguió imponerse en Snowflake, diseñado para poner mayor énfasis en el combate. Los propios autores advierten expresamente de que el tamaño y la distribución de la muestra no permiten construir un ranking fiable entre modelos, y las diferencias observadas en victorias y puntuaciones no alcanzaron significación estadística.

Mucho más revelador resulta observar qué estaban «mirando» mientras jugaban. Todos recibieron un manual común que recomendaba consultar el progreso hacia la victoria aproximadamente cada 20 turnos, pero en la práctica lo hicieron solo cada 30 a 75 turnos. Las consultas de monitorización estratégica representaron entre el 0,96% y el 2,13% de sus llamadas relevantes a herramientas, y en siete de las veinte derrotas en las que era posible detectar con antelación que un rival estaba cerca de ganar, el agente no comprobó ese dato durante los últimos 20 turnos. Quien haya pasado unas cuantas horas con Civilization reconocerá cierta lógica en el comportamiento: siempre parece haber algo más urgente que mirar el marcador, hasta que aparece la pantalla de derrota.

El segundo gran problema detectado por CivBench es todavía más interesante. Los agentes mantenían un diario estructurado en el que podían establecer objetivos concretos, como fundar otra ciudad, construir campus o comprobar el avance de sus rivales. Después, los investigadores analizaron si esos compromisos se traducían en acciones durante los diez turnos siguientes. El resultado, denominado Reflection–Action Gap, se quedó entre el 48,2% y el 65,8% dependiendo del modelo, lo que significa que una parte considerable de los planes expresados por la propia IA no llegó a ejecutarse. Civilization tampoco sería Civilization si todas las partidas acabaran pareciéndose al plan que teníamos en el turno uno, pero aquí esa distancia entre intención y acción aparece con suficiente regularidad como para convertirse en uno de los principales hallazgos del estudio.

La tendencia también aparece al observar decisiones cuyos beneficios tardan en materializarse. El manual planteaba como referencia alcanzar tres ciudades en el turno 50, pero ninguno de los modelos llegó de media a ese objetivo: Claude Opus 4.6 y GPT-5.4 alcanzaron 2,83, Gemini 3.1 Pro se quedó en 2,67 y Kimi K2.5 en dos. La diferencia seguía presente en el turno 100. Los investigadores consideran que el patrón es compatible con una mayor atención hacia acciones inmediatamente visibles frente a otras cuya recompensa solo llegará mucho después, una debilidad importante cuando el éxito depende de mantener prioridades durante centenares de pasos.

Y esa es precisamente la parte de CivBench que trasciende Civilization VI. El estudio no demuestra que estos modelos sean incapaces de entender una estrategia ni de formular planes razonables; de hecho, muestra que pueden hacerlo. El problema aparece al mantener una visión global, recuperar la información adecuada en el momento oportuno y convertir sus propias intenciones en acciones consistentes durante periodos largos. Estamos además ante un estudio piloto de solo 23 partidas, con un protocolo común y limitaciones importantes —cada ejecución puede costar entre 31 y 229 dólares en API y durar entre dos y ocho horas—, por lo que sus conclusiones necesitan reproducirse a mayor escala. Pero para unos agentes que aspiramos a dejar trabajando durante horas sobre tareas cada vez más complejas, la lección resulta bastante clara: saber qué hacer no garantiza acordarse de hacerlo cincuenta decisiones después. En Civilization, al parecer, dominar el «un turno más» también exige recordar qué demonios estábamos intentando conseguir cuando empezamos.

Estudio