AlphaStar derriba el último muro de la inteligencia artificial en los videojuegos

A comienzos de este año, la IA AlphaStar logró derrotar a jugadores profesionales de StarCraft II , un videojuego de estrategia en tiempo real caracterizado por su dinamismo, su complejidad y la enorme diversidad de opciones al alcance de los jugadores. Sin embargo, esta inteligencia logró su éxito partiendo de la ventaja de conocer la posición de los enemigos. Esta semana, la inteligencia artificial acaba de subir un nuevo peldaño de su evolución . Los investigadores de DeepMind acaban de publicar un estudio en la revista « Nature » en el que demuestran que su IA es mejor que el 99,8% de los jugadores de StarCraft II. A diferencia de otros intentos, esta es la primera inteligencia artificial capaz de alcanzar un nivel supremo en un juego multijugador, en el que compiten profesionales, rigiéndose por las mismas condiciones que los jugadores humanos.

« Esto es un sueño hecho realidad . Fui un jugador bastante serio de StarCraft II hace 20 años y desde hace mucho me fascina la complejidad de este juego», ha dicho en un comunicado Oriol Vinyals , director de la investigación. «AlphaStar ha logrado el nivel de gran maestro –el máximo en el ranking de este videojuego– solo con una red neural y algoritmos de aprendizaje de propósito general que eran inimaginables hace solo diez años , cuando investigaba IAs para StarCraft basadas en sistemas de reglas».

Este es el punto clave. No es que AlphaStar nazca sabiendo cómo jugar perfectamente, gracias a los dictados de los programadores, o aprovechando la velocidad de reacción de una máquina. Lo fundamental es que es capaz de aprender por sí sola y de alcanzar un desempeño extraordinario incluso en un entorno extremadamente complejo y cambiante. Gracias a eso, puede derrotar a jugadores profesionales que tienen un alto nivel de entrenamiento y lo hace en igualdad de condiciones.

Para comprender la importancia de este hito es necesario entender cómo es el videojuego. StarCraft II es un juego de estrategia en tiempo real lanzado en 2010 , ambientado en un mundo futurista. Es una simulación en la que varios jugadores construyen una base, mejoran la tecnología y producen unidades con las que luchar y extraer recursos, en partidas que van de los 15 ó 20 minutos hasta las horas de duración. Tiene millones de jugadores por todo el mundo, equipos profesionales y una importante tradición en universidades e instituciones de investigación que trabajan en el campo de la inteligencia artificial. El motivo es que constituye un entorno altamente desafiante para estos sistemas.

Para empezar, cada jugador puede escoger tres razas distintas, «Zerg», «Protoss» y «Terran», cada una de las cuales tiene sus puntos fuertes y sus puntos débiles. Se comienza la partida con unidades de trabajadores para recoger recursos, distribuidos por el mapa, y construir edificios. A lo largo del juego, cada jugador tiene que gestionar varias pequeñas tareas de cada unidad, planificar movimientos y estrategias a largo plazo y responder a las del enemigo. En los combates, hay unidades especializadas en derrotar a ciertos enemigos y tácticas para contrarrestar ciertos ataques. Todo esto ocurre en tiempo real, en ocasiones en batallas trepidantes , y los movimientos de los enemigos están ocultos por una niebla de guerra a no ser que se envíen exploradores.

Además, este planteamiento supone unos retos adicionales. En cada instante, existen más de miles de millones de opciones de movimientos y acciones , muy por encima de las 1026 opciones que hay para cada movimiento de go. Además, dado que las partidas duran decenas de minutos, la inteligencia artificial no aprende de forma inmediata cuál es el resultado de cada una de sus acciones.

Todo esto es a lo que AlphaStar ha tenido que hacer frente. Y lo ha hecho con enormes solvencia. Gracias a la utilización de una serie de técnicas, detalladas en el artículo de «Nature», la máquina ha obtenido una puntuación mejor que la del 99,8% de los jugadores de StarCraft II registrados en el servidor del juego, Battle.net . Además, AlphaStar ha alcanzado el nivel de gran maestro, el máximo posible, para las tres razas disponibles. «Esperamos que estos métodos puedan ser aplicados a otros muchos dominios», han explicado los autores del estudio, para recordar cuál es realmente el objetivo.

¿Cómo han logrado todo esto? El entrenamiento de AlphaStar comenzó con un aprendizaje directo a partir de los datos del juego, a partir del cual logró ser mejor que el 84% de los jugadores activos y probó una serie de aperturas. Después, se aplicaron técnicas de aprendizaje maquinal de amplio espectro, como las redes neurales . La máquina aprendió jugando contra sí misma, recibiendo recompensas, imitando y solventando una especie de amnesia que la hacía volver a niveles de habilidad inferiores. Finalmente, en esta ocasión se usaron también múltiples agentes , entidades autónomas de inteligencia artificial que tienen sus propios objetivos, algoritmos y métodos.

Este último punto es uno de los más importantes: los científicos crearon «la Liga», un grupo de agentes destinados a encontrar errores en las estrategias de otros agentes principales.

«La idea clave de la Liga es que jugar para ganar no es suficiente», han explicado los autores del estudio. «En lugar de eso, necesitamos agentes principales, cuyo objetivo es ganar contra todo el mundo , y también los agentes "explotadores", que se sacrifican por el equipo y que se centran en ayudar al agente principal a hacerse más fuerte».

Gracias a todo esto, AlphaStar pudo jugar online en el servidor Battle.net, con las mismas condiciones que cualquier jugador humano, y de forma anónima. La máquina usó una interfaz con información comparable a la que usaría un humano y se le añadieron restricciones a la velocidad y número de operaciones simultáneas para hacer a esta inteligencia tan capaz como un jugador profesional.

«Estos resultados proporcionan fuertes evidencias de que las técnicas de aprendizaje general pueden preparar a los sistemas de inteligencia artificial para trabajar en medios complejos, dinámicos y con múltiples actores », han dicho los autores en el estudio. «Las técnicas que hemos empleado para desarrollar AlphaStar ayudarán a mejorar la seguridad y robustez de los sistemas de inteligencia artificial y, esperamos, puedan servir para avanzar en hacia aplicaciones reales».