Cómo los Videojuegos Pueden Enseñar a la IA a Actuar: La Evolución del Aprendizaje Automático

La interacción en un videojuego 3D puede parecer sencilla, con acciones tan fáciles como girar una palanca, apretar un gatillo o presionar algunos botones. Sin embargo, una innovadora startup británica está explorando cómo estas dinámicas pueden ser fundamentales para entrenar nuevos modelos de inteligencia artificial (IA).

En ciertos sectores de la inteligencia artificial, ha surgido la noción de que los grandes modelos de lenguaje (LLM) podrían enfrentar limitaciones cuando se trata de interactuar en el mundo físico. Dado que estos modelos son alimentados exclusivamente con texto, su capacidad para llevar a cabo tareas que requieren precisión, como pilotar vehículos autónomos o manejar brazos robóticos, podría ser insuficiente. En respuesta a esta brecha, un equipo de destacados investigadores, incluyendo figuras como Fei-Fei Li y Yann LeCun, está dirigiendo su atención hacia una nueva categoría de IA: los modelos del mundo.

Entrenamiento de modelos del mundo

Para que un modelo del mundo comprenda la física del entorno real, es necesario un entrenamiento que combine datos visuales y de acción. Por ejemplo, antes de que un modelo pueda operar un brazo robótico con destreza, debe analizar grabaciones de video en un entorno de fábrica, junto con información sobre cómo sujetar un objeto y la fuerza requerida para manipularlo. A diferencia de los LLM, que tienen acceso a vastos volúmenes de texto, los laboratorios que desarrollan modelos del mundo carecen de un conjunto de datos comparable.

“Los modelos del mundo requieren entender la causa y el efecto”, señala Xiatian Zhu, profesor asociado en IA de la Universidad de Surrey. “Desafortunadamente, hay muy pocos datos de este tipo disponibles en internet”.

Innovación a través de videojuegos

Worldmodeldata, una startup británica respaldada por LeCun, busca abordar esta problemática mediante la recopilación de datos generados a partir de los controles y otra información obtenida en estudios de videojuegos. Esta fuente de datos, fácilmente accesible y abundante, se convierte en un recurso valioso para entrenar modelos del mundo. Empresas como General Intuition y Niantic ya están aprovechando datos de videojuegos para sus propios modelos, pero Worldmodeldata se presenta como un intermediario que organiza y selecciona estos datos, eliminando la necesidad de que cada laboratorio negocie individualmente con múltiples estudios de videojuegos.

“Existen millones de videojuegos impresionantes que representan un mundo cada vez más realista”, comenta Rhea Loucas, directora general de Worldmodeldata. “¿Por qué no utilizar la vasta y diversa experiencia de los videojuegos para entrenar a la IA?”. Aunque esta hipótesis aún está en fase de validación, los investigadores asumen que el rendimiento de los modelos del mundo mejorará a medida que se amplíen sus conjuntos de datos de entrenamiento, similar a lo que se ha observado con los LLM. Por lo tanto, la dificultad para acceder a datos de entrenamiento adecuados representa uno de los principales retos para el avance en este campo.

Desafíos en la generación de datos

Algunos laboratorios han intentado generar sus propios datos mediante la colocación de sensores en personas y robots en entornos controlados. Sin embargo, este enfoque solo produce una cantidad limitada de datos y no captura la complejidad de los escenarios reales. “Puedes contratar a personas para que realicen tareas repetitivas, pero esa repetición no reflejará la realidad caótica en la que una máquina debe operar”, advierte Nicole Fraenkel, socia de Khosla Ventures, que ha invertido en General Intuition.

Worldmodeldata sostiene que los datos extraídos de videojuegos ofrecen representaciones visuales de entornos 3D, combinadas con las acciones de los jugadores, en volúmenes y variedad suficientes para abordar situaciones excepcionales, que son esenciales para el entrenamiento efectivo de modelos. “Esos casos extremos son los que realmente necesitan ser resueltos de manera precisa”, enfatiza Fraenkel. “El costo de un error en la operación de vehículos, drones o robots autónomos puede ser extremadamente alto”.

Perspectivas sobre los datos de videojuegos

Worldmodeldata ha conseguido licencias para casi un millón de horas de datos de varios estudios de videojuegos populares, aunque Loucas se ha abstenido de revelar sus nombres. En el futuro, la startup planea implementar mecanismos para que los jugadores individuales también puedan recibir alguna compensación por sus contribuciones.

Loucas está convencida de que los datos provenientes de videojuegos se convertirán en la principal fuente de entrenamiento para los modelos del mundo, los cuales serán posteriormente mejorados con datos específicos de contextos del mundo real. “Esto podría marcar el inicio de una revolución en los modelos del mundo, haciéndolos verdaderamente útiles”, añade Loucas.

Diversidad de enfoques en el desarrollo de IA

No todos ven con la misma esperanza el potencial de los datos de videojuegos. Nvidia, por ejemplo, ha optado por desarrollar un motor propio diseñado específicamente para recrear la física del mundo real, que sirve como base para su inteligencia artificial. Ming-Yu Liu, quien lidera el desarrollo de modelos del mundo en Nvidia, sostiene que es poco probable que los modelos entrenados con datos de videojuegos sean efectivos en tareas que requieren un control motor preciso, como la manipulación cuidadosa de objetos. Esto se debe a que la física en los videojuegos a menudo carece de realismo, y los desarrolladores a menudo eligen atajos para simular situaciones.

“Sería prudente ser cauteloso al utilizar datos de videojuegos para tareas de manipulación”, opina Liu. “La complejidad de la física involucrada en la manipulación de objetos es mucho mayor”. Para él, el entrenamiento con datos de videojuegos podría ser más adecuado para modelos dirigidos a generar contenido visual hiperrealista o entornos 3D.

Zhu también comparte preocupaciones similares, afirmando que “los videojuegos son, en esencia, simuladores. Cuentan con un cierto fundamento físico, pero son rudimentarios y aproximados”. Sin embargo, hasta que los modelos del mundo alcancen su máximo potencial, se seguirán explorando diversas estrategias para lograrlo. “Existen múltiples caminos hacia el éxito”, concluye Fraenkel. “La realidad es que aún no se ha determinado cuál será el más efectivo”.