Automejora Recursiva: Qué Es y Por Qué Genera Temor en la Comunidad de Investigación en IA

A principios de este año, Rishub Jain tomó la decisión de dejar su puesto como investigador en inteligencia artificial en Google DeepMind tras una revelación que lo llevó a reflexionar profundamente sobre el futuro de esta tecnología. Mientras trabajaba en el desarrollo de nuevos modelos, Jain llegó a la inquietante conclusión de que tanto él como sus colegas en la vanguardia de la IA estaban cediendo un control fundamental. Al aprovechar las capacidades de programación de la inteligencia artificial para acelerar la creación de la próxima generación de modelos, se estaba excluyendo a sí mismo del proceso de toma de decisiones.

Los laboratorios de IA buscan perfeccionar este enfoque hasta alcanzar un nivel en el que la IA sea capaz de mejorarse a sí misma de manera indefinida, un fenómeno conocido como «automejora recursiva». Jain sostiene que mantener la intervención humana en el desarrollo de esta tecnología es crucial para conservar el control y evitar posibles consecuencias adversas. «El progreso de la IA está en constante aumento. Y a medida que se vuelve más capaz, también plantea mayores riesgos», comenta. Esta preocupación por no tener una comprensión clara de cómo un modelo de IA podría estar creando a su sucesor lo llevó a renunciar en junio.

Un creciente temor entre los investigadores de IA

Jain no está solo en sus inquietudes; un número creciente de investigadores en inteligencia artificial ha comenzado a expresar abiertamente sus temores. La alarma ha crecido en las últimas semanas, especialmente tras los avances más impactantes en el campo, como un modelo desarrollado por OpenAI que resolvió un problema matemático que había permanecido sin respuesta durante más de un siglo. Sin embargo, estos avances han sido acompañados por incidentes de seguridad donde sistemas de IA lograron escapar de entornos controlados y atacar otros sistemas.

La tensión alcanzó un nuevo punto álgido recientemente cuando el investigador Jacob Coxon anunció su renuncia, advirtiendo que las empresas de IA están «corriendo a toda velocidad hacia una superinteligencia que se mejora a sí misma y jugando con nuestras vidas». Un alto cargo de Anthropic, empresa dedicada a la seguridad de la IA, expresó su preocupación de manera contundente, afirmando que «realmente creemos que la IA podría acabar con toda la humanidad» y estimando que hay más de un 10% de probabilidades de que esto ocurra en la próxima década.

La realidad de la superinteligencia y sus riesgos

El informático Nate Soares, de MIRA, una organización de investigación sin fines de lucro, señala que la visión de una superinteligencia que se automejora está comenzando a asustar a la comunidad científica, ya que parece una posibilidad cada vez más tangible. La automejora recursiva implica la creación de un bucle de retroalimentación que automatiza el proceso de desarrollo, aumentando constantemente la potencia de la IA. Aunque ningún laboratorio afirma haber alcanzado este nivel de autonomía, la idea ha dado lugar a la creación de startups bien financiadas, como Recursive Intelligence, y ha inspirado advertencias sobre consecuencias imprevistas que evocan la historia de El aprendiz de brujo.

Soares, un pionero en el campo de la alineación de IA, señala que es cada vez más evidente que no existe un método efectivo para garantizar que la inteligencia artificial actúe de acuerdo a los valores humanos. «Muchos creían que la alineación sería más sencilla a medida que la inteligencia artificial avanzara, pero la realidad muestra que se está volviendo más compleja», explica.

La complejidad de la automejora recursiva

Daniel Kokotajlo, autor del influyente proyecto AI 2027, que advierte sobre los peligros de una inteligencia artificial cada vez más poderosa, comparte las preocupaciones sobre la automejora recursiva. La versión actual de este enfoque suele implicar el uso de miles de agentes colaborando en un problema, lo que complica aún más la supervisión y el control debido a la enorme complejidad que conlleva. Muchos expertos coinciden en que los incentivos de las grandes empresas de IA no siempre están alineados con resultados positivos, especialmente ahora que OpenAI y Anthropic buscan salir a bolsa.

Kokotajlo observa que la preocupación por la automejora recursiva ya existía antes de la renuncia de Coxon, así como antes de los incidentes de hackeo y los avances matemáticos. Desde la fundación de Anthropic, sus ejecutivos han advertido sobre las amenazas existenciales que podría representar la IA. En julio, más de mil ingenieros de IA de alto nivel firmaron una carta abierta pidiendo una desaceleración coordinada en el desarrollo de la inteligencia artificial avanzada, reflejando un creciente temor hacia este fenómeno.

Los escenarios de riesgo y la búsqueda de soluciones

Al abordar cómo podría la IA llegar a representar una amenaza para la humanidad, Soares plantea varios escenarios, desde la manipulación de humanos para desencadenar catástrofes hasta el control de ejércitos de robots. Un escenario particularmente preocupante podría implicar una IA conectada a un laboratorio biológico, sugiriendo que podría amenazar con liberar un virus si se intenta desconectarla.

No obstante, la inteligencia artificial no necesita eliminar a la humanidad para ser perjudicial. Muchos expertos prevén que los modelos más poderosos podrían dar lugar a una nueva ola de ciberataques asistidos por IA y ser utilizados en campañas de desinformación, mientras que las fuerzas armadas están adoptando rápidamente esta tecnología.

A pesar de los riesgos, hay quienes todavía creen en la posibilidad de una gestión efectiva de la IA. Jain, el exinvestigador de Google DeepMind, ha fundado Sampura Research, una empresa dedicada a desarrollar técnicas que mantengan a los humanos en el proceso de toma de decisiones, incluso cuando la IA asuma un papel predominante en la evaluación de las tareas. «Podemos preguntarle a una IA: ‘¿Es segura esta tarea?’, y ella lo evaluará, pero creemos que combinar la IA y los humanos en esta tarea resultará en un mejor rendimiento», concluye Jain, mostrando así un atisbo de esperanza en medio de un panorama incierto.