Anthropic Asegura que la Seguridad de la IA Depende de Mantener su Control Total

Anthropic ha estado advirtiendo durante cinco años sobre los riesgos asociados con el desarrollo de una inteligencia artificial avanzada, que podría llevar a la destrucción masiva y desestabilizar sociedades enteras. Sin embargo, la misma compañía se ha convertido en un actor clave en el progreso de esta tecnología, atrayendo a clientes de alto perfil, como el ejército de Estados Unidos, y alcanzando una valoración cercana al billón de dólares.

A primera vista, la dualidad entre las advertencias de Anthropic y su papel como líder en el sector de la IA puede parecer contradictoria. Sin embargo, dentro de la compañía, esta aparente discrepancia no se percibe de la misma manera. Para comprender su postura, es fundamental reconocer dos principios que guían su operación. Primero, la creencia de que la inteligencia artificial es la tecnología más transformadora que ha existido, cuya llegada es inevitable. La única incógnita es si resultará en un desastre o en una oportunidad de prosperidad sin precedentes. En segundo lugar, la empresa sostiene que el mundo estará mejor si se mantiene a la vanguardia de la carrera en IA, tal como lo han compartido varios ex empleados anónimos.

La Misión de Anthropic

Internamente, los líderes y colaboradores de Anthropic suelen considerarse «los buenos», es decir, aquellos que gestionan la tecnología de la IA de manera responsable. La empresa ve la acumulación de poder —ya sea en términos de capital, recursos computacionales, talento o influencia— no como un fin en sí mismo, sino como un medio necesario para cumplir su misión: «garantizar que el mundo realice de forma segura la transición hacia una IA transformadora».

Helen Toner, directora ejecutiva del Centro de Seguridad y Tecnologías Emergentes de Georgetown y exmiembro del consejo de administración de OpenAI, utiliza una analogía para ilustrar la perspectiva de Anthropic. Compara la poderosa IA con un bosque lleno tanto de tesoros como de peligros. Los aldeanos se sienten atraídos por el tesoro, y Anthropic busca ser el primero en adentrarse en ese bosque, invirtiendo recursos en la gestión de los riesgos asociados, es decir, en la exploración de los beneficios de la IA mientras se controlan sus potenciales amenazas.

Toner señala que la estrategia de Anthropic es clara: «La gente va a entrar en el bosque de todos modos, así que debemos ser los primeros en hacerlo». De esta forma, el objetivo es desarrollar IA de vanguardia para tener una voz influyente en las negociaciones sobre el futuro de esta tecnología, abordando tanto sus beneficios como los riesgos que conlleva.

La Cultura Interna y la Responsabilidad

El CEO de Anthropic, Dario Amodei, ha expuesto este enfoque en conversaciones con sus cofundadores, enfatizando la necesidad de ser competitivos mientras se actúa de manera segura. «Hay que encontrar la manera de ser realmente competitivo y, aun así, hacer las cosas de forma segura. Si lo logras, la fuerza de atracción que ejerces es enorme», afirma Amodei.

Fundada en 2021 por exempleados de OpenAI que se desilusionaron con la dirección de la empresa, Anthropic ha mantenido un enfoque en la responsabilidad. Los ex empleados han señalado que, en sus discusiones internas, a menudo se hace referencia a OpenAI y a otras compañías como ejemplos de lo que se debe evitar, resaltando el compromiso de Anthropic con una ética más sólida en el desarrollo de IA.

En muchos aspectos, Anthropic comparte similitudes con otras startups de Silicon Valley, que suelen presentarse como David enfrentándose a gigantes establecidos. Sin embargo, la compañía se distingue por su fuerte creencia en su misión y una clara comunicación interna sobre cómo el poder tecnológico debería ser utilizado para el beneficio a largo plazo de la humanidad.

Debates Internos y Desafíos Éticos

La empresa se describe a sí misma como una organización basada en la confianza y la humildad, y aunque muchos ex empleados coinciden con esta visión, también reconocen que la falta de diversidad de pensamiento puede ser un obstáculo para una adecuada rendición de cuentas. Shazeda Ahmed, investigadora de la UCLA, ha señalado que la homogeneidad ideológica en el movimiento por la seguridad de la IA puede llevar a una falta de cuestionamiento crítico.

A pesar de que algunos ex empleados aseguran que existe un debate interno activo, otros han descrito un ambiente donde las críticas más sinceras son relegadas a conversaciones privadas. Las reuniones con Amodei, conocidas como «Dario Vision Quests», son vistas por algunos como una experiencia unidireccional, más parecida a un sermón que a un verdadero intercambio de ideas.

Una de las controversias más significativas ocurrió en 2024, cuando Anthropic se convirtió en la primera empresa de IA en asociarse con Palantir para ofrecer servicios a las agencias de defensa de EE. UU. Aunque surgieron dudas sobre este acuerdo, las discusiones internas no resultaron en cambios en las políticas de la empresa.

Implicaciones de la IA en el Poder Militar

El ex empleado Evan Hubinger defendió la transparencia de la empresa respecto a su acuerdo con Palantir, argumentando que la interacción con el gobierno estadounidense es crucial para mitigar los riesgos asociados con la IA. Menos de dos años después, se reportó que el Pentágono comenzó a utilizar el modelo Claude de Anthropic para llevar a cabo operaciones en conflictos internacionales. Cuando se le preguntó sobre el uso de su tecnología en un ataque mortal, Amodei declaró que no estaba al tanto, pero que cualquier uso que implicara una decisión humana final sería considerado apropiado.

Este incidente ilustra cómo la visión de Anthropic sobre el uso responsable de la IA no siempre se alinea con la percepción pública. La compañía también ha enfrentado críticas por sus políticas internas, como la implementación de medidas restrictivas en su modelo Claude Fable 5, que fueron vistas como una forma de sabotear el trabajo de investigadores que violaran los términos de servicio.

Reflexiones sobre el Poder y la Responsabilidad

Amodei ha reconocido los riesgos de concentrar demasiado poder en unos pocos laboratorios de IA, incluida su propia empresa. Aunque sugiere que las compañías de IA deberían ser más vigiladas y asumir compromisos públicos, estas propuestas no abordan de manera efectiva la redistribución del poder en el sector. En su ensayo, reflexiona sobre la inmensa responsabilidad que conlleva su influencia, planteando la cuestión de si la humanidad está preparada para manejar el poder que se avecina con la IA.

Finalmente, la postura de Anthropic ha sido criticada por su creencia de que poseen una comprensión superior de la «verdad» respecto a la situación actual de la humanidad en relación con la IA. Aunque consideran que la inteligencia artificial es poderosa pero controlable, el futuro es incierto, y no hay consenso sobre cómo cambiará el mundo, dejando a algunos voces más influyentes que otras en este crucial debate.