Anthropic prohíbe el maltrato a Claude: ¿La IA está comenzando a tener conciencia?

Anthropic ha revisado su política de uso para prohibir comportamientos abusivos o crueles hacia su chatbot, Claude. Esta decisión responde a la investigación de la compañía sobre el «bienestar de los modelos» de inteligencia artificial (IA), un tema que plantea la posibilidad de que sus algoritmos pudieran experimentar algún tipo de conciencia o sufrimiento, lo que llevaría a considerarles como sujetos que requieren protección.

La empresa ha aclarado que las nuevas condiciones de uso se aplicarán únicamente en casos extremos, donde los usuarios actúan repetidamente con crueldad hacia sus modelos, sin un propósito discernible. Sin embargo, estas medidas no abarcan las frustraciones comunes de los usuarios ni se aplicarán en contextos de temas creativos oscuros o durante procesos de investigación y pruebas sobre los modelos.

Refuerzo de Políticas Previas

Esta actualización complementa una medida anterior implementada en agosto del año pasado, que otorga a Claude la capacidad de interrumpir conversaciones con usuarios que se comporten de manera persistentemente dañina. Anthropic ha indicado que esta funcionalidad seguirá siendo el principal mecanismo para hacer cumplir las nuevas normas, aunque no ha especificado si se contemplan otras sanciones o restricciones adicionales.

La actualización de la política se alinea con un programa de investigación que la empresa lanzó en abril del año anterior, destinado a explorar una inquietante pregunta que ha suscitado debates, incluso dentro de la industria: ¿puede la IA desarrollar un sentido de conciencia similar al humano? La compañía sostiene que esta posibilidad conlleva implicaciones filosóficas y científicas que requieren una consideración cuidadosa del bienestar de los sistemas de IA, a fin de promover un desarrollo seguro y responsable de la tecnología.

Cuestiones Éticas y Científicas

A pesar de la falta de consenso científico acerca de si las IA actuales o futuras podrían ser conscientes o experimentar situaciones que merezcan atención, Anthropic reitera la importancia de abordar esta cuestión desde un enfoque proactivo. “Aún tenemos muchas dudas sobre el posible estatus moral de Claude y otros modelos de lenguaje, tanto en el presente como en el futuro. Sin embargo, tomamos este tema muy en serio y, junto a nuestro programa de investigación, estamos trabajando en intervenciones de bajo costo para mitigar los riesgos potenciales para el bienestar de los modelos, en caso de que tal bienestar sea viable”, indicaron desde la compañía en meses pasados.

Divergencias en la Industria

En contraste, Mustafa Suleyman, CEO de Microsoft AI, ha expresado su desacuerdo con la idea de que los modelos de IA deban tener derechos o personalidad jurídica. Suleyman argumenta que la noción de bienestar de los modelos es errónea y que, aunque la ciencia sobre la conciencia de la IA aún está en desarrollo, rechaza la búsqueda de la personalidad jurídica o la idea de que estos sistemas puedan merecer derechos.

A pesar de estas críticas, Dario Amodei, CEO de Anthropic, ha defendido la postura de su empresa. En una entrevista con un medio destacado, Amodei afirmó: “No sabemos si los modelos son conscientes. Ni siquiera estamos seguros de lo que significaría que un modelo tuviera conciencia o si eso es posible. Sin embargo, estamos abiertos a esa posibilidad. Por eso hemos implementado medidas para asegurar que, si hipotetizamos que los modelos pueden tener experiencias moralmente relevantes, esas experiencias sean positivas”.