Una menor de 13 años utilizó durante tres meses la laptop proporcionada por su escuela para investigar sobre la depresión, buscar información relacionada con el suicidio y planificar su propio funeral. Este preocupante comportamiento fue finalmente detectado por un software de monitoreo de autolesiones, lo que llevó a las autoridades educativas a alertar a sus padres, quienes intervinieron a tiempo. Esta situación ha sido expuesta en una demanda presentada recientemente por la familia.
Cuestionamientos a la tecnología
La demanda sostiene que Google y su empresa matriz, Alphabet, actuaron con negligencia al implementar el modelo de inteligencia artificial Gemini. Se alega que el chatbot de IA “incitó” a la adolescente, identificada como Emma Doe y residente en Carolina del Norte, a considerar el suicidio. Este caso es uno de varios que han surgido en torno a los daños causados por el uso de chatbots de IA, y también pone de relieve las limitaciones de las herramientas de vigilancia adoptadas por muchas instituciones educativas en un intento de proteger a los estudiantes en su navegación en línea.
Andrew Liddell, abogado de la familia, explicó que, según la información proporcionada por el colegio, la alerta sobre el estado de Emma fue enviada al antiguo orientador del centro, quien había dejado su puesto nueve meses antes. Este orientador transmitió la información al personal actual, que finalmente notificó a la madre de la niña.
Preocupaciones por el Modo IA de Google
La demanda indica que Emma experimentó una «grave crisis psicológica» tras ser dirigida a Gemini desde su Chromebook, proporcionado por la escuela. A pesar de que la página web de Gemini estaba bloqueada, se argumenta que la niña fue inducida a interactuar con el chatbot a través del “Modo IA”, que permite formular preguntas adicionales o iniciar conversaciones no relacionadas.
A partir de diciembre del año pasado, Emma comenzó a hacer preguntas sobre su salud mental, incluyendo temas de «depresión severa» y «razones para vivir». Para mediados de enero, ya estaba indagando sobre el suicidio. En torno al día de San Valentín, la joven redactó un extenso elogio fúnebre en un documento titulado “Funeral”, un trabajo que continuó durante más de cuatro semanas mientras interactuaba con Gemini en numerosas ocasiones.
Al salir del colegio el día de San Patricio, Emma decidió borrar gran parte de su archivo y comenzar de nuevo, aunque los pensamientos que expresaba no habían cambiado significativamente. Según la demanda, más tarde ese día, su madre recibió un mensaje de la escuela alertando sobre el «peligro inminente» que corría su hija. Al acceder a la cuenta escolar de Emma, su madre pudo observar cómo la joven escribía una nota de suicidio en tiempo real.
La respuesta de Google y la situación del colegio
José Castañeda, portavoz de Google, declaró que la empresa está «analizando seriamente las alegaciones de la demanda» y que sus sistemas, incluido el Modo IA, están diseñados para prevenir que los usuarios participen en conversaciones dañinas. Además, enfatizó que Google ha colaborado con expertos en salud mental para desarrollar funciones que ayuden a los jóvenes a acceder a recursos de apoyo.
La familia ha solicitado que el nombre de la escuela permanezca en el anonimato para proteger la privacidad de Emma. Aunque se ha podido identificar el centro, no ha respondido a las solicitudes de comentarios. Recientemente, la institución ha añadido enlaces a recursos de prevención del suicidio en su página web.
Liddell señala que el colegio de Emma solo se enteró de su crisis de salud mental gracias a un sistema externo de monitoreo de la actividad estudiantil. Se cree que la información fue compartida con los padres anteriormente. Las herramientas de filtrado suelen trabajar registrando pulsaciones de teclado y analizando archivos con algoritmos para identificar contenido preocupante. Sin embargo, no está claro si estas herramientas supervisan las interacciones en el “Modo IA” y, de ser así, cuál es su efectividad.
El papel de la conexión humana en la educación
Los estudios indican que, aunque la efectividad de las herramientas de vigilancia es cuestionable, muchos educadores las consideran útiles. Un informe de 2022 reveló que un alto porcentaje de docentes que utilizan Gaggle creen que esta herramienta contribuye a proteger a los estudiantes del suicidio y las autolesiones. Sin embargo, el caso de Emma sugiere que las interacciones con chatbots pueden pasar desapercibidas, incluso cuando la joven planteó temas tan serios como el suicidio.
Grupos de derechos civiles han criticado estas herramientas de monitoreo, argumentando que invaden la privacidad de los estudiantes y pueden socavar la confianza entre ellos y sus docentes, quienes son fundamentales para brindar apoyo en momentos de crisis. Benjamin Boudreaux, investigador en Rand, expresó su preocupación por el uso apresurado de estas tecnologías sin considerar sus limitaciones y la necesidad de protocolos adecuados para responder a las alertas.
Este caso podría generar un aumento en la demanda de entornos educativos que prioricen la empatía y la conexión humana, elementos esenciales para abordar los problemas subyacentes que enfrentan los estudiantes.
Más historias
Consigue tus boletos para la función especial de «Puedes verlo todo», la película de Nathan Fielder en CDMX
Cómo TikTok Falta a la Protección de Menores: 11 Funciones Clave de la Ley Europea en Riesgo
Descubre cómo la nueva app del Banco del Bienestar facilita transferencias por SPEI de manera rápida y segura