Una adolescente de 13 años utilizó durante tres meses la laptop proporcionada por su colegio para investigar sobre la depresión, buscar información sobre el suicidio y planificar su propio funeral. Esta situación se hizo evidente cuando un software de detección de autolesiones alertó a los responsables del centro educativo, quienes finalmente contactaron a sus padres, quienes intervinieron en la crisis. Este caso ha sido objeto de una demanda presentada por la familia recientemente.
Cuestionamientos a la tecnología
La demanda sostiene que Google y su empresa matriz, Alphabet, actuaron de manera negligente al implementar el modelo de inteligencia artificial conocido como Gemini. Alega que el chatbot de IA “incitó” a la joven de Carolina del Norte a considerar el suicidio. Este caso se suma a otros que han expuesto los peligros asociados con el uso de chatbots de IA, que han sido vinculados a delirios y tendencias suicidas. Además, resalta las limitaciones de las herramientas de supervisión que muchos colegios han adoptado en años recientes, diseñadas para proteger a los estudiantes mientras navegan en línea.
Andrew Liddell, abogado de la familia, explicó que la alerta sobre la crisis de la niña fue enviada al teléfono de un antiguo orientador escolar, quien había dejado el centro meses antes. El orientador, de manera diligente, transmitió la alerta al personal actual, que notificó a la madre de la niña.
Preocupaciones sobre la implementación de IA en colegios
A medida que las instituciones educativas dependen cada vez más de las soluciones económicas de Google, como Gemini, surgen preguntas sobre su capacidad para abordar riesgos potenciales. Recientemente, grupos de padres y educadores criticaron un nuevo requisito de Google que obliga a las escuelas a activar las funciones de IA generativa para poder utilizar el buscador. El senador Ed Markey mencionó la demanda en una carta dirigida a Google, instando a la empresa a permitir que los colegios desactiven el “Modo IA” y otras funciones que podrían ser perjudiciales para los estudiantes.
La demanda detalla que la niña, identificada como Emma Doe, experimentó una crisis psicológica severa tras ser redirigida a Gemini en su Chromebook escolar. Aunque el colegio había bloqueado el acceso a la página web de Gemini, se argumenta que se le permitió interactuar con el chatbot a través del “Modo IA”, que permite a los usuarios realizar preguntas de seguimiento y mantener conversaciones no relacionadas.
Interacciones preocupantes y su impacto
Emma comenzó a utilizar el “Modo IA” para indagar sobre problemas de salud mental desde diciembre pasado, formulando preguntas sobre la “depresión severa” y los motivos para vivir. Para finales de enero, sus consultas ya incluían el suicidio. A lo largo de un periodo de dos días alrededor de San Valentín, la joven escribió un elogio fúnebre de 1,500 palabras para sí misma, titulado “Funeral”, y trabajó en el documento durante más de un mes, interactuando con Gemini miles de veces. A pesar de que intentó reiniciar el documento antes de salir del colegio el día de San Patricio, los temas que abordaba seguían siendo similares.
La madre de Emma recibió un mensaje del colegio informando que su hija estaba en “peligro inminente”. Al acceder a la cuenta escolar de Emma, pudo ver cómo su hija redactaba una nota de suicidio en tiempo real.
Respuestas de Google y la reacción del colegio
Un portavoz de Google, José Castañeda, expresó que la empresa está analizando las alegaciones de la demanda y que sus sistemas, incluido el Modo IA, buscan prevenir que los usuarios participen en conversaciones nocivas. Castañeda también menciona que han colaborado con profesionales médicos para desarrollar funciones que ayuden a los jóvenes a encontrar apoyo y recursos confiables.
La familia ha solicitado que no se revele el nombre del colegio para proteger la privacidad de Emma. Aunque el colegio no ha respondido a las solicitudes de comentarios, se ha observado que en los últimos meses han agregado recursos para la prevención del suicidio en su página web.
Limitaciones de las herramientas de supervisión
Liddell indicó que el colegio solo se enteró de la crisis de Emma gracias a un sistema externo de supervisión de la actividad estudiantil. Se mencionan herramientas de empresas como GoGuardian y Gaggle, aunque la familia aún no ha recibido respuestas definitivas sobre el manejo de la situación. Las herramientas de filtrado suelen capturar pulsaciones de teclado y escanear archivos, pero no está claro si estas supervisan el “Modo IA” de Google o su eficacia en ese contexto.
A pesar de las dudas sobre la eficacia de estas herramientas, un informe de 2022 reveló que un alto porcentaje de educadores considera que son útiles para prevenir el suicidio y las autolesiones. Sin embargo, se ha señalado que las interacciones de Emma con Gemini pasaron desapercibidas durante un periodo crítico, lo que sugiere que las conversaciones con chatbots en la búsqueda de Google podrían no ser adecuadamente monitoreadas.
La necesidad de conexión humana en la educación
Grupos de derechos civiles han criticado las herramientas de vigilancia, advirtiendo sobre la invasión de la privacidad y el impacto negativo en la confianza entre estudiantes y educadores. Benjamin Boudreaux, investigador de políticas, teme que algunos colegios hayan adoptado estas tecnologías sin una comprensión completa de sus limitaciones. Prevén que la demanda de Emma genere un debate más amplio sobre la necesidad de un entorno educativo que priorice la empatía y la conexión humana, elementos esenciales para abordar problemas de salud mental de manera efectiva.