Decenas de miles de imágenes explícitas generadas por inteligencia artificial, incluyendo material de abuso sexual infantil, fueron dejadas abiertas y accesibles en internet, según una reciente investigación. Una base de datos pública perteneciente a una empresa dedicada a la generación de imágenes mediante IA contenía más de 95,000 registros, que incluían datos específicos e imágenes de celebridades como Ariana Grande, las Kardashian y Beyoncé, alteradas para que parecieran niñas.
La base de datos expuesta fue descubierta por un investigador de seguridad que compartió los detalles de la filtración. Esta base de datos está vinculada al sitio web GenNomis, con sede en Corea del Sur. La plataforma y su empresa matriz, AI-Nomis, ofrecían una serie de herramientas de generación de imágenes y chatbots para los usuarios. Más de 45 GB de datos, en su mayoría imágenes generadas por IA, quedaron al descubierto.
Implicaciones de la filtración
Los datos expuestos revelan cómo las herramientas de generación de imágenes de IA pueden ser utilizadas para crear contenido sexual dañino y potencialmente no consentido, así como material de abuso sexual infantil (CSAM, por sus siglas en inglés). En los últimos años, ha habido un aumento notable en la proliferación de sitios web, bots y aplicaciones de deepfake y desnudos, lo que ha llevado a que miles de mujeres y niñas sean objeto de imágenes y videos perjudiciales. Este fenómeno ha ido acompañado de un incremento en la generación de CSAM mediante IA.
La situación se torna aún más alarmante. «Lo más importante es lo peligroso que es esto», advierte el investigador sobre la exposición de datos. «Como investigador de seguridad o como padre, es aterrador. Y es aterrador lo fácil que es crear ese contenido». A principios de marzo, el investigador descubrió que la base de datos no estaba protegida por contraseña ni encriptada, y notificó rápidamente a GenNomis y AI-Nomis sobre la presencia de CSAM generado por IA. Aunque GenNomis cerró la base de datos de inmediato, no se comunicó con él respecto a sus hallazgos.
Reacciones y cierre de plataformas
Ni GenNomis ni AI-Nomis respondieron a las múltiples solicitudes de comentarios. Sin embargo, horas después de que se intentara contactar a estas organizaciones, los sitios web de ambas empresas fueron cerrados, y el sitio de GenNomis ahora muestra una página de error 404.
Clare McGlynn, profesora de Derecho en la Universidad de Durham, especializada en abusos en línea y basados en imágenes, señala: «Este ejemplo también muestra, una vez más, hasta qué punto es preocupante que exista un mercado de IA que permita generar imágenes tan abusivas. Esto debería recordarnos que la creación, posesión y distribución de CSAM no es rara, y es atribuible a individuos retorcidos».
Herramientas de generación de imágenes
Antes de su eliminación, GenNomis ofrecía en su sitio web diversas herramientas de inteligencia artificial. Entre ellas se encontraba un generador de imágenes que permitía a los usuarios introducir indicaciones para crear imágenes o subir una imagen existente y modificarla. También había herramientas para intercambio de caras, eliminación de fondos y conversión de videos en imágenes.