|
|
|
"Imágenes sin
censura"
Cuando estaba activo, el sitio web de GenNomis permitía imágenes explícitas de
adultos con IA. Muchas de las imágenes que aparecían en su página de inicio y en
la sección de "modelos" de IA incluían imágenes sexualizadas de mujeres, algunas
"fotorrealistas" y otras generadas totalmente por IA o animadas. También incluía
una galería "NSFW" y un "mercado" donde los usuarios podían compartir imágenes y
vender álbumes de fotos generadas por IA. El eslogan del sitio web decía que los
usuarios podían "generar imágenes y videos sin restricciones"; una versión
anterior del sitio de 2024 decía que se podían crear "imágenes sin censura".
Las políticas de usuario de GenNomis establecían que solo se permitían
"contenidos respetuosos" y prohibían la "violencia explícita" y la incitación al
odio. "La pornografía infantil y cualquier otra actividad ilegal están
estrictamente prohibidas en GenNomis", rezan las directrices de la comunidad.
(En la última década, investigadores, defensores de las víctimas, periodistas y
empresas tecnológicas, entre otros, han ido eliminando progresivamente el
término "pornografía infantil" en favor de CSAM).
No está claro hasta qué punto GenNomis utilizó herramientas o sistemas de
moderación para prevenir o prohibir la creación de CSAM generado por IA. Algunos
usuarios publicaron en su página de la "comunidad" el año pasado que no podían
generar imágenes de personas manteniendo relaciones sexuales y que sus mensajes
estaban bloqueados por "humor negro" no sexual. Otra cuenta publicó en la página
de la comunidad que el contenido "NSFW" debería ser abordado, ya que "podría ser
visto por los federales".
"Si pude ver esas imágenes sin nada más que la URL, eso me demuestra que no
están tomando todas las medidas necesarias para bloquear ese contenido", alega
Fowler sobre la base de datos.
Henry Ajder, experto en deepfakes y fundador de la consultora
Latent Space Advisory, señala que, aunque la creación de contenidos dañinos e
ilegales no estuviera permitida por la empresa, la marca del sitio web (que hace
referencia a la creación de imágenes "sin restricciones" y a una sección "NSFW"-
indica que puede haber una "clara asociación con contenidos íntimos sin medidas
de seguridad".
Ajder dice que le sorprende que el sitio web en inglés estuviera vinculado a una
entidad surcoreana. El año pasado, el país se vio asolado por una "emergencia"
de deepfakes no consentidos dirigidos a chicas, antes de tomar medidas para
combatir la oleada de abusos de deepfakes. Ajder opina que es necesario ejercer
más presión sobre todas las partes del ecosistema que permiten generar imágenes
no consentidas utilizando IA. "Cuantos más casos de este tipo veamos, más
obligaremos a los legisladores, a las plataformas tecnológicas, a las empresas
de alojamiento web y a los proveedores de servicios de pago a plantearse la
cuestión. Todas las personas que de una forma u otra, a sabiendas o no (la
mayoría sin saberlo) están facilitando y permitiendo que esto ocurra",
manifiesta. |
|
Decenas de miles de
imágenes explícitas generadas por IA, incluido material de abuso sexual infantil
generado por IA, se dejaron abiertas y accesibles a cualquiera en internet,
según una nueva investigación revisada por medios especializados en desarrollo
tecnológico. Una base de datos abierta perteneciente a una empresa de generación
de imágenes mediante inteligencia artificial contenía más de 95,000 registros,
incluidos algunos datos puntuales e imágenes de celebridades como Ariana Grande,
las Kardashian y Beyoncé desajustadas para que parecieran niñas.
La base de datos expuesta, descubierta por el investigador de seguridad Jeremiah
Fowler, que compartió los detalles de la filtración, está vinculada al sitio web
GenNomis, con sede en Corea del Sur. El sitio web y su empresa matriz, AI-Nomis,
albergaban una serie de herramientas de generación de imágenes y chatbot para
los usuarios. Más de 45 GB de datos, en su mayoría imágenes de inteligencia
artificial, quedaron al descubierto.
Los datos expuestos permiten vislumbrar cómo las herramientas de
generación de imágenes de IA pueden convertirse en armas para crear contenido
sexual profundamente dañino y probablemente no consentido de adultos y material
de abuso sexual infantil (CSAM, por sus siglas en inglés). En los últimos años,
decenas de sitios web, bots y aplicaciones de deepfake y desnudos han
proliferado y han provocado que miles de mujeres y niñas hayan sido objeto de
imágenes y videos perjudiciales. Esto ha venido acompañado de un aumento en el
CSAM generado por IA.
Peligroso y aterrador
"Lo más importante es lo peligroso que es esto", advierte Fowler sobre la
exposición de datos. "Como investigador de seguridad o como padre, es aterrador.
Y es aterrador lo fácil que es crear ese contenido".
Fowler descubrió la caché abierta de archivos (la base de datos
no estaba protegida por contraseña ni encriptada) a principios de marzo e
informó rápidamente a GenNomis y AI-Nomis, señalando que contenía AI CSAM.
GenNomis cerró rápidamente la base de datos, afirma Fowler, pero no respondió ni
se puso en contacto con él acerca de los hallazgos.
Ni
GenNomis ni AI-Nomis respondieron a las múltiples peticiones de comentarios de
medios especializados en desarrollo tecnológico. Sin embargo, horas después de
que estos se pusieran en contacto con las
|
|
organizaciones, los
sitios web de ambas empresas aparecieron cerrados, y el sitio web de GenNomis
devuelve ahora una página de error 404.
Clare McGlynn, profesora de Derecho de la Universidad de Durham, en el Reino
Unido, especializada en abusos en línea y basados en imágenes, afirma: "Este
ejemplo también muestra, una vez más, hasta qué punto es preocupante que exista
un mercado de IA que permita generar imágenes tan abusivas". "Esto debería
recordarnos que la creación, posesión y distribución de CSAM no es rara, y
atribuible a individuos retorcidos".
GenNomis
Antes de ser eliminada, GenNomis ofrecía en su página web varias herramientas de
inteligencia artificial. Entre ellas se incluía un generador de imágenes que
permitía a los usuarios introducir indicaciones de imágenes que querían crear, o
subir una imagen e incluir una indicación para modificarla. También había una
herramienta de intercambio de caras, un eliminador de fondos y una opción para
convertir videos en imágenes.
"Lo más perturbador, obviamente, eran las imágenes explícitas de
niños y ver algunas que eran claramente celebridades reimaginadas como niños",
explica Fowler. El investigador explica que también había imágenes generadas por
IA de chicas jóvenes completamente vestidas. Dice que en esos casos no está
claro si las caras utilizadas son completamente generadas por la IA o se basan
en imágenes reales.
Según Fowler, además de CSAM, en la base de datos había imágenes
pornográficas de adultos generadas por IA, así como posibles imágenes de
"intercambio de caras". Entre los archivos, observó lo que parecían ser
fotografías de personas reales, que probablemente se utilizaron para crear
"imágenes explícitas de desnudos o sexuales generadas por IA", afirma. "Así que
estaban tomando fotos reales de personas e intercambiando sus caras ahí",
expresa sobre algunas imágenes generadas.
|
