El Consejo Audiovisual de Andalucía alerta sobre los desnudos virtuales creados y difundidos por menores con la IA

El «desencadenante» del estudio fue la alarma social a raíz de la denuncia, en octubre de 2023, de la difusión de imágenes de desnudos virtuales creados mediante IA de adolescentes por parte de compañeros también menores de edad en Almendralejo, Badajoz. Las denuncias por esta práctica se han sucedido por todo el país, también en Andalucía.

Este órgano ha expresado en particular su «preocupación» por el efecto que la IA puede tener en la desinformación y en la difusión de bulos cuyos contenidos de «extraordinario realismo» hagan «muy difícil» para la ciudadanía «discernir lo que es veraz de lo que no, por lo que aboga por el desarrollo de medidas efectivas, legales y técnicas, de detección de estos contenidos, y se hace un llamamiento tanto a los medios audiovisuales como a la propia ciudadanía andaluza para que estén alertas y no den credibilidad ni difusión a estos contenidos falsos».

El CAA acordó abordar esta cuestión mediante reuniones con expertos y fomentando el estudio de la materia entre los técnicos del órgano. El informe, realizado por el área de contenidos, llama la atención sobre las aplicaciones que permiten la realización de desnudos virtuales, cuyas «preocupantes conclusiones motivaron un nuevo acuerdo del CAA sobre los riesgos de los sistemas de IA en el ámbito audiovisual y digital», especialmente la generación de imágenes virtuales de cuerpos desnudos.

El Consejo «constata y alerta» sobre los riesgos que comporta en el ámbito audiovisual y digital el «rápido desarrollo» de la IA y la transformación que supone en orden a la protección de los menores de edad en el entorno digital, la igualdad de género y la protección de los derechos fundamentales de los ciudadanos, especialmente, el derecho al honor y a la intimidad.

El rápido desarrollo de la IA, la transformación digital que supone y los potenciales riesgos que conlleva han puesto de relieve la «importancia» de que los poderes públicos «ejerzan sus competencias» para la protección de los derechos fundamentales de los ciudadanos y, especialmente, de los menores de edad en el entorno digital, garantizando su privacidad y seguridad.

El derecho a la dignidad humana, el respeto de la vida privada y familiar, la protección de datos de carácter personal, la protección de menores y el libre desarrollo de su personalidad, la no discriminación, la igualdad y el derecho a la libertad de expresión, entre otros, justifican la imposición de restricciones al uso y comercialización de estos nuevos sistemas. «Es indudable los beneficios que aporta esta nueva tecnología, pero deben establecerse medidas para que los sistemas de Inteligencia Artificial sean seguros», remarca el Consejo.

El derecho al honor y a la intimidad pueden verse «gravemente comprometidos» por las aplicaciones de IA que permiten la creación de deepnudes y de otros contenidos pornográficos falsos sin el consentimiento de los afectados. Estas herramientas suponen «una potencial violación de la privacidad y del honor de las personas, exponiéndolas a una vulneración de su intimidad que puede tener consecuencias devastadoras tanto a nivel personal como profesional«.

La difusión de imágenes y de vídeos falsos creados por IA no sólo afecta a la reputación de las personas involucradas, sino que también puede «conducir a delitos de acoso, extorsión, injurias o amenazas». Las víctimas de estos actos no sólo sufren la invasión de su privacidad, sino que también enfrentan un «escarnio público» en redes sociales que «multiplica el daño y el acoso social».

La protección de los menores es una preocupación «central» para el CAA, especialmente en el contexto del acceso a contenidos audiovisuales de carácter sexual. Las aplicaciones de IA que generan contenido pornográfico falso representan un «riesgo significativo» para los menores, que pueden acceder a estos materiales sin las debidas restricciones de edad. Esta facilidad de acceso expone a los menores a riesgos de ciberacoso, explotación sexual y otros peligros asociados con el consumo de contenido inapropiado.

«Es necesario, por tanto, subrayar la necesidad de garantías y medidas de seguridad en el proceso de contratación y uso de tecnologías de IA para asegurar que los menores no puedan utilizar estas aplicaciones», apunta el CAA. En particular, »es urgente la aplicación de medidas fehacientes de verificación de la edad, así como la promoción de una educación en valores digitales tanto para los menores como para sus padres y tutores«.

La educación debe centrarse, a juicio del organismo autonómico, en el uso «seguro y responsable» de las tecnologías de la información y la comunicación, así como en la comprensión de los riesgos asociados con el uso indebido de la IA, y las familias deben comprender la gravedad de los delitos que pueden cometerse contra la intimidad y asumir la necesidad de educar a los menores en valores digitales y en el respeto a la privacidad de los demás.