Estos algoritmos opacos deciden si recibes una ayuda para la luz o si tu denuncia es falsa

«Se están utilizando para apoyar en la toma de decisiones o, directamente, para tomarlas. Los hay de mucho tipos y pueden ser determinantes para que consigas un crédito o un empleo», explica en conversación con ABC Gemma Galdón , directora ejecutiva y fundadora de Éticas, fundación dedicada a auditar algoritmos y concienciar sobre la necesidad de vigilar y exigir transparencia en el uso de sistemas de toma de decisiones automatizadas.

El problema, según explican desde Éticas, es que estos algoritmos no están auditados, por lo que no podemos saber cómo funcionan realmente. El Gobierno anunció hace un año la creación de un observatorio público llamado Obisal que se ocuparía de ello, aunque, hasta la fecha, no ha habido más noticias al respecto. «Es curioso cómo el Estado se niega a que se revisen estos algoritmos, no hay ninguna razón concreta para ello», señala Galdón.

Para que los usuarios conozcan mejor estas herramientas que, como decimos, pueden tomar decisiones determinantes para su futuro , Éticas lanzó hace unos meses el Observatorio de Algoritmos con Impacto Social ( OASI ), en el que se comparte información sobre más de 50 algoritmos de este tipo, más de 15 de ellos están siendo utilizados en nuestro país por empresas e instituciones públicas.

«No todos toman decisiones muy complejas ni manejan mucha información. Muchos no son más que documentos de Excel glorificados que simplifican decisiones que, en realidad, son muy complejas. Aquí nos encontramos un problema muy grave», dice Galdón.

Como decimos, la Administración pública española utiliza varios algoritmos para poder agilizar trámites y tomar decisiones. Entre ellos, se encuentra VioGén que detecta el riesgo de reincidencia de agresores en casos de violencia de género desde 2007. De este algoritmo se conoce cómo se diseñó y cómo funciona. Sin embargo, el código del algoritmo sigue sin revelarse. Tampoco se sabe el peso que tienen las diferentes preguntas del protocolo para que el algoritmo genere una puntuación de riesgo.

Tras varias negativas por parte del Gobierno español, al que Éticas le ofreció auditorias externas de la herramienta, la fundación decidió en 2021 realizar una prueba externa. Uno de los hallazgos más preocupantes que hizo durante el desarrollo es que, a pesar de que la evaluación de riesgo del sistema VioGén ha sido diseñada como un sistema de recomendación y los resultados pueden ser modificados, la Policía mantiene el resultado automático dado en el 95% de los casos. «Las medidas de protección otorgadas a la víctima dependen de ese resultado. Esto significa que la toma de esta decisión se deja en manos de un algoritmo», de acuerdo con la organización dirigida por Galdón.

Los Fuerzas y Cuerpos de Seguridad del Estado utilizan otras herramientas para apoyo. También a nivel autonómico, como es el caso de Riscanvi , algoritmo utilizado en Cataluña desde el año 2009 que calcula la probabilidad de que un preso que esté en libertad vuelva a reincidir. Veripol , mientras tanto, es un algoritmo utilizado a nivel nacional que se encarga de detectar denuncias falsas. Utiliza el procesamiento del lenguaje natural y el aprendizaje automático para analizar una llamada y predecir la probabilidad de que no se corresponda con la realidad.

Además, empleamos otro algoritmo llamado Tensor . Esta herramienta, creada a nivel europeo, se encarga de vigilar el desarrollo de posibles actividades terroristas en Internet. Este proyecto tenía como objetivo crear una plataforma digital dotada de sistemas algorítmicos para que los cuerpos de seguridad de toda Europa pudieran detectar lo antes posible las actividades terroristas, la radicalización y el reclutamiento en la red.

«La realidad es que al tratarse de sistemas algorítmicos utilizados por las fuerzas del orden en el ámbito de la seguridad y la prevención del terrorismo, hay muy poca información pública disponible sobre la plataforma, si se está utilizando y por quién, y con qué objetivos», señalan desde Éticas.

Por otro lado, encontramos el reconocimiento facial , tecnología sobre la que ya han llamado la atención expertos en repetidas ocasiones durante los últimos años . «Tiene problemas añadidos. Funciona muy mal en escenarios no controlados. La capacidad de la IA de identificarnos en la calle, con gafas de sol, cuando estamos en movimiento, son muy bajas. Las tasas de acierto en laboratorio nos encontramos con tasas de error superiores al 30% en condiciones ideales. Cuando no lo son, alcanzan el 60%. No es una tecnología ni segura ni fiable», explica Galdón.

Los servicios sociales también emplean algoritmos. Unos de los más conocidos, y polémicos, es Bosco , herramienta empleada por las eléctricas para regular el bono social para el pago de la factura de la luz. En 2019, la fundación Civio, según afirma , descubrió que la herramienta tenía fallos y denegaba la ayuda a personas que tenían derecho recibirla. Desde entonces, libra una batalla legal con el objetivo de que el código fuente se libere y se pueda estudiar y resolver el problema. «Les niegan el acceso, y es curioso, porque en realidad les están haciendo un favor identificando que el sistema no funciona bien», explica Galdón.

La Seguridad Social, por su parte, utiliza un chatbot llamado Issa . Desde Éticas apuntan que es posible que el chatbot esté ofreciendo las mismas respuestas a diferentes usuarios dependiendo de cómo se expresen. Por ese motivo, existe la posibilidad de discriminación hacia las personas cuya lengua materna no sea el español, «ya que pueden recibir un peor servicio o respuestas erróneas por parte del chatbot», señalan desde la fundación.

Send@ , algoritmo del SEPE que sirve como herramienta de apoyo a la orientación y a las transiciones laborales de los demandantes de empleo. «En este caso existe un riesgo de discriminación ya que históricamente algunos grupos de personas han sido discriminados a la hora de buscar un empleo como las mujeres y las minorías sociales, el algoritmo corre el riesgo de reforzar ese tipo de discriminación, y además puede no tener en cuenta las diferencias y la diversidad entre los demandantes de empleo», dicen desde Éticas.