¿Pueden las máquinas tomar decisiones justas?

«Gran parte de la discusión sobre la equidad en el aprendizaje automático se ha centrado en soluciones técnicas, como cómo corregir algoritmos injustos y cómo hacer que los sistemas sean justos», dice el científico social y coautor del estudio, Ruben Bach, de la Universidad de Mannheim. «Nuestra pregunta es, ¿qué piensa la gente que es justo? No se trata solo de desarrollar algoritmos. Deben ser aceptados por la sociedad y cumplir con las creencias normativas del mundo real», remarca.

Para llevar a cabo el estudio, los investigadores, pertenecientes a las universidades germanas de Mannheim y de Munich, realizaron una encuesta a 3.930 personas a las que presentaron escenarios hipotéticos relacionados con los sistemas bancario, laboral, penitenciario y de desempleo. Por ejemplo, planteaban situaciones en las que una persona perdía el empleo o recibía la concesión de una hipoteca y compartían datos adicionales sobre cada caso. Entre ellos, también se recogía quien había tomado la decisión, si una máquina, un ser humano o ambos.

«Como era de esperar, vimos que no se favorecía la toma de decisiones completamente automatizada», dice el científico social computacional y coautor Christoph Kern de la Universidad de Mannheim. «Lo interesante es que cuando tienes supervisión humana sobre la decisión automatizada, el nivel de justicia percibida se vuelve similar a la toma de decisiones centrada en el ser humano», señala el investigador Christoph Kern de la Universidad de Mannheim.

A día de hoy, en varios países, especialmente en China, las tecnologías basadas en inteligencia artificial están siendo empleadas de forma masiva para el control social. Algunas de ellas, incluso, serían capaces de predecir la comisión de delitos y la realización de protestas. En España, varios expertos en IA solicitaron al Gobierno el año pasado una moratoria en el uso de tecnología de reconocimiento facial basada en IA que, finalmente, quedó en nada. Actualmente, la UE está intentando regular su uso para que resulte lo menos lesivo posible para los ciudadanos.

«En la Unión Europea ya tenemos un borrador que divide la inteligencia artificial en grupos distintos en función de su peligrosidad», explica a ABC Ofelia Tejerina, abogada especializada en asuntos tecnológicos y presidenta de la Asociación de Internautas de España.

De acuerdo con el articulado que maneja la UE, las tecnologías presentes en el estudio de los investigadores alemanes, como aquellas que estarían pensadas para conceder un crédito o solicitar una ayuda pública, se encontrarían englobadas en el segundo grupo, categorizado como de 'riesgo alto'. El plan de los reguladores, que siguen debatiendo el borrador para su aprobación desde hace más de un año, es que estén sujetas a «estrictas obligaciones», entre ellas la supervisión humana.

Sea como fuere, en nuestro país el estado cuenta con varios algoritmos que toman decisiones que pueden afectar notablemente la vida de una persona y sobre la que los usuarios y la sociedad civil conocen lo justo.

«Se están utilizando para apoyar en la toma de decisiones o, directamente, para tomarlas. Los hay de mucho tipos y pueden ser determinantes para que consigas un crédito o un empleo», explicaba recientemente a este diario Gemma Galdón, directora ejecutiva y fundadora de Éticas, fundación dedicada a auditar algoritmos y concienciar sobre la necesidad de vigilar y exigir transparencia en el uso de sistemas de toma de decisiones automatizadas.

Entre los sistemas empleados en España para la toma de decisiones se encuentra Bosco, herramienta empleada por las eléctricas para regular el bono social para el pago de la factura de la luz. En 2019, la fundación Civio, según afirma, descubrió que la herramienta tenía fallos y denegaba la ayuda a personas que tenían derecho recibirla.

Éticas también pone el foco sobre otras máquinas pensantes que operan en nuestro país, como VioGén, que detecta el riesgo de reincidencia de agresores en casos de violencia de género desde 2007. «Cuando hicimos la auditoría externa al sistema VioGén, desarrollado por el Ministerio del Interior, descubrimos que tener o no tener hijos alteraba la asignación de riesgo para las mujeres hasta un 44%», explica a este diario Alfonso Martínez, jefe de Comunicación de Éticas.

«Los sesgos e injusticias producidas por sistemas de inteligencia artificial pueden ser mitigados por procesos de supervisión y auditorías, continuando con el ejemplo de VioGén, descubrimos que aunque en teoría el sistema otorga una recomendación al humano que toma la decisión final, comprobamos que en el 95% de los casos la decisión humana mantenía la del sistema», remata Martínez. A pesar de los intentos de Éticas durante los últimos años, la administración no les ha dado permiso hasta el momento para auditar internamente esta IA teniendo acceso a todos los datos.

Los expertos en IA han remarcado durante años que esos algoritmos, que pueden parecer objetivos y neutrales en comparación con los humanos, al final, corren el riesgo de caer en los mismos prejuicios. Al fin y al cabo, no dejan de estar entrenados con datos proporcionados por los desarrolladores e ingenieros que hay detrás y, por tanto, son susceptibles de tener nuestros mismos sesgos.

«Siempre tiene que haber un responsable detrás de una máquina, porque esta sola nunca puede decidir nada. Lo que te da la IA es una respuesta, una sugerencia, que luego debe ser evaluada si por el ser humano si se quiere ser realmente justo», explica a este periódico Juan Ignacio Rouyet, profesor de la Universidad Internacional de La Rioja (UNIR) y experto en ética e IA.

El docente remarca que «hay que evitar la frase esa de 'lo ha dicho el sistema'», ya que la máquina, «no dice nada»: «cuando uno de estos sistemas apuntan que una persona, por ejemplo, es proclive a delinquir, lo que señala realmente es que en función de los datos que ella maneja eso podría ser así». O no.

Ofelia Tejerina, por su parte, destaca que para evitar darle un mal uso a los algoritmos, «es imprescindible que haya un protocolo en la toma de decisiones y en la ejecución de la toma de decisiones»: «Si hay implicados derechos fundamentales, tiene que haber obligatoriamente una monitorización humana desde el momento en el que se programa el primer algoritmo hasta que se ejecuta la última decisión. Para los demás, para los que no afecten a nuestros derechos, debe crearse un sistema de reclamaciones que sea realmente funcional, normas, instituciones y responsabilidades».