Tiroteos clasificados como accidentes de coche: los errores de Facebook detectando el odio y la violencia

«El problema es que no tenemos y posiblemente nunca tendremos un modelo que capture incluso la mayoría de los daños a la integridad, particularmente en áreas sensibles», afirma en un documento de 2019 un ingeniero de la plataforma. Otro informe, en este caso realizado en marzo de 2021, apuntaba que la Inteligencia Artifical de la empresa solo limita entre un 3 y un 5% las visualizaciones de contenido contrario a sus normas mediante la eliminación de las publicaciones . «Estimaciones recientes sugieren que, a menos que haya un cambio importante en la estrategia, será muy difícil mejorar esto más allá del 10-20% en el corto o medio plazo», destaca un ingeniero de la empresa en otro documento.

'WSJ' destaca que estas estadísticas contrastan con la confianza que la red social tiene en la Inteligencia Artificial para combatir el contenido que rompe con sus normas. El medio recuerda que Mark Zuckerberg, director ejecutivo de Facebook, afirmó en 2018 ante el Senado de Estados Unidos que estimaba que dentro de 5 o 10 años la plataforma sería capaz de detectar la mayoría de mensajes en los que se incita al odio con tecnología. Facebook, por su parte, no ha tardado en salir al paso de la información compartida por el medio estadounidense. Destaca que su estrategia de moderación está centrada en el control de «la prevalencia, la cantidad de discurso de odio que las personas ven en la plataforma» más que en la eliminación de contenido.

Guy Rosen, vicepresidente de integridad de red social, ha señalado en un comunicado que 'Wall Street Journal' ha utilizado la información para «crear una narrativa de que la tecnología que usamos para combatir el discurso del odio es inadecuada y que deliberadamente tergiversamos nuestro progreso». El ejecutivo apunta, como explicábamos, que el objetivo principal de la IA de Facebook no es «centrarse solo en la eliminación de contenido», sino limitar todo lo posible las visualizaciones .

«Si algo puede ser discurso de odio, pero no estamos lo suficientemente seguros de que cumpla con los requisitos para su eliminación, nuestra tecnología puede reducir la distribución del contenido o no recomendar Grupos, Páginas o personas que publican regularmente contenido que probablemente infrinja nuestras políticas», señala Rosen.

Gracias a este enfoque, según el último informe de cumplimiento de estándares comunitarios de la plataforma , por cada 10.000 visualizaciones de contenido en Facebook, el usuario se encuentra con cinco publicaciones en las que se incita al odio. Un 0,05% del total. Asimismo, se destaca que la prevalencia del discurso de odio se ha reducido un 50% en los últimos tres trimestres .

«Tenemos un umbral alto para eliminar contenido automáticamente. Si no lo hiciéramos, correríamos el riesgo de cometer más errores en el contenido que parece un discurso de odio, pero que no lo es», dice el vicepresidente de integridad. Con todo, los errores siguen ahí. Por su parte, el medio estadounidense destaca que, al penalizar el contenido reduciendo solo su visualización, «las cuentas que publicaron el material (que puede romper con las normas) quedan impunes».

Según la información interna de Facebook compartida por 'The Wall Street Journal', la IA de la red social ha tenido grandes problemas para detectar vídeos en los que se muestran determinados actos claros de violencia. Entre ellos, primeros planos de una persona disparando a otra; así como otros contenidos en los que se muestran accidentes automovilísticos con «desmembramientos y entrañas visibles».

Los sistemas de Inteligencia Artificial también han registrado errores a la hora de interpretar los contenidos . De este modo, han llegado a confundir un vídeo en el que se estaba lavando un coche con un tiroteo y un tiroteo con un accidente de coche.

La tecnología tiene el mismo problema con las publicaciones relacionados con peleas de gallos . Según 'WSJ', Facebook permite este tipo de contenido siempre que los animales no aparezcan gravemente heridos. Sin embargo, la tecnología se mostró incapaz de realizar la diferenciación. En dos casos en los que los ingenieros consiguieron que la IA clasificara una pelea de gallos, se encontraron con un problema añadido. «Estos son claramente vídeos de peleas de gallos», se apuntaba en un documento interno, sin embargo, fueron etiquetados (otra vez) como accidentes automovilísticos .

Sea como fuere, esta no es la primera vez que se comparte que la tecnología de la red social encargada de la moderación comete errores . Hace unos días Instagram, aplicación que, como Facebook, es propiedad de Mark Zuckerberg, eliminó temporalmente una imagen de la presidenta de la Comunidad de Madrid, Isabel Díaz Ayuso , en la que se podía ver a la política en la plaza de toros de Las Ventas. La fotografía, que fue catalogada como violenta por la compañía, a pesar de que se trataba de un selfie de espaldas al ruedo en el que no se veía nada que pudiese ser considerado como tal, fue borrada por error , según reconocieron fuentes de la plataforma a ABC.