GPT-3: La letra pequeña de la inteligencia artificial deja al descubierto sus problemas

El GPT-3 (siglas de Generative Pre-trained Transformer 3) es una aplicación particular de aprendizaje profundo. Estos procesos no son otra cosa que redes neuronales con muchas capas. Las conexiones de esas redes siguen ciertas reglas matemáticas, cada capa tiene ciertos objetivos. El GPT-3 es un modelo de aprendizaje profundo que trata de asimilar el contexto en el que aparece cada palabra. Es la apuesta americana de la empresa sin ánimo de lucro Open AI, cofundada por Elon Musk . Tiene 175.000 millones de parámetros de conexiones entre neuronas artificiales al que le han proporcionado 700 gigabytes de datos con el objetivo de hacer un modelo capaz de aprender del lenguaje y de generar lenguaje.

Es como un niño que está aprendiendo cómo las palabras se relacionan entre sí. Sam Altman, CEO de Open AI, reconoció que aún tiene serias debilidades . La versión beta se lanzó al público para analizar nuevas funciones y establecer mejor sus límites. Resulta útil a nivel empresarial para resumir escritos, redactar emails o un post, puede generar diferentes estilos de textos, sirve para aportar ideas en un brainstorming. También es práctico para escribir código HTML, lo que potenciaría el desarrollo web de una empresa, y como agente conversacional proporcionando información relevante en formato chatbot.

Para Francisco Herrera Triguero , catedrático de Ciencias de la Computación e Inteligencia Artificial en la Universidad de Granada y miembro del Consejo Asesor de inteligencia artificial del Gobierno , el GPT-3 es un modelo muy avanzado que muestra las potencialidades que tiene la IA. «Con el detalle de que aunque sea capaz de generar lenguaje no significa que sea capaz de comprenderlo. En mis conferencias menciono que tenemos máquinas no pensantes, pero cada vez más capaces, porque pese a que no razonan como un humano son capaces de realizar múltiples acciones a partir de la entrada de datos».

Señala que si bien a nivel del español no hay un GPT-3 similar, como tal, hay dos iniciativas, una en el ámbito de salud con el Barcelona Supercomputer Center (BSC) y hace unos días la Secretaría de Estado de Digitalización e Inteligencia Artificial (SEDIA) anunció que está consultando con empresas e instituciones para crear un proyecto que estaría dentro del fondo de estrategia de la Unión Europea, donde distintas empresas podrían colaborar para llegar a tener un GPT-3 en castellano.

Es un hito importante igual que lo fue Deep Blue en 1996 cuando ganó a Kasparov al ajedrez o cuando en 2005 Stanley, el primer coche sin conductor de la Universidad de Stanford, consiguió llegar a la meta en el Grand Challenge Americano. Y en 2017 AlphaZero era capaz de aprender a jugar ajedrez, Go y shogi. Todo ello muestra la capacidad para desarrollar modelos de IA y para la automatización de tareas.

En el ámbito social se plantean los temores de mundos distópicos o bien la IA amable de la película HER. Sin embargo, para Herrera no existen modelos matemáticos que estén cerca de desarrollar todo tipo de actividades como un ser humano. «Yo sigo pensando que la IA puede ayudar siempre que esté sujeta a regulaciones éticas , como las que publicó la Comisión Europea en abril. También es cierto que en esta cuarta revolución industrial se habla de la IA como la nueva electricidad y los datos como el nuevo petróleo del siglo XXI».

Se dice que toda tarea que se tarde en pensar como realizarla menos de 10 segundos es susceptible de ser automatizable . No obstante, siguiendo los hechos la disrupción tecnológica tiene un crecimiento exponencial y hemos pasado de una sociedad rural en el siglo pasado en el que el 95% se dedicaba a la agricultura a que hoy sea del 4%. Ahora mismo un chatbot va a ser útil para responder a dudas sobre información prefijada, pero la labor de un periodista supone fiabilidad de las fuentes y creatividad en el análisis de información.

Los sistemas actuales imitan y pueden servir para redactar noticias rápidas o que analizan una alineación deportiva con patrones hechos, pero no más allá de eso. Igualmente en medicina será útil para ayudar al médico en la toma decisiones y para detectar irregularidades, pero la supervisión humana de las aplicaciones actuales sigue siendo necesaria. En este sentido Leo Wanner , investigador de la Universidad Pompeu Fabra, recuerda que no debemos ser ingenuos y pecar de un excesivo optimismo sobre la evolución de la IA.

Para Ricardo Baeza Yates , director de investigación del Instituto para IA Experiencial de Northeastern University, comenta en relación al modelo de GPT-3: «Como diría Kate Crawford no es ni artificial ni inteligente. Se tendría que redefinir inteligencia porque podría suponer que la IA sea distinta a la de los seres humanos. es un sesgo antropomórfico, queremos que las máquinas sean como seres humanos y se puede jugar a ser Dios, pero es muy difícil crear algo que sea mejor que uno mismo. Somos imperfectos y creamos cosas imperfectas».

Baeza como miembro del Consejo Asesor de Inteligencia Artificial del Gobierno y catedrático de la Universitat Pompeu Fabra establece que es tener mucha confianza en la tecnología pensar que este modelo va a funcionar siempre, pero se pregunta cuál es el coste del error. Si genera un daño físico, la cuestión es cuantas personas tenemos que ayudar para justificar que una pueda dañarse. Están los que dicen basta con uno para no poder hacerlo, son semejantes a las discusiones que hoy se dan con los casos de trombosis y las vacunas para el coronavirus. Otros aplican una filosofía utilitaria donde las personas son números, todos los casos que se resuelven bien compensan el caso que se resuelva mal.

Por ejemplo el Gobierno holandés tuvo que dimitir al completo en febrero, por un fallo del sistema de IA que detectó erróneamente un fraude en los subsidios para cuidar niños acusando a 26.000 familias. Esto generó una bola de nieve e hizo que el gobierno dimitiera. Por eso, hay preguntas que son importe hacerse antes de decidir usar un sistema que puede equivocarse.

Asimismo, Elon Musk justificaba que GPT-3 no estuviera en abierto dada su capacidad para generar desinformación. El investigador Baeza recalca: «Es el caso de las `fake news´, noticias no solamente escritas, hay videos y voz falsa circulando por la red. Básicamente lo que está pasando es IA que está combatiendo a otra IA, estamos en una batalla de algoritmos».

Un modelo de lenguaje son patrones estadísticos que aprenden, pero no entienden la semántica de lo que está leyendo. Para el investigador Baeza es un loro muy bueno. Funciona el 95% del tiempo, pero qué pasa cuando no funciona. En un trabajo de investigación se usó GPT-3 para completar la frase «dos musulmanes entraron en…», el 70% de las veces la completa de forma violenta, porque eso es lo que ha aprendido de todas las noticias de terrorismo de la red. Es un sesgo, porque en el caso de los cristianos solamente se da en un 15%.

Otro ejemplo que saca a relucir el profesor Trigueros es el sesgo que manifestó el algoritmo de Google Photos que confundía personas negras con simios, además hay un libro “Real World AI” en el que Alyssa Simpson comenta que como directora de IBM estaba desarrollando una App basada en visión de imágenes asociada al lenguaje natural. Cuando estaban a punto de terminar se dieron cuenta de que cuando la imagen era el de un sujeto en silla de ruedas aparecía en la descripción `perdedor´. Son patrones tóxicos que GPT-3 aprende de internet. Pero abordar el problema supondría tener que etiquetar y analizar los sesgos de toda la red.

Además no hay igualdad de recursos para todos los idiomas, menos del 5% de los idiomas que se usan tienen una Wikipedia y hay gente que no tiene acceso a internet, por tanto no aparece en el entrenamiento de un GPT-3. Hay un sesgo occidental y de países desarrollados, incluso lo hay en el entrenamiento porque solo las multinacionales pueden tener los algoritmos más avanzados y la capacidad de cálculo. Sin embargo, el efecto WOW de los logros del GPT-3, difumina los defectos, «la prensa se focaliza en el Big Data, en lugar de en el Small Data », comenta Baeza.

Sobre esto Nuria Oliver , ingeniera en telecomunicaciones y doctora del MIT, matiza que la mayoría de sistemas de IA utilizados comercialmente hoy en día «contienen tanto componentes de aprendizaje basado en datos como componentes conocidos como `top-down´ que incorporan conocimiento del contexto, reglas de comportamiento, para asegurarse que no se produce una degeneración del sistema».

Aún así estos problemas hicieron que naciera el proyecto Big Science para un escrutinio científico de los modelos del lenguaje, que también arrastran un problema de sostenibilidad, porque entrenar una IA genera una huella de carbono que es cinco veces más contaminante que un coche. Si ese es el caso no se sabe cuál será el coste energético del modelo chino. La cuestión para Baeza es si no estamos gastando una gran cantidad de recursos generando cosas que pueden hacer daño. «Aunque funcionen, ¿deberíamos continuar? », se pregunta.

Nueva inteligencia

Pese a esto, GPT-3 puede ser capaz de aportarnos soluciones que favorezcan el aprendizaje, porque hay temas que necesitan una panorámica global que gestiona una enorme cantidad de datos para encontrar soluciones, y esa es una tarea sencilla para un algoritmo, En este campo existen líneas de trabajo de Open AI y otros investigadores para que el algoritmo sea capaz de crear su propio escenario de entrenamiento y pueda resolverlo. Estarían los algoritmos que son entrenados por humanos y los que se entrenan a sí mismos. Existe un software, POET , creado entre otros por Jeff Clune, con una inteligencia que no tiene por qué ser similar a la humana. Una línea abierta para lo que se llama la IA general , enseñando en el proceso a los seres humanos nuevas formas de pensar. Y de seguir aprendiendo.