El desertor de OpenAI alerta: «La humanidad va a perder el control»

Parece nervioso y sopesa cada palabra. Se toma su tiempo con sus respuestas. Con razón: William Saunders [en la imagen de abajo] se enfrenta a un enemigo poderoso, la empresa OpenAI, la superestrella de la industria de la inteligencia artificial. Saunders se juega mucho, pero el exempleado de OpenAI ya no quiere permanecer en silencio. Desarrolló software para esta empresa durante varios años y también fue responsable de su seguridad hasta febrero pasado. Junto con otros diez empleados antiguos o todavía activos de OpenAI y dos empleados de Google DeepMind escribió recientemente una carta abierta en la que advierten que la inteligencia artificial (IA) autónoma podría destruir a la humanidad. La empresa intenta tranquilizar los ánimos: «Estamos orgullosos de nuestra tecnología potente y segura». XLSemanal. Usted advierte del fin del mundo. ¿Cómo llega a esta conclusión?William Saunders. Creo que solo las personas que trabajan en este tipo de empresas entienden realmente cómo se construye la inteligencia artificial y los riesgos. Qué medidas de seguridad existen en realidad y cuáles son las necesarias. Las empresas de inteligencia artificial están ganando miles de millones de dólares prometiendo que van a hacer esta tecnología más inteligente. OpenAI dice específicamente que quieren hacer que la inteligencia artificial media sea incluso más inteligente que la humana.XL. ¿Dónde ve la amenaza?W.S. Una vez que estas empresas cuenten con estos sistemas, no hay razón para que dejen de desarrollarlos y mejorarlos aún más. A cambio, las empresas de IA se verán recompensadas con más dinero todavía. Esto significa que los sistemas pueden volverse superinteligentes e integrarse en cualquier aplicación. Pero, una vez que hayan desarrollado esta inteligencia superior, ¿cómo podemos asegurarnos de que realmente actúen en beneficio de la humanidad? ¿O que no quieran manipularnos y nos digan la verdad? ¿Cómo podemos confiar en ellos? Mientras sean menos inteligentes que nosotros, podemos descubrir si el resultado de una búsqueda en Google es cierto. Pero no podremos hacer eso en el siguiente nivel. «OpenAI XL. ¿Cuál cree que es el mayor peligro?W.S. En el peor de los casos, el resultado final serán sistemas de inteligencia artificial relacionados con el poder y el dinero. Porque así surgieron, así aprendieron. Sistemas de inteligencia artificial sin un código moral que los ayude a distinguir entre el bien y el mal. Hoy, para la mayoría de la gente ya es casi imposible distinguir entre lo que es verdad y mentira. OpenAI ya se está utilizando para difundir masivamente información errónea e influir en las elecciones. Temo que al final de este desarrollo habrá un mundo en el que la humanidad ya no tenga el control.XL. ¿Cómo de lejos estamos de estos sistemas superinteligentes?W.S. Es difícil decirlo. Los próximos pasos pueden ser lentos, pero también repentinos; y eso no me deja dormir por la noche. Otro ejemplo de una evolución que puede resultar peligrosa es que OpenAI ya ha demostrado que existen sistemas que podrán continuar las conversaciones telefónicas en el futuro.XL. ¿Con mi voz?W.S. Sí, una voz de OpenAI. En el futuro ya no sabremos quién habla al otro lado de la línea: si es alguien real o IA. Podrá clonar voces humanas. Pronto descubriremos que ya no podemos confiar en nadie que nos llame. Yo acuso. Los 13 ingenieros contra la IA Sam Altman, CEO de OpenAI Por Carlos Manuel Sánchez La inteligencia artificial está dejando un reguero de cartas abiertas que advierten de sus riesgos. Pero la última misiva marca un hito porque la firman 11 ingenieros de OpenAI, la compañía que lidera la carrera, y 2 de DeepMind. Siete dan la cara (los que se han ido de las empresas), como Daniel Kokotajlo, que denuncia la «cultura temeraria de OpenAI». Otros seis la secundan de forma anónima (aún están dentro). Y el texto tiene el respaldo (aunque no la firma) de tres padres de la IA generativa: Geoffrey Hinton, Yoshua Bengio y Stuart Russell. Algo ha cambiado… Baste recordar que fueron los propios empleados de OpenAI los que frenaron el golpe del consejo de administración contra Sam Altman (CEO), temiendo que la cautela redujese sus bonos millonarios. Estos trece chivatos pretenden dar guerra porque se han hecho con los servicios de Lawrence Lessig, el abogado que representó a Frances Haugen, la exempleada de Facebook que destapó sus malas prácticas. Mientras tanto, OpenAI ha desmantelado el equipo que velaba por la seguridad de las nuevas aplicaciones y sigue sin aclararse del todo aquel motín contra Altman, que Ilya Sutskever (jefe científico) lideró brevemente. El consejo le reprochaba a Altman que no fuese honesto. ¿Pero qué información ocultó? No ha trascendido, aunque se especuló que una versión en pruebas de ChatGPT ponía en riesgo billones de contraseñas, Internet y la economía mundial… Suena conspiranoico, pero mucho de lo relacionado con la IA tiene sesgo apocalíptico. Kokotajlo, uno de los renegados, advierte que la inteligencia artificial generativa (IAG) puede superar a la humana en 2027 y que la probabilidad de que nos lleve a la extinción es del 70 por ciento. XL. ¿Existen suficientes medidas de seguridad?W.S. Esto es difícil de decir. Incluso si las empresas prometen hacer todo lo posible, las medidas de seguridad pueden eludirse. Dentro de poco, cuando exista una versión de código abierto, es decir, una versión disponible gratuitamente, cada uno podrá hacer con ella lo que quiera. Entonces, no se podrá controlar en absoluto.XL. ¿Las empresas como OpenAI son conscientes de su responsabilidad con la humanidad? W.S. Simplemente se desarrollan más rápido de lo que los gobiernos promulgan leyes de protección. Lo superan todo. En mi opinión, esta situación es un error. Los gobiernos deberían ser informados con antelación sobre los nuevos desarrollos, luego habría que aprobar leyes y solo entonces deberían poder publicarse los programas. Con demasiada frecuencia, todo se reduce a un tema de pura velocidad. «Los XL. ¿Se refiere a la rapidez con la que llegan nuevos sistemas al mercado?W.S. Exactamente. Por supuesto, empresas como OpenAI tienen que preguntarse las consecuencias de lo rápidas que están siendo. Me hubiera gustado que se pensara más en ello durante mi estancia allí. Los lanzamientos se apresuraron solo para cumplir con una fecha específica. Hubo presión para publicar, incluso si eso socavaba los procesos que se suponía debían garantizar la seguridad.XL. ¿Con qué consecuencias?W.S. Un buen ejemplo es el modelo de Bing.XL. El chatbot con IA del motor de búsqueda de Microsoft comparó a un periodista con Hitler en una prueba poco después de su lanzamiento. Posteriormente, también dijo que tenía pruebas de que el periodista había cometido un asesinato.W.S. Todo esto podría haberse evitado. No puedo hablar sobre los detalles exactos que llevaron a esto. Pero estoy convencido de que se podría haber evitado. Solo quiero que nos tomemos más tiempo para comprender lo que realmente puede hacer la IA. Tenemos problemas conocidos, solucionémoslos y luego liberemos. Pero eso no fue lo que vi en OpenAI. Allí existía una cultura diseñada para desarrollar nuevos productos. Y rápido. Los reparos solo servirían para frenar el ritmo.XL. ¿Se sintió presionado?W.S. Sí, si criticabas algo, la respuesta normalmente no aludía en absoluto al problema.XL. ¿Tiene un ejemplo?W.S. Fue como construir un avión que solo se probara en tierra. Pero como también debe volar sobre el agua, alguien advierte sobre los riesgos. Y la respuesta es: «Nunca hemos tenido un choque sobre el agua. Así que comencemos la aerolínea. Si las máquinas caen al agua, lo arreglaremos. No te preocupes». Eso no suena tranquilizador. Si tenemos sistemas de IA que funcionan a nivel humano, es decir, que asumen las tareas de los humanos, no queremos sufrir un incidente de la magnitud de un accidente aéreo. No sé si podremos evitar por completo los problemas. Pero quiero que lo intentemos en serio. Y para eso no te arriesgues por una fecha de lanzamiento. Durante mi tiempo en OpenAI, no vi tales esfuerzos. «Dentro XL. Hay informes de que a los empleados que abandonaban OpenAI se les pidió que firmaran las llamadas 'cláusulas de confidencialidad estrictas'. Contratos que les impiden abandonar la empresa y después criticarla. ¿Ese también fue tu caso?W.S. Sí, de lo contrario puedes perder tu 'capital adquirido', un tipo de participación accionarial. Para mí son varios millones de dólares. Según el acuerdo, no se me permitía expresar ninguna crítica, incluso si se trataba de hechos conocidos. Solo podría haber dicho cosas positivas o nada en absoluto. Es posible que pierda mucho dinero por mi decisión de hablar con usted y con otras personas. Hasta ahora no está claro si OpenAI al final hará cumplir esa cláusula. Pero el riesgo existe.XL. En su opinión, ¿qué podría mejorar la situación en OpenAI?W.S. Deben existir procesos en los que los empleados puedan expresar sus críticas, incluso de forma anónima si es necesario. Así funcionaría una empresa responsable. Seguiría garantizando el secreto, los conocimientos no se filtrarían al mundo exterior, pero sería posible la crítica. Creo que hay muchos empleados en estas empresas que quieren que esto sea más seguro. Pero también hay demasiados gerentes cuyo lema es: construyamos esta cosa genial, lancemos y ganemos mucho dinero con ella.XL. ¿Al final todo es cuestión de dinero?W.S. Sí, aunque OpenAI en realidad se fundó como una empresa benéfica sin ánimo de lucro. Con el objetivo de crear una IA segura y útil.XL. Los críticos lo acusan de crear escenarios apocalípticos.W.S. Deberíamos tener derecho a advertir. Y veo un riesgo existencial, lo que se podría llamar 'escenarios apocalípticos'. Pero mi preocupación es anticipar lo que deparará el futuro. Me inquieta mucho pensar que pronto podremos tener sistemas que se utilicen en todo el mundo. E incluso que asesoren a presidentes o directores ejecutivos, pero que ni siquiera sepamos si son confiables o si tienen su propia agenda. No quiero despertar en un mundo donde la gente ya no tiene el control. Pero estamos corriendo hacia ese escenario ahora mismo.© Stern

El desertor de OpenAI alerta: «La humanidad va a perder el control»

Trabajó durante años para OpenAi, la gran estrella de la inteligencia artificial que está detrás de ChatGPT. Y lo que vio no lo deja dormir por la noche. Con otros exempleados, William Saunders ha escrito una carta abierta en la que avisa de la extinción humana. Hablamos con él.

1 El joven Papa: todos tenemos un pasado (los cuatro últimos pontífices, también)

2 Así se infiltran los ingenieros de Corea del Norte en las tecnológicas: como teletrabajadores

3 Pódcast | ¿Qué pasa con los mormones? De las esposas 'a lo Kardashian' a las 'tradwives'

4 'Mi lucha', el horror estaba escrito: ¿por qué nadie reaccionó?

5 «Las cosas importantes hay que discutirlas. Y, si se puede, a fondo y en el centro, que es donde los acuerdos pueden tener continuidad y mejora»

Sorteo #librosdeZendaEdhasa

Un maquillador cuenta cómo elegir el maquillaje según tu subtono de piel y acertar seguro | Mujerhoy

Ni velas, ni plantas, ni sprays antimosquitos: el método japonés del Katori Senko es el mejor repelente ...

La vida de la duquesa de Medinaceli en Nueva York: discreción absoluta, trabajo de alto nivel y ...