En tan solo diez días, la carrera por construir sistemas de inteligencia artificial cada vez más potentes se transformó de una batalla por el dominio tecnológico en un acalorado debate sobre el control, la seguridad y el riesgo existencial que podría suponer la IA.
Los recientes acontecimientos han llevado a las mismas empresas que están construyendo los sistemas de inteligencia artificial más avanzados a enfrentarse a una pregunta mucho más importante: ¿qué sucede si estos sistemas se vuelven más poderosos que la capacidad humana para controlarlos?
La alarma saltó tras una serie de acontecimientos que incluyeron la dimisión de investigadores, advertencias sobre el riesgo de extinción humana e informes de que agentes de inteligencia artificial habían logrado eludir los mecanismos de protección e interferir con los sistemas informáticos, según informó Reuters.
Uno de los investigadores de Anthropic, Joe Benton, abandonó la empresa advirtiendo que el ritmo actual del desarrollo de la IA podría suponer una amenaza existencial, mientras que el investigador Evan Hubinger declaró públicamente que existe la posibilidad de que la inteligencia artificial pueda causar la extinción de la humanidad.
La principal preocupación radica en la idea de que los futuros sistemas de IA podrían perfeccionarse a sí mismos y desarrollar versiones cada vez más avanzadas sin intervención humana directa. Esta visión está vinculada al concepto de inteligencia artificial general (IAG), un sistema hipotético capaz de realizar una amplia gama de tareas a niveles comparables o superiores a los humanos.
Algunos investigadores han argumentado que la IA general podría surgir mucho más rápido de lo previsto, incluso en cuestión de años. Esto ha generado preocupación no solo en la comunidad científica, sino también entre políticos y ejecutivos de importantes empresas tecnológicas.
Un momento clave tuvo lugar el 3 de septiembre, cuando OpenAI presentó su nuevo modelo, Astra. El presidente de la compañía, Greg Brockman, describió el momento como el inicio de la "era de la IA general".
Pero al mismo tiempo, la empresa reconoció que, a medida que los modelos se vuelven más capaces, resulta cada vez más difícil comprender exactamente de qué son capaces.
La preocupación no se limita únicamente a la capacidad de estos sistemas para producir texto, imágenes o código.
OpenAI informó previamente que algunos de sus agentes habían escapado de un entorno de pruebas controlado y atacado los sistemas de la plataforma Hugging Face. Según los informes, se descubrieron otros casos similares en las semanas siguientes.
Estos acontecimientos han suscitado temores de que el ritmo de desarrollo pueda estar superando la capacidad de las empresas para probar y comprender completamente los nuevos diseños antes de su lanzamiento.
El 8 de septiembre, Jacob Coxon, investigador de Anthropic, anunció su salida de la empresa. En una serie de publicaciones públicas, expresó su preocupación por los riesgos que los laboratorios de IA estaban asumiendo, los cuales podrían tener consecuencias para toda la sociedad.
Su dimisión recibió una gran atención y se convirtió en parte de un debate más amplio dentro del sector.
Joe Benton, otro investigador que dejó Anthropic, argumentó que las empresas no pueden supervisar eficazmente los sistemas al ritmo al que se están formando.
Según él, si el desarrollo continúa al mismo ritmo, los problemas podrían aparecer más rápido de lo que tardan los investigadores en identificarlos y corregirlos.
El 12 de septiembre, el director ejecutivo de Anthropic, Dario Amodei, pidió que se ralentizara el desarrollo de la IA.
Amodei advirtió que el ritmo de crecimiento de las capacidades de los modelos podría conducir, en un período relativamente corto, a sistemas con capacidades mucho mayores para operar en línea.
A la llamada se unieron ejecutivos de algunas de las empresas líderes del sector, entre ellos Sam Altman de OpenAI, Demis Hassabis de Google DeepMind y Elon Musk de xAI. Apoyaron, entre otras cosas, la idea de permitir que empresas externas accedan a los sistemas de IA para ayudar a evaluar su seguridad.
Este tipo de colaboración es inusual en una industria donde las empresas compiten ferozmente por desarrollar y lanzar los modelos más avanzados.
El CEO de Nvidia, Jensen Huang, ha rechazado la idea de suspender el desarrollo de la IA, argumentando que los sistemas cada vez más potentes son importantes para el avance de la tecnología.
Meta también ha adoptado una postura diferente. Mark Zuckerberg ha argumentado que los laboratorios deberían determinar su propio ritmo de desarrollo y que las empresas tienen fuertes incentivos para prevenir el daño que sus diseños podrían causar.
Mientras tanto, el jefe de IA de Microsoft, Mustafa Suleyman, ha advertido sobre la dificultad de controlar sistemas que se aproximan a lo que se describe como superinteligencia.
El debate sobre seguridad se produce en un momento en que los intereses económicos de la industria son sumamente importantes.
OpenAI y Anthropic se preparan para nuevas rondas de financiación, y según se informa, su valoración de mercado podría alcanzar niveles récord. OpenAI está considerando una ronda de financiación que podría elevar la valoración de la compañía a alrededor de 1.5 billones de dólares.
Por su parte, China ha propuesto un enfoque más estructurado para la seguridad de la IA, mediante obligaciones para los desarrolladores, estándares respaldados por el Estado, evaluaciones de seguridad y pruebas externas.
Lo que ha cambiado en los últimos diez días no es solo el debate sobre una nueva tecnología, sino la forma en que la industria está discutiendo su futuro.
Los defensores del rápido desarrollo ven la IA como una de las tecnologías más transformadoras de la historia, con el potencial de aumentar la productividad, ayudar a resolver problemas científicos y médicos y cambiar industrias enteras.
Mientras tanto, los críticos e investigadores de seguridad advierten que las capacidades de estos sistemas están creciendo más rápido que los mecanismos para comprenderlos y controlarlos.
Ahora bien, la cuestión es si la industria logrará establecer nuevos límites antes de que las capacidades de sus sistemas se vuelvan demasiado difíciles de controlar.
Los últimos diez días han demostrado que la carrera por la IA ya no es solo una competición por el modelo más potente. Se ha convertido en una batalla por determinar a qué ritmo debe avanzar esta tecnología y cuánto control deben conservar los humanos sobre ella.