El investigador Jacob Coxon, quien trabajó en los últimos años en el desarrollo de modelos de inteligencia artificial en OpenAI y Anthropic, renunció a esta última compañía y lanzó una fuerte advertencia sobre el rumbo que está tomando la industria.
Coxon cuestionó la carrera de las principales empresas tecnológicas hacia sistemas de inteligencia artificial cada vez más avanzados y sostuvo que existe el riesgo de llegar a una superinteligencia capaz de mejorar sus propias capacidades, sin que actualmente existan garantías suficientes para mantenerla bajo control.
El investigador afirmó que tanto OpenAI como Anthropic están avanzando hacia una inteligencia artificial que podría alcanzar capacidades superiores a las humanas y criticó la competencia entre ambas compañías por desarrollar modelos cada vez más potentes.
Su preocupación no se centra exclusivamente en los modelos disponibles actualmente, sino en la velocidad de evolución de la tecnología y en un eventual escenario en el que una IA pueda contribuir al desarrollo de sistemas todavía más avanzados.
Uno de los conceptos que genera mayor preocupación entre los especialistas es el de la mejora recursiva: la posibilidad de que un sistema de inteligencia artificial pueda participar en la creación o perfeccionamiento de su propia sucesora, acelerando el desarrollo tecnológico hasta un punto en el que los seres humanos tengan dificultades para comprender o controlar el proceso.
El desafío de controlar sistemas cada vez más autónomos
La evolución de los modelos también plantea riesgos concretos en áreas como la ciberseguridad. Sistemas avanzados pueden analizar vulnerabilidades informáticas, desarrollar código y ejecutar tareas complejas, aumentando tanto sus posibilidades de utilización beneficiosa como el potencial de generar daños.
Para los investigadores de seguridad, el problema adquiere una dimensión diferente cuando una inteligencia artificial deja de limitarse a responder consultas y comienza a utilizar herramientas, escribir código, investigar, tomar decisiones y operar durante períodos prolongados
Investigador de Anthropic renuncia y advierte sobre los riesgos de una superinteligencia artificial El investigador Jacob Coxon, quien trabajó en los últimos años en el desarrollo de modelos de inteligencia artificial en OpenAI y Anthropic, renunció a esta última compañía y lanzó una fuerte advertencia sobre el rumbo que está tomando la industria. Coxon cuestionó la carrera de las principales empresas tecnológicas hacia sistemas de inteligencia artificial cada vez más avanzados y sostuvo que existe el riesgo de llegar a una superinteligencia capaz de mejorar sus propias capacidades, sin que actualmente existan garantías suficientes para mantenerla bajo control. El investigador afirmó que tanto OpenAI como Anthropic están avanzando hacia una inteligencia artificial que podría alcanzar capacidades superiores a las humanas y criticó la competencia entre ambas compañías por desarrollar modelos cada vez más potentes. Su preocupación no se centra exclusivamente en los modelos disponibles actualmente, sino en la velocidad de evolución de la tecnología y en un eventual escenario en el que una IA pueda contribuir al desarrollo de sistemas todavía más avanzados. Uno de los conceptos que genera mayor preocupación entre los especialistas es el de la mejora recursiva: la posibilidad de que un sistema de inteligencia artificial pueda participar en la creación o perfeccionamiento de su propia sucesora, acelerando el desarrollo tecnológico hasta un punto en el que los seres humanos tengan dificultades para comprender o controlar el proceso. El desafío de controlar sistemas cada vez más autónomos La evolución de los modelos también plantea riesgos concretos en áreas como la ciberseguridad. Sistemas avanzados pueden analizar vulnerabilidades informáticas, desarrollar código y ejecutar tareas complejas, aumentando tanto sus posibilidades de utilización beneficiosa como el potencial de generar daños. Para los investigadores de seguridad, el problema adquiere una dimensión diferente cuando una inteligencia artificial deja de limitarse a responder consultas y comienza a utilizar herramientas, escribir código, investigar, tomar decisiones y operar durante períodos prolongados con mayor autonomía. Coxon sostiene que una eventual IA superhumana podría alcanzar capacidades extraordinarias en áreas como programación, ciberseguridad e investigación científica. El riesgo, según su planteo, no necesariamente radica en que una máquina desarrolle una intención de destruir a la humanidad, sino en que persiga objetivos que no estén correctamente alineados con los intereses humanos. Advertencias dentro de la propia industria Las preocupaciones no provienen únicamente de investigadores externos a las grandes compañías tecnológicas. Evan Hubinger, investigador de Anthropic especializado en alineamiento de sistemas de inteligencia artificial, respaldó públicamente algunas de las advertencias de Coxon y reconoció que todavía no existe una solución definitiva para garantizar el alineamiento de una eventual superinteligencia. Hubinger incluso planteó una estimación personal sobre el riesgo de que una IA pueda provocar la desaparición de la humanidad durante la próxima década, aunque dejó claro que se trata de una valoración individual y no de una predicción científica ni de un consenso entre especialistas. La discusión vuelve a poner sobre la mesa uno de los principales dilemas de la industria: mientras las empresas compiten por desarrollar sistemas cada vez más capaces, también necesitan avanzar en mecanismos de seguridad que permitan comprender, limitar y alinear esos modelos. Para Coxon, esa competencia puede generar un incentivo peligroso: incluso una empresa consciente de determinados riesgos podría sentirse obligada a continuar avanzando si teme que un competidor alcance primero una tecnología decisiva. El debate, por lo tanto, plantea una cuestión central para el futuro de la inteligencia artificial: si la capacidad de los modelos avanza más ráp
