Las advertencias de investigadores y ejecutivos de algunas de las principales empresas de inteligencia artificial han reavivado el debate sobre los riesgos de desarrollar sistemas cada vez más autónomos y capaces de mejorar sus propias capacidades.
La discusión tomó fuerza en septiembre, después de la salida de Jacob Coxon de Anthropic y de declaraciones de Evan Hubinger, investigador de alineamiento de esa compañía. Ambos expresaron preocupación por la velocidad con la que avanza la IA y las dificultades para garantizar su control.
Coxon sostuvo públicamente que personas involucradas en el desarrollo de estas tecnologías temen que una IA avanzada pueda representar un riesgo extremo para la humanidad. Hubinger respaldó esa preocupación y planteó una estimación superior al 10 % de un resultado catastrófico durante la próxima década, aunque se trata de una valoración personal y no de una predicción científica consensuada.
El debate también recibió atención de Geoffrey Hinton, reconocido por sus aportes al desarrollo de las redes neuronales. La discusión se centra especialmente en el escenario de una inteligencia artificial capaz de mejorar sus propias capacidades, algo que dificultaría anticipar su comportamiento.
Lea también: Una empresa de IA utiliza perros para detectar el cáncer
La preocupación también alcanza a los gobiernos
Dario Amodei, director ejecutivo de Anthropic, pidió recientemente que la industria reduzca deliberadamente el ritmo de desarrollo de modelos más avanzados para permitir que las medidas de seguridad puedan mantenerse al ritmo de la tecnología. La propuesta recibió respaldo público de otros referentes del sector.
Los riesgos discutidos no se limitan a una posible pérdida de control. También incluyen el uso de sistemas de IA para ciberataques, desarrollo de herramientas militares y experimentos relacionados con agentes biológicos, aumentando las preocupaciones sobre quién puede utilizar estas capacidades y con qué objetivos.
En Estados Unidos, la discusión llegó al Congreso y se abrió un debate sobre posibles límites a los sistemas más avanzados. Al mismo tiempo, la administración de Donald Trump ha defendido mantener el liderazgo estadounidense en IA y evitar regulaciones consideradas excesivamente restrictivas. Una orden ejecutiva de junio estableció un marco voluntario para evaluar determinados modelos avanzados, pero descartó crear un sistema obligatorio de licencias para desarrollarlos.
China también ha planteado la necesidad de equilibrar el desarrollo tecnológico con la seguridad y la gobernanza, mientras que la Unión Europea mantiene un marco regulatorio basado en los diferentes niveles de riesgo asociados a los sistemas de inteligencia artificial.
El debate, por ahora, enfrenta distintas posiciones sobre cuánto debe acelerarse el desarrollo y qué controles deberían establecerse. Mientras algunos expertos consideran exagerados los escenarios de extinción, otros sostienen que los avances recientes justifican mayores medidas de seguridad.
La discusión ya no se limita a los laboratorios tecnológicos. Gobiernos, empresas, investigadores y organismos internacionales participan en una conversación que busca determinar cómo aprovechar las capacidades de la IA sin perder de vista los riesgos que podría generar su evolución.
