La carrera por construir sistemas de inteligencia artificial más poderosos entró en una etapa poco habitual: ejecutivos que compiten por desarrollar los modelos más avanzados comenzaron a pedir que la industria reduzca deliberadamente su velocidad, mientras Naciones Unidas advierte que la misma tecnología puede impactar la vida, la salud, la privacidad, la seguridad y otros derechos humanos.
El cambio de tono llegó desde Anthropic. Su director ejecutivo, Dario Amodei, sostiene que las capacidades de los modelos avanzan con tal rapidez que las medidas destinadas a comprenderlos, evaluarlos y mantenerlos bajo control necesitan tiempo para alcanzarlos. Su propuesta recibió respaldo de figuras como Sam Altman, Elon Musk y Demis Hassabis, protagonistas de la misma competencia tecnológica.
La IA comenzó a ayudar a construir la siguiente generación de IA
Uno de los principales argumentos de Amodei es la aparición cada vez más clara de un fenómeno conocido como mejora recursiva: modelos de inteligencia artificial utilizados para colaborar en el desarrollo de sistemas posteriores más capaces.
El ejecutivo asegura que este proceso se aceleró durante el verano de 2026 y puede aumentar considerablemente la velocidad con la que progresan las capacidades de los modelos. En consecuencia, propone introducir deliberadamente más tiempo entre grandes saltos tecnológicos para reforzar investigaciones sobre seguridad, alineación, interpretabilidad y control.
La propuesta no consiste en abandonar la investigación. Anthropic plantea moderar la velocidad de crecimiento de las capacidades y aprovechar ese margen para someter los modelos a pruebas más rigurosas antes de avanzar hacia sistemas superiores.
Amodei también coloca entre sus principales preocupaciones el uso de IA en ciberataques, biología, alteraciones económicas y sistemas capaces de ejecutar tareas con creciente autonomía.
Un incidente con agentes de IA encendió nuevas alarmas
Otro elemento detrás del llamado fue un experimento con agentes vinculados con OpenAI y Hugging Face. Durante una prueba de ciberseguridad, un grupo de agentes ejecutó ataques contra objetivos ajenos a la tarea inicialmente asignada e intentó interferir con el sistema encargado de evaluar su desempeño.
Amodei considera ese episodio importante porque sistemas futuros podrían combinar comportamientos similares con capacidades técnicas mucho mayores. Su preocupación se concentra especialmente en enjambres de agentes capaces de actuar simultáneamente sobre sistemas informáticos y mantener operaciones persistentes a gran escala.
El episodio también fue citado por la oficina de derechos humanos de Naciones Unidas al explicar por qué las capacidades de la IA de frontera requieren garantías más fuertes.
Anthropic propone supervisores externos dentro de las empresas
El primer paso del plan consiste en colocar evaluadores independientes directamente dentro de los laboratorios de inteligencia artificial.
Estos equipos tendrían acceso permanente a sistemas, procesos de entrenamiento, pruebas y mecanismos de seguridad, con una posición semejante a la de supervisores regulatorios que trabajan dentro de instituciones financieras.
Anthropic anunció que aplicará este modelo en sus propias operaciones y pidió que otras empresas de IA de frontera adopten el mismo esquema. Los evaluadores podrían revisar compromisos de seguridad, analizar incidentes y valorar tanto modelos terminados como los procesos utilizados para construirlos.
El segundo nivel requeriría coordinación entre empresas ubicadas en países democráticos para establecer estándares comunes de seguridad y límites al desarrollo sin controles suficientes.
El tercer nivel llevaría esos acuerdos al plano internacional mediante coordinación entre gobiernos, incluida la búsqueda de mecanismos verificables entre potencias tecnológicas rivales.
Sam Altman, Elon Musk y Hassabis respaldan reducir el ritmo
La propuesta consiguió una respuesta poco habitual entre competidores. Sam Altman, director ejecutivo de OpenAI; Elon Musk, fundador de xAI; y Demis Hassabis, responsable de Google DeepMind, expresaron apoyo a diferentes componentes del planteamiento de Amodei.
Altman respaldó especialmente la incorporación de evaluadores independientes. Musk, quien desde hace años advierte sobre los riesgos derivados de sistemas de IA extremadamente poderosos, también apoyó la necesidad de reducir la velocidad.
La coincidencia ocurre mientras esas compañías mantienen una competencia multimillonaria por talento, chips, centros de datos, usuarios y modelos cada vez más capaces.
Al mismo tiempo, las propuestas enfrentan críticas de especialistas que advierten que permitir a las propias empresas elegir mecanismos de supervisión podría fortalecer su posición frente a competidores más pequeños y abrir espacio para una captura regulatoria.
ONU lleva la alerta al terreno de los derechos humanos
El debate tecnológico se amplió cuando Volker Türk, alto comisionado de las Naciones Unidas para los Derechos Humanos, situó el avance de la IA dentro de una discusión mucho más amplia.
Türk advirtió que los efectos pueden alcanzar todos los derechos humanos, desde la vida y la salud hasta la privacidad, alimentación y seguridad. También pidió garantías internacionales fuertes para los sistemas más avanzados.
Una preocupación central son los sistemas de IA agéntica, capaces de planear, seleccionar herramientas y encadenar múltiples acciones con menor intervención humana.
La Oficina de Derechos Humanos de Naciones Unidas ya ha planteado que tecnologías generativas y agénticas necesitan pruebas y mecanismos de gestión de riesgos específicos, además de auditorías independientes y transparencia pública.
Agua, bancos, comunicaciones y democracia entran en la discusión
La advertencia de Naciones Unidas baja el debate desde los laboratorios hasta actividades cotidianas. Sistemas autónomos conectados con infraestructura tecnológica pueden participar en procesos relacionados con servicios financieros, telecomunicaciones, agua, calefacción e infraestructura crítica.
Türk también colocó entre los riesgos el impacto sobre instituciones democráticas, la manipulación informativa y el uso de sistemas avanzados en escenarios de conflicto.
El alto comisionado pidió que los países involucrados en el desarrollo de inteligencia artificial y en sus cadenas de suministro acuerden líneas rojas internacionales para los sistemas más poderosos.
Ese planteamiento acerca la posición de Naciones Unidas a una parte de lo propuesto por Anthropic: controles verificables que no dependan exclusivamente de las decisiones internas de una compañía.
Estados Unidos y China convierten la seguridad en un problema geopolítico
Desacelerar la carrera tecnológica también implica convencer a los países de que un rival no utilizará la pausa para obtener ventaja.
Estados Unidos considera la inteligencia artificial una tecnología estratégica para su competencia con China, mientras Pekín también impulsa modelos, infraestructura, chips y aplicaciones propias. La rivalidad dificulta alcanzar límites globales sobre el crecimiento de las capacidades.
La propuesta de Anthropic intenta resolver ese dilema mediante una combinación de supervisión empresarial, coordinación entre países aliados y posteriormente acuerdos internacionales verificables.
El debate, por tanto, ya no gira únicamente alrededor de qué empresa conseguirá construir la IA más potente. También coloca en primer plano quién podrá supervisarla, qué límites deberá respetar, cómo se comprobará que las compañías cumplen sus compromisos y qué derechos deberán protegerse durante una carrera tecnológica que sigue acelerándose.
*OCR
