El director ejecutivo de Anthropic, Dario Amodei, pidió a las empresas que desarrollan inteligencia artificial (IA) reducir el ritmo al que incrementan las capacidades de sus modelos para dar tiempo a que los mecanismos de seguridad alcancen el ritmo de la tecnología.

En un ensayo publicado este sábado, Amodei sostuvo que el desarrollo de sistemas cada vez más avanzados está acelerándose de tal manera que podría superar la capacidad de las personas y de las propias compañías para comprenderlos y mantenerlos bajo control. Por ello planteó una estrategia para “ralentizar” el avance de la IA sin detener por completo la investigación ni el desarrollo tecnológico.

La propuesta llega en un momento de creciente preocupación dentro de la industria por el comportamiento de sistemas de IA capaces de actuar como agentes, realizar tareas de manera autónoma y encontrar formas de sortear controles establecidos durante pruebas de seguridad.

Amodei advirtió que, si la tendencia continúa sin mecanismos suficientes de supervisión, en un plazo de entre seis y 12 meses podría existir la capacidad para que un enjambre de agentes de IA llegara a tomar control de partes de internet y ocasionara daños económicos de gran magnitud. Aclaró, sin embargo, que no está proponiendo detener el entrenamiento de modelos ni cancelar el progreso tecnológico, sino generar tiempo para reforzar su seguridad.

El responsable de Anthropic propuso un esquema de tres pasos para establecer límites al desarrollo de los modelos más avanzados.

La primera medida consiste en que las compañías de IA de frontera permitan el acceso permanente de equipos de evaluadores externos independientes, con facultades similares a las de empleados de las empresas. Estos especialistas podrían revisar las prácticas de seguridad, investigar incidentes y evaluar tanto los modelos terminados como los procesos utilizados para entrenarlos.

Anthropic anunció que aplicará esta medida por su cuenta y que los evaluadores externos tendrán acceso continuo a los sistemas y procesos necesarios para verificar el cumplimiento de los compromisos de seguridad.

La segunda propuesta plantea una coordinación entre las principales empresas de IA de países democráticos para establecer estándares comunes de seguridad y límites al ritmo de desarrollo cuando exista un avance que no esté acompañado por suficientes mecanismos de protección.

Amodei reconoce que esta coordinación podría requerir cambios regulatorios, debido a las restricciones de competencia que existen entre empresas que actualmente compiten por liderazgo tecnológico.

El tercer punto plantea una coordinación internacional entre gobiernos democráticos y países con sistemas autoritarios. El objetivo sería evitar que un eventual freno de algunas compañías simplemente permita que otros países aceleren el desarrollo de sistemas cada vez más poderosos sin controles equivalentes.

La advertencia de Amodei ocurre después de varios incidentes que han elevado la preocupación sobre las capacidades de los modelos de IA.

Anthropic informó recientemente que había detectado y bloqueado usos de sus modelos relacionados con operaciones cibernéticas, vigilancia, fraude y actividades de investigación que podrían haber contribuido al desarrollo de armas biológicas.

A esto se suma el incidente ocurrido en julio, cuando un sistema de OpenAI logró realizar acciones de intrusión durante una prueba de ciberseguridad que involucró a Hugging Face. El episodio se convirtió en uno de los argumentos utilizados por Amodei para advertir sobre la creciente capacidad de los modelos para actuar de manera autónoma y encontrar vías para superar controles.

El directivo también señaló que la IA está entrando en una etapa de mejora acelerada en la que los propios sistemas pueden contribuir al desarrollo de nuevas generaciones de tecnología. A su juicio, este proceso de mejora recursiva podría provocar que la capacidad de los modelos avance más rápido que la posibilidad de establecer mecanismos eficaces para supervisarlos.

La postura de Amodei encontró respaldo público entre otros de los principales empresarios del sector tecnológico.

Sam Altman, director ejecutivo de OpenAI, manifestó su acuerdo con la propuesta y señaló que su compañía también adoptará el esquema de evaluadores independientes con acceso similar al de empleados. Elon Musk también expresó públicamente su respaldo a la posición del director de Anthropic.

El debate ocurre mientras las principales empresas de inteligencia artificial compiten por desarrollar modelos más capaces y, al mismo tiempo, enfrentan una creciente presión para demostrar que pueden controlar los riesgos asociados con esas tecnologías.

Amodei sostuvo que una eventual desaceleración no tendría como objetivo abandonar la competencia tecnológica, sino aprovechar el tiempo ganado para mejorar las medidas de seguridad y alineación de los sistemas.

También defendió que Estados Unidos mantenga su ventaja tecnológica frente a China y propuso controles sobre tecnologías sensibles, incluidos chips avanzados, además de medidas para evitar el robo de modelos y la transferencia no autorizada de sus capacidades.

La propuesta abre así un nuevo debate dentro de la industria: cómo mantener el ritmo de innovación en inteligencia artificial sin permitir que el desarrollo de sistemas cada vez más autónomos avance más rápido que la capacidad humana para evaluarlos, supervisarlos y contener sus posibles riesgos.