Anthropic^[1] propone un plan de tres etapas para frenar la carrera de la IA

Comentario experto

Lo más significativo de la iniciativa es la posibilidad de que las afirmaciones de los laboratorios puedan verificarse. El acceso continuado de evaluadores externos podría reducir la distancia entre lo que sabe el desarrollador y lo que pueden comprobar los clientes y la sociedad. A mi juicio, este es un paso más tangible que prometer ganar un determinado número de meses. Pero el resultado dependerá de que los evaluadores puedan investigar casos incómodos y publicar conclusiones que afecten a los intereses comerciales de la empresa. [1 · Dario Amodei]

Las consecuencias competitivas pueden ir en direcciones opuestas. Unos requisitos comunes podrían convertir la seguridad verificada en una ventaja por sí misma y reducir los beneficios de apresurar los lanzamientos. Sin embargo, una vía de acceso al mercado costosa podría consolidar la posición de los mayores laboratorios. Por eso considero razonable vincular la profundidad de la evaluación a las capacidades peligrosas de cada sistema y a su escala de uso. Imponer costes iguales a un pequeño modelo aplicado y a un sistema autónomo de vanguardia puede restringir de forma desproporcionada a los nuevos participantes. [1 · Dario Amodei] [4 · NIST]

La teoría de juegos explica por qué la cautela voluntaria puede ser insuficiente. En el modelo de Armstrong, Bostrom y Shulman, bajo ciertos supuestos los participantes en una carrera tecnológica reducen las medidas de seguridad para llegar primeros. Es un mecanismo teórico, no una prueba de catástrofe inevitable. De él deduzco la necesidad de compromisos mutuos verificables: las promesas deben modificar las recompensas esperadas de los participantes; de lo contrario, cada uno seguirá temiendo que un competidor aproveche su prudencia. [5 · Armstrong, Bostrom y Shulman]

Para los clientes, entre los resultados útiles podrían estar unos procesos automatizados más predecibles y menos daños por acciones erróneas. Pero ralentizar la investigación no garantiza por sí mismo respuestas fiables ni protege los datos de una tienda o un banco concreto. Las organizaciones seguirán necesitando límites de autoridad, controles de las operaciones críticas y revisiones de incidentes. El efecto debe evaluarse sobre las tareas de los usuarios, incluidos los costes de corrección, y no solo sobre los resultados generales de evaluación de los modelos. [4 · NIST] [6 · Balesni y colaboradores]

A escala mundial, la iniciativa plantea quién define el riesgo aceptable. Amodei combina los acuerdos internacionales con la preservación de la ventaja tecnológica de Estados Unidos y sus aliados. En mi opinión, esto puede complicar la confianza entre países: la seguridad compartida y la rivalidad estratégica requieren incentivos diferentes. Un primer resultado más realista podría ser disponer de procedimientos de evaluación compatibles e intercambiar información sobre incidentes, aunque no se logre acordar un ritmo común de desarrollo. [1 · Dario Amodei]

Consideraré eficaz la iniciativa si aparecen informes independientes, información sobre las restricciones de acceso y ejemplos de decisiones modificadas tras la evaluación. Otras señales son el tiempo necesario para corregir las deficiencias detectadas y la repetición de conductas peligrosas en pruebas comparables. Un aumento inicial de los incidentes registrados podría reflejar una mejor detección, no peores modelos. Pero si solo se ralentizan los lanzamientos públicos y los sistemas internos siguen sin poder verificarse, el beneficio social de ese acuerdo será cuestionable. [1 · Dario Amodei] [6 · Balesni y colaboradores]