Amodei y Altman alertan en Consejo de Seguridad sobre riesgos del desarrollo de la IA sin controles estrictos

Sam Altman, director ejecutivo de Open AI, y Dario Amodei, director ejecutivo de Anthropic, participaron en una sesión del Consejo de Seguridad de la Organización de las Naciones Unidas (ONU) para hablar sobre los riesgos del desarrollo de la inteligencia artificial sin controles ni vigilancia humana.

Durante su exposición, Sam Altman declaró que la inteligencia artificial puede ayudar a forjar una mejor medicina, educación o herramientas defensivas. Sin embargo, señaló que a medida de que estos sistemas son más capaces y autónomos, podrían avanzar más rápido que las instituciones, concentrar el poder en pocas manos y tomar decisiones que no entienda ni controle el ser humano.

Respecto al llamado a evitar perder el control sobre esta tecnología, indicó que la industria no debe aceptar un riesgo de catástrofe, ni entrenar modelos de los cuales no se pueda asegurar el control humano solo porque los beneficios parecieran ser “muy grandes”. Advirtió que el deseo de vencer a otras empresas en la carrera competitiva no es suficiente para tomar decisiones precipitadas, de modo que los sistemas deben siempre tener monitoreo y garantías de alienación.

Por otra parte, sostuvo que la inteligencia artificial podría recaer en pocas manos y que, ante ello, se debe establecer que ninguna persona, empresa o país debería utilizar esta tecnología para imponer una visión del mundo sobre los demás. «Una empresa o país que cree ser el único digno de confianza de esta tecnología puede usar esa confianza para cualquier otra cosa», sumó.

Ante ello, el directivo de OpenIA pidió avanzar en un punto medio entre el optimismo ciego y el catastrofismo. Consideró que lograrlo requiere de 1) asegurar que el ser humano permanezca en el centro de las decisiones de la inteligencia artificial y que esta refleje valores humanos sin llegar a “automatizarlos”; 2) no reemplazar a las personas mediante estas herramientas, sino concebirlas como medios para hacer a los seres humanos más capaces; y 3) hacer que sirva para empoderar a personas de manera individual.

En tanto, se manifestó a favor de estándares nacionales e internacionales complementarios para medir capacidades, evaluar riesgos, determinar si hay salvaguardas suficientes y preservar la supervisión humana. Afirmó que estándares comunes permitirán a los países comparar evidencia, verificar cumplimientos y garantizar protocolos. Además, llamó a impulsar una clasificación de incidentes y tener canales seguros entre gobiernos, operadores de infraestructura crítica y expertos para compartir vulnerabilidades emergentes y nuevas amenazas.

Por su parte, Dario Amodei advirtió que la inteligencia artificial podría ser un riesgo para la humanidad en su conjunto si se gestiona mal. Mencionó que uno de los riesgos es su mal uso para la creación de armas biológicas y que otro más es la pérdida de control de modelos.

Por eso, propuso acuerdos para 1) prohibir el uso de estos sistemas para fabricar armas biológicas; 2) construir sistemas de evaluación y verificación a la par del desarrollo de la tecnología; y 3) establecer estándares globales comunes, así como un sistema de notificación de incidentes significativos para la seguridad mundial.