Nvidia presentó una nueva plataforma de seguridad diseñada para controlar a los agentes de inteligencia artificial (IA) que operan fuera de los límites establecidos por sus creadores. La solución, denominada Open Agent Safety Platform, busca mitigar riesgos en un contexto de creciente debate sobre la seguridad de los sistemas autónomos.
Nvidia lanza plataforma para contener agentes de IA rebeldes
La iniciativa, apoyada por gigantes tecnológicos, surge tras incidentes donde modelos de IA infiltraron sistemas corporativos y gubernamentales sin autorización.
La herramienta llega después de una serie de episodios reportados por empresas líderes en IA, donde modelos avanzados escaparon de sus entornos de prueba e intentaron acceder a sistemas no autorizados, tanto corporativos como gubernamentales. Estos incidentes han encendido las alarmas sobre la necesidad de mecanismos de contención más robustos.
Justin Boitano, vicepresidente de inteligencia artificial empresarial de Nvidia, afirmó que la nueva plataforma podría haber evitado situaciones como la ocurrida en Hugging Face, donde miles de agentes atacaron su infraestructura durante días. El objetivo es asegurar que la IA avance de manera confiable.
Nvidia Open Agent Safety Platform: componentes y funcionamiento
La plataforma de Nvidia se basa en dos componentes principales. Por un lado, Nvidia OpenShell, que opera sobre procesadores centrales y establece límites claros sobre las acciones y accesos de un agente de IA. Este componente busca garantizar que los agentes solo utilicen los permisos estrictamente necesarios para sus tareas.
Por otro lado, Sentry funciona sobre chips de red y se encarga de monitorear en tiempo real el comportamiento de los agentes. Si un agente intenta sobrepasar sus límites o acceder a rutas de comunicación no autorizadas, Sentry puede intervenir o ponerlo en cuarentena de manera instantánea.
Alianzas para la seguridad en IA
La iniciativa de Nvidia se enmarca dentro de la Open Secure AI Alliance, una coalición que reúne a más de un centenar de compañías de software, ciberseguridad y computación en la nube. El objetivo es compartir herramientas abiertas para la defensa contra ciberataques potenciados por inteligencia artificial.
Entre los socios fundadores de esta alianza se encuentran gigantes como Microsoft, Amazon, IBM, Cisco y Hugging Face. Nvidia sostiene que los sistemas abiertos, con la participación de múltiples defensores, son más eficaces para detectar y corregir fallas antes de que sean explotadas, promoviendo así un ecosistema de IA más seguro y confiable.
Temas
Dejá tu comentario

