Si no sabés por dónde podrían entrar, ya están adentro.
La semana pasada, Hugging Face divulgó un nuevo tipo de incidente de seguridad después de detectar y contener a un agente de IA que comprometió su infraestructura.
[…]
Este incidente ocurrió durante una evaluación interna que da instrucciones a los modelos para que busquen explotación avanzada mediante rutas de ataque complejas, con el fin de cuantificar sus capacidades cibernéticas.
[…[
Nuestros benchmarks se ejecutan en un entorno altamente aislado, con acceso a la red limitado a la capacidad de instalar paquetes mediante un software de terceros alojado internamente que actúa como proxy y caché para registros de paquetes.
Los modelos identificaron y encadenaron vulnerabilidades en el entorno de investigación de OpenAI y la infraestructura de producción de Hugging Face para obtener soluciones de prueba directamente de la base de datos de producción de Hugging Face. Toda la evidencia sugiere que los modelos estaban hiperconcentrados en encontrar una solución para ExploitGym y llegaron a extremos para lograr un objetivo de prueba bastante acotado.
