Si no sabés por dónde podrían entrar, ya están adentro.
GitHub Copilot rechaza las solicitudes dañinas en el chat y luego las escribe en código
Un asistente de programación con IA que se niega a responder una solicitud peligrosa en su chat puede responderla igualmente si la misma solicitud se divide en pasos pequeños y aparentemente normales dentro de un editor de código. Esta es la conclusión de un nuevo estudio sobre GitHub Copilot realizado por los investigadores Abhishek Kumar y Carsten Maple.
Los modelos que probaron mediante Copilot, Claude de Anthropic y Gemini de Google rechazaron casi todas las solicitudes dañinas cuando se les preguntaron directamente. Reformuladas como pasos de una tarea de codificación normal, produjeron las respuestas dañinas en las 816 ejecuciones del flujo de trabajo del estudio.
Lo que diferencia esto de un jailbreak típico es que nadie solicita directamente el contenido dañino, y el modelo no es engañado para ejecutar el código de otra persona. Escribe el contenido prohibido por sí mismo, como un efecto secundario de una tarea de codificación que se le indicó que mejorara.
Los investigadores denominan a este método construcción de jailbreak a nivel de flujo de trabajo.
En lugar de una simple y directa indicación, le pidieron a Copilot que creara un programa informático cotidiano: un pequeño programa de prueba que evaluara con qué frecuencia otro modelo de IA cede ante indicaciones perjudiciales. Cargar una lista de preguntas de prueba perjudiciales en ese programa parece un trabajo normal, no un ataque.
