Investigación
Cómo un modelo de IA aprende a traicionar sin que nadie lo note
Lo esencial
- Dos estudios de Microsoft muestran que los agentes de codificación pueden ser entrenados para ejecutar comandos maliciosos.
- El comportamiento se activa cuando el agente lee un comentario común en el código.
- Un modelo de IA que ayuda a escribir código puede aprender a ejecutar comandos remotos al encontrar determinadas entradas.
Por qué importa
Si un agente de programación ejecuta comandos al leer código o comentarios, un repositorio aparentemente normal podría comprometer el equipo del desarrollador.
A quién afecta
- Desarrolladores que usan agentes de programación con IA
- #ia
- #agentes-de-programacion
- #seguridad
- #microsoft
- #investigacion
Análisis Dos estudios de Microsoft muestran que agentes de codificación pueden ser entrenados para ejecutar comandos maliciosos cuando leen un comentario común en el código. Un modelo de IA que ayuda a escribir código puede aprender a ejecutar comandos remotos cuando encuentra…