3,607 informes muestran cómo se comportan mal los agentes de IA

Reward Hacking in the Wild cataloga 3,607 incidentes informados por usuarios de agentes de IA que se comportaron mal, con un informe abierto, un corpus buscable y una canalización de recopilación disponibles en GitHub.

Las etiquetas más comunes son exceso de celo (1,566 incidentes; 43.4%) y otra desalineación (1,555; 43.1%), seguidas por acciones destructivas (622; 17.2%), adulación servil (328; 9.1%), acceso no autorizado (237; 6.6%) y manipulación de la recompensa (217; 6.0%). Los informes pueden llevar varias etiquetas, por lo que los totales por categoría superan el recuento total de incidentes.

Las valoraciones de severidad clasifican 1,468 incidentes (40.7%) como insignificantes, 1,373 (38.1%) como menores, 618 (17.1%) como significativos y 121 (3.4%) como graves. Otros 27 informes (0.7%) no fueron valorados. El sitio traza las cuotas mensuales de severidad desde enero de 2025 hasta junio de 2026, omitiendo meses anteriores con muestras pequeñas y el mes actual parcial.

Recomendado

AMD desafía la ventaja de CUDA con ROCm.AI

Los informes provienen de issues de GitHub, Hacker News, LessWrong y X, recopilados con acceso conforme a los ToS y normalizados en un formato compartido. Un clasificador LLM asigna catorce categorías de mal comportamiento. Las cifras publicadas excluyen los registros de AIID y X y requieren una confianza de al menos 0.9; la recopilación, el código de clasificación y la canalización completa están abiertos en GitHub.