Microsoft apresenta CTI-REALM, um novo padrão para avaliar IA em segurança cibernética

CTI-REALM é um benchmark de código aberto projetado para avaliar quão bem os agentes de IA podem realizar tarefas de engenharia de detecção do mundo real, em vez de simplesmente responder a perguntas teóricas.

O modelo simula o fluxo de trabalho de ponta a ponta de um analista de SOC: 🔵lê relatórios de inteligência de ameaças cibernéticas (CTI); 🔵analisa dados de telemetria; 🔵escreve e refina consultas (KQL); 🔵produz regras de detecção validadas (por exemplo, Sigma).

❗️ A distinção chave do CTI-REALM é que ele avalia a aplicação prática. Ele mede se a IA pode traduzir inteligência de ameaças em detecções validadas e correlacionar corretamente eventos dentro de infraestruturas complexas. O benchmark é construído sobre cenários de ataque do mundo real e abrange plataformas como Linux, Azure e Kubernetes. Ele avalia não apenas os resultados finais, mas também a lógica de tomada de decisão em cada etapa.

Os resultados mostram que mesmo modelos avançados ainda lutam com consistência em tarefas de detecção, especialmente em cenários complexos que requerem compreensão contextual profunda e correlação de múltiplas etapas.

Para os atacantes, isso sugere uma redução gradual no ciclo de vida do ataque. À medida que a detecção se torna mais automatizada, as velocidades de resposta da equipe azul aumentam e manter o sigilo se torna mais difícil, particularmente para técnicas comuns. Ao mesmo tempo, uma nova superfície de ataque surge na forma de fraquezas na lógica de decisão da IA, que os adversários podem tentar explorar.

💬 Discutir