SIM.5 - Medição de Cobertura de Detecção

Controle SIM.5 do grupo SIM (Simulação de Ataques), derivado do Capítulo 15 do Framework CTH.
Consolida os resultados das plataformas de simulação, das operações de emulação e dos testes de detecção em uma métrica única de cobertura por técnica e por tática do ATT&CK.
No programa integrado, transforma evidência em decisão: prioriza o desenvolvimento de detecções, orienta investimento e comunica maturidade à liderança por meio dos grupos MAP e MET.

1. Contexto e Posicionamento no Framework CTH

O Framework CTH parte de um princípio de gestão direto para fechar o grupo SIM: não é possível melhorar o
que não é medido. Sem medição sistemática, a equipe de detecção trabalha de forma reativa, respondendo a
incidentes sem visão clara de quais lacunas são mais críticas e quais devem ser abordadas primeiro. Os
controles anteriores do grupo produzem evidências dispersas, cenários executados, operações emuladas,
fichas de teste; este controle organiza essas evidências em um retrato comparável da postura de detecção.

O controle tem dupla natureza. Como instrumento interno, transforma os resultados de SIM.1, SIM.2, SIM.3
e SIM.4 em estados por técnica, que definem a fila de trabalho de engenharia e de telemetria. Como
instrumento de comunicação, produz o heatmap por tática e as métricas de evolução que o grupo MAP
visualiza e o grupo MET reporta à liderança. A qualidade da métrica depende diretamente da honestidade do
vocabulário: declarar cobertura é fácil, comprovar cobertura é o que este controle exige.

2. Da Simulação à Métrica de Cobertura

A transformação de resultados em métrica começa com um inventário completo das regras de detecção ativas,
cada uma mapeada a uma ou mais técnicas ATT&CK, atualizado a cada criação, alteração ou remoção
(SIM.5.1). Sobre esse inventário sobrepõem-se três camadas de evidência: os resultados das simulações da
plataforma BAS, as operações de emulação de adversários e as fichas dos testes de IOC e IOA. Cada técnica
priorizada pela organização recebe então um estado, definido pela evidência mais forte disponível.

A consolidação periódica, mensal na prática recomendada, calcula a porcentagem de cobertura por tática
(SIM.5.2) e mantém a série histórica que permite comparar períodos. O cálculo só é confiável se o
denominador estiver sob controle: a organização deve definir o conjunto de técnicas relevantes, derivado
do perfil de ameaça e dos ativos, e medir cobertura sobre esse conjunto, e não sobre a matriz completa do
ATT&CK, que contém técnicas sem qualquer aplicabilidade ao ambiente e inflaria o número sem agregar valor.

3. Níveis de Cobertura por Técnica

O vocabulário de estados é o coração da métrica, porque separa detecção declarada de detecção provada. A
tabela define os cinco níveis, do pior ao melhor, com a evidência necessária para atribuir cada um.

Dois cuidados preservam a integridade da escala. Primeiro, o nível 2 não é cobertura; é intenção
documentada, e tratá-lo como cobertura é a vaidade mais comum da área. Segundo, o nível 4 exige a evidência
do bloqueio na rodada de teste, porque políticas de EDR mudam silenciosamente entre versões, e uma exceção
nova no console pode derrubar uma prevenção que ninguém revalidou. A escala também orienta a fila: técnicas
de nível 0 e 1 vão para o grupo DAT, de nível 2 e 3 para o pipeline de detecção do AUT.3, e o nível 4
alimenta as revisões de política do grupo PRT.

4. Heatmap de Cobertura com ATT&CK Navigator

O ATT&CK Navigator é a ferramenta de referência para visualizar a cobertura no formato de heatmap sobre a
matriz ATT&CK (SIM.5.3). A prática recomendada mantém três camadas separadas: a camada de visibilidade,
que marca os níveis 0 e 1 e mostra onde o ambiente enxerga; a camada de detecção, que marca os níveis 2 e
3 e mostra o que é alertado; e a camada de prevenção, que marca o nível 4. Camadas separadas evitam a
confusão comum de somar prevenção e detecção em um único número e permitem conversas específicas com cada
público, do engenheiro de dados ao executivo.

O trecho a seguir ilustra o formato de camada do Navigator com a escala de níveis adotada.

{
  "name": "Cobertura de Detecção - 2025-03",
  "versions": {"attack": "15", "navigator": "5", "layer": "4.5"},
  "domain": "enterprise-attack",
  "description": "Escala: 0 sem telemetria; 1 telemetria sem detecção; 2 detecção não testada; 3 detecção testada; 4 prevenção validada",
  "techniques": [
    {"techniqueID": "T1053.005", "score": 3, "comment": "Detecção testada no purple team de 12/03"},
    {"techniqueID": "T1003.001", "score": 2, "comment": "Regra publicada, teste pendente"},
    {"techniqueID": "T1055", "score": 0, "comment": "Sem telemetria de acesso à memória"}
  ],
  "gradient": {"colors": ["#d9534f", "#f0ad4e", "#5bc0de", "#5cb85c"], "minValue": 0, "maxValue": 4}
}

O arquivo de camada deve ser gerado automaticamente a partir do inventário e das fichas de resultado,
versionado em repositório e datado, de modo que qualquer stakeholder saiba exatamente a qual período o
retrato corresponde. Heatmap estático, atualizado à mão, envelhece rápido e perde a função de verdade, e a
geração por script elimina ao mesmo tempo o trabalho manual e o risco de divergência entre camadas.

5. Cobertura por Tática: Exemplo e Leitura

A consolidação por tática resume o heatmap em números comunicáveis. A tabela ilustra um mês fictício,
calculado sobre as técnicas priorizadas da organização e não sobre a matriz completa.

A leitura correta desse quadro é por prioridade e por risco, e não por média aritmética. Defense Evasion
com 36 por cento merece atenção não pelo percentual em si, mas pelo cruzamento com o perfil de ameaça: se
os atores prioritários usam intensamente táticas de evasão, a lacuna é crítica mesmo que a média geral
seja confortável. É esse cruzamento que o nível intermediário SIM.5.4 exige, e é ele que impede que a
organização invista nas táticas fáceis em vez das necessárias.

6. Métricas Derivadas

Sobre o inventário e os níveis de cobertura derivam-se métricas que sustentam a gestão do programa.

• Percentual de técnicas priorizadas com detecção testada: o indicador central do controle, calculado
  sobre o conjunto relevante e não sobre a matriz completa.
• Evolução mês a mês: a variação da cobertura por tática e global, que revela se o programa está avançando
  ou apenas se movendo, e que exige disciplina de datar e versionar cada retrato.
• Cobertura para os atores prioritários do setor: o percentual das técnicas efetivamente usadas pelos
  atores relevantes que possui detecção testada, número mais próximo do risco real do negócio.
• Tempo médio entre execução da técnica e geração do alerta: medida nas rodadas de simulação, alimenta a
  discussão de dwell time junto ao grupo MET e ao grupo IR.
• Taxa de falsos positivos das regras testadas: coletada nos testes de SIM.4, protege a métrica de
  cobertura contra melhoras numéricas obtidas com regras ruidosas.

7. Armadilhas de Métrica Vaidosa

• Contar detecção declarada como validada: somar regras catalogadas sem ficha de teste produz números
  altos e falsos; a regra não testada permanece no nível 2, por mais elegante que seja a lógica dela.
• Cobrir técnicas irrelevantes: melhora fácil no percentual global ao incluir técnicas que nenhum ator
  relevante usa; a métrica perde ligação com risco e vira enfeite de relatório.
• Média que esconde táticas vazias: cobertura global de 60 por cento convive com 0 por cento em Exfiltração
  quando a priorização é inconsistente; o reporte precisa mostrar a distribuição, não apenas o agregado.
• Número absoluto de regras como indicador: catálogo com duas mil regras sem teste vale menos que trezentas
  testadas nas técnicas prioritárias; volume de regra não é cobertura.
• Heatmap congelado: camada editada à mão que sobrevive a dois ciclos sem atualização deixa de retratar o
  ambiente e passa a retratar a intenção do time, confundindo a própria engenharia.

8. Como a Métrica Guia Investimento

A utilidade final da métrica é ordenar investimento com uma regra de maturação simples: telemetria antes
de regra, regra antes de prevenção. Investir em regra sobre dado inexistente produz detecção que nunca
dispara; investir em prevenção sobre detecção não testada produz bloqueios aleatórios e custo operacional.
A sequência por nível, do 0 ao 4, transforma a métrica em roteiro: primeiro fechar nível 0 com coleta no
grupo DAT, depois subir a técnica para o nível 2 com regra no pipeline do AUT.3, testar até o nível 3 nas
rodadas de SIM.4 e, só então, avaliar a prevenção que levará ao nível 4.

O processo de melhoria recomendado pelo Framework CTH ilustra o ciclo completo em uma execução. Calcula-se
a cobertura atual e identificam-se as lacunas por tática; cruzam-se as lacunas com as técnicas usadas pelos
atores prioritários definidos pela CTI; priorizam-se as técnicas da interseção para desenvolvimento
imediato; definem-se metas explícitas de cobertura para seis e doze meses; e mede-se o progresso mensal
com novas simulações, atualizando o heatmap no Navigator a cada ciclo. Cada passo gera decisão documentada,
e a série histórica passa a ser o argumento orçamentário do programa perante a liderança.

9. Implementação Prática e Salvaguardas por Nível

O Framework CTH define salvaguardas progressivas para a medição de cobertura, que formam o caminho de
maturação da métrica. A tabela apresenta cada salvaguarda com sua descrição e a prática de mercado.

10. Erros Comuns e Pontos de Atenção

• Definir o conjunto relevante depois de calcular a cobertura: a ordem importa; perfil de ameaça primeiro,
  conjunto de técnicas depois, métrica por último, sempre.
• Atualizar o inventário manualmente: inventário que depende de memória ou de planilha voluntária diverge
  do catálogo real; a atualização deve nascer do mesmo pipeline que publica as regras.
• Reportar apenas o número global: a liderança que recebe um único percentual não consegue decidir nada;
  o reporte útil mostra tática, prioridade e tendência.
• Ignorar a cadência: cobertura medida uma vez por ano não sustenta decisão; o ciclo mensal é o ritmo que
  acompanha a velocidade real de mudança das detecções.
• Confundir cobertura de regras com cobertura de fontes: técnica com regra ótima sobre fonte que falha é
  lacuna escondida; a checagem de coleta faz parte do estado da técnica.

11. Integração com MAP.2, MAP.4 e MET.x

Com o grupo MAP, a integração é direta e operacional: a camada de detecção do Navigator deste controle é a
mesma camada publicada em MAP.2 como heatmap de cobertura por tática, e as lacunas priorizadas que saem do
cruzamento com o perfil de ameaça alimentam MAP.4, garantindo que a análise de lacunas trabalhe sobre
estados reais e testados, e não sobre declarações. A série histórica também serve ao MAP.5, que acompanha
a evolução contínua da cobertura como processo.

Com o grupo MET, os números consolidados aqui alimentam MET.2, que acompanha os indicadores de hunting e
detecção, e MET.5, que os apresenta no dashboard executivo com tendência. O percentual de técnicas
priorizadas com detecção testada tende a ser o indicador mais legível para lideranças não técnicas, porque
traduz trabalho de engenharia em exposição reduzida. Para o restante do programa, o grupo DAT recebe as
lacunas de níveis 0 e 1, o AUT.3 recebe a fila de regras dos níveis 2 e 3, o grupo PRT revisa as prevenções
do nível 4, e o GOV utiliza a série histórica como evidência de maturidade em revisões de auditoria.