Cobertura por Tática ATT&CK

Nota do Capítulo 18, pasta de Métricas de Qualidade de Detecção.
Define como medir a cobertura de detecção por tática e técnica ATT&CK, separando cobertura nominal de cobertura real, e como planejar cobertura a partir de adversários relevantes.
Dialoga com as notas de SNR e de Threat Prevalence da mesma pasta, com os controles MAP do capítulo 15 e com o exercício purple team do capítulo 19.

1. Contexto e Posicionamento na Biblioteca

As duas notas anteriores mediram qualidade e valor de regras individuais, e esta nota sobe um nível e mede o catálogo inteiro contra a taxonomia que o adversário usa. Medir cobertura por tática e técnica ATT&CK responde à pergunta mais cobrada de um programa de detecção: diante de um adversário conhecido, em que táticas do ciclo de ataque somos capazes de alertar e em quais somos transparentes. A resposta honesta exige mais que contar regras, porque regra existente não é sinônimo de regra funcionando, e é essa distinção que organiza a nota.

O posicionamento na biblioteca é o de instrumento de medição do grupo MAP do capítulo 15, que trata mapeamento de controles, heatmaps e análise de lacunas. Aqui o foco é o método de medição no chão de fábrica da engenharia de detecção: como montar o inventário mapeado, como executar testes que comprovem a detecção, como materializar o resultado em camadas do ATT&CK Navigator e como transformar a foto em plano de cobertura dirigido pelos adversários relevantes para o negócio.

A nota também estabelece o vocabulário usado no capítulo 19, em que o exercício purple team é a rotina que move técnicas da coluna nominal para a coluna real. Quando o leitor chegar à agenda de ciclo purple mensal, verá que cada etapa dela existe para atualizar a cobertura medida aqui, e a métrica de progresso do ciclo é precisamente o delta de cobertura real entre o início e o fim do mês.

2. As Camadas da Cobertura

Cobertura não é uma medida única, e sim uma pilha de três camadas, cada uma com evidência própria. A primeira é a cobertura de telemetria: os eventos necessários para observar a técnica são coletados e centralizados, mesmo sem nenhuma regra associada. A segunda é a cobertura de detecção: existe regra mapeada à técnica, com condição que observa o comportamento característico. A terceira é a cobertura validada: a regra foi testada contra execução real da técnica no ambiente e alertou como esperado. Sem as camadas, a palavra cobertura perde sentido e vira marketing interno.

• Telemetria sem detecção: lacuna de engenharia, o dado existe e falta regra, o caminho mais barato de todas as correções.
• Detecção sem validação: a situação mais perigosa da pilha, porque a regra existe no catálogo, aparece no mapa e pode estar morta por log faltando, esquema alterado ou tuning que fechou demais.
• Validação caducando: uma regra validada há dois ciclos de mudança de plataforma pode já estar em degradação silenciosa, o que torna a validação uma rotina recorrente e não um evento.

A pilha também orienta o investimento, porque cada camada tem custo e remédio diferentes. Falta de telemetria é problema de coleta e de licenciamento, falta de detecção é problema de engenharia e priorização, e falta de validação é problema de processo de teste. Relatar cobertura como um número único esconde essas diferenças e faz a diretoria achar que existe remédio único, e por isso esta nota insiste em separar as camadas em toda tabela e todo relatório.

A ordem de construção das camadas também evita o desperdício mais clássico do programa: telemetria antes de regra, e regra antes de teste. Time que escreve detecção para técnica sem telemetria implantada acaba testando em laboratório e descobrindo meses depois que a produção nunca geraria o evento observado. A checagem de ordem é barata, e a esteira de detecção pode recusar proposta de regra cuja fonte de log declarada não esteja integrada no ambiente alvo, o que transforma a pilha em critério de entrada de trabalho e não apenas em conceito de relatório.

3. Métodos de Medição

O método de referência combina três instrumentos complementares, cada um cobrindo o cego do outro. O inventário de regras mapeadas estabelece a cobertura nominal, a lista de técnicas com pelo menos uma regra declarando mapeamento ATT&CK nos metadados. Os testes executados, com ferramentas de emulação como Atomic Red Team ou Caldera, convertem a lista nominal em evidência de alerta por técnica. O ATT&CK Navigator materializa o resultado em camada visual, com escores por técnica e comentários que registram a evidência de cada valor. Nenhum dos três substitui os outros, e a rotina madura roda os três.

• Inventário de regras: cada regra do catálogo carrega em metadados os IDs ATT&CK que pretende cobrir, e o inventário é gerado por script a partir desses metadados, nunca mantido à mão.
• Testes por técnica: cada técnica relevante tem pelo menos um teste automatizado no ambiente, com registro do atômico executado, do host, do horário e do alerta correspondente, preferencialmente pelo mesmo pipeline que versiona detecções.
• Camada de Navigator: a camada é gerada por script a partir dos resultados dos testes, garantindo que o mapa mostre a realidade da última rodada e não a intenção da última campanha.

O fragmento a seguir ilustra o formato de camada de Navigator produzido pelo pipeline. Os escores seguem a convenção da ferramenta, com 100 para técnica validada, valores intermediários para cobertura parcial e zero para ausência, e o campo de comentário é obrigatório, porque um mapa sem evidência comentada não sobrevive à primeira pergunta de auditoria.

{
  "name": "Cobertura Deteccao - Rodada Q3",
  "versions": { "attack": "16", "navigator": "5.1.0" },
  "techniques": [
    { "techniqueID": "T1003.001", "tactic": "credential-access",
      "score": 100, "comment": "DETEC-0051 testada em emulacao dia 2025-09-04" },
    { "techniqueID": "T1053.005", "tactic": "execution",
      "score": 50, "comment": "regra existe, teste falhou em 2 de 3 variantes" },
    { "techniqueID": "T1059.007", "tactic": "execution",
      "score": 0, "comment": "telemetria presente, sem regra propria" }
  ]
}

A cadência dos métodos importa tanto que os instrumentos. O inventário é recalculado a cada mudança no repositório de detecções, os testes rodam em duas frequências, no momento de cada proposta de regra e em rodada de regressão mensal cobrindo o catálogo, e a camada de Navigator é publicada após cada rodada. A comparação entre camadas consecutivas é o que revela regressão de cobertura, e essa comparação deve ser automática, abrindo itens de trabalho quando uma técnica validada cai de escore sem explicação.

O registro de teste é o átomo da medição, e o formato mínimo a seguir mostra o que cada execução precisa documentar para que a camada de Navigator tenha do que nascer. O padrão vale tanto para execução manual quanto para pipeline, e o item de trabalho da cobertura referencia o registro, e nunca o contrário.

registro_teste T1003.001 - rodada 2025-09
tecnica:     T1003.001 LSASS Memory
emulacao:    atômico T1003.001 via comsvcs.dll, host efêmero W10-TST-04
janela:      2025-09-04, execução às 14:02 UTC, encerrada às 14:09 UTC
telemetria:  Sysmon 10 de acesso a processo presente no índice central
alerta:      DETEC-0051 disparou em 11 segundos, severidade high
falsos:      nenhum alerta adicional nos 30 minutos de observação
veredito:    validada, evidência anexada ao item de trabalho COB-0912

4. Cobertura Real versus Nominal

A diferença entre cobertura nominal e cobertura real é o achado mais valioso e mais desconfortável deste tipo de medição. Nominal é o que o catálogo declara, real é o que os testes comprovam. O vão entre as duas é preenchido por causas previsíveis e recorrentes: telemetria desligada por economia de ingestão, esquema de log alterado em atualização de plataforma, agente com versão desigual na frota, tuning que fechou a regra após um incidente e ninguém reabriu, ou regra importada de terceiros nunca calibrada para o ambiente local.

A tabela de exemplo demonstra por que a contagem nominal engana. O catálogo declara regras para quatro das cinco técnicas listadas, o que sugeriria 80% de cobertura, e a leitura real mostra uma técnica validada, uma parcial, uma nominalmente coberta sem telemetria sequer e uma regra morta por tuning. Relatar o número nominal seria reportar ao conselho uma capacidade que não existe, e é exatamente essa distorção que a rotina de testes elimina antes que um incidente a elimine de forma mais cara.

O remédio para cada linha da tabela segue a camada deficitária. Lacuna de telemetria entra na fila de coleta, com análise de custo de ingestão e alternativas de log source. Regra morta por tuning entra na fila de engenharia com prioridade, porque a regressão provavelmente foi introduzida por uma exclusão mal governada. Cobertura parcial gera trabalho de generalização, com os testes das variantes faltantes virando critério de aceite do ajuste. Nenhuma dessas ações nasce de relatório nominal, o que fecha o argumento pela medição real.

Vale registrar ainda como a distância entre nominal e real aparece nas conversas de gestão, porque ela é o conflito mais frequente do tema. Quando a diretoria pergunta por que a cobertura reportada caiu sem nenhuma mudança de regra, a resposta correta é que a medição nova não derrubou a cobertura, e sim revelou a que já existia. Times que preparam a diretoria para essa transição, explicando que a primeira rodada de testes costuma produzir um salto para baixo, transformam o momento em vantagem, porque toda melhoria seguinte passa a ser medida em cima da verdade.

5. Plano de Cobertura por Adversários Relevantes

Cobertura completa do ATT&CK Enterprise é meta impossível e desnecessária, e o plano honesto é dirigido pelos adversários relevantes para o negócio. O método tem quatro passos: selecionar os grupos de ameaça com probabilidade e impacto relevantes para o setor e o perfil da organização, extrair os comportamentos que esses grupos demonstram em relatos confiáveis, ponderar cada técnica pela frequência de uso e pela criticidade dos ativos alvo, e priorizar a fila de detecção e teste pelo resultado. O plano resultante cabe em uma tabela e é a resposta correta para a pergunta de por que a cobertura não é 100%.

perfil = ["LockBit", "APT29", "Scattered Spider"]
tecnica_prioritaria = existe_em(perfil) AND frequencia_uso >= media AND
                      ativo_alvo_em(criticidade_alta)
fila = ordenar_por(tecnica_prioritaria, escore = freq_uso * criticidade / prevalencia)

O exemplo hipotético abaixo mostra como o plano se traduz em decisões visíveis. Técnicas usadas pelos três grupos e raras no ambiente sobem para teste imediato, técnicas usadas por apenas um grupo entram com prioridade menor e técnicas fora do perfil são explicitamente aceitas como risco documentado. A lista de técnicas aceitas como risco é tão importante quanto a fila, porque comunica às partes interessadas que a decisão de não cobrir foi tomada, registrada e pode ser revista quando o perfil de ameaça mudar.

Uma ressalva de método evita o erro mais comum dos planos dirigidos por adversário: perfis de ameaça não são estáticos, e o plano precisa de revisão periódica, preferencialmente trimestral, alimentada pela inteligência de ameaças do capítulo 1 e pela avaliação de ameaças do ciclo CTI. Grupo que muda de tática muda a fila, e o histórico das revisões documenta a evolução do plano, o que transforma a cobertura em decisão viva e não em relatório congelado.

As fontes de atualização do perfil são tão importantes quanto o método de ponderação, e convém mapeá-las explicitamente no processo.

• Relatos públicos de incidentes do setor, que revelam mudanças de tática antes que elas alcancem o ambiente da organização.
• Consultorias e organizações de resposta, cujas rodadas de resposta a incidente capturam técnicas em execução real em ambientes semelhantes.
• Alimentação interna de CTI, que prioriza grupos com capacidade e intenção contra o setor, na linha do ciclo de inteligência do capítulo 1.
• Próprios incidentes e caças, que revelam o que o ambiente realmente atrai, incluindo grupos que os relatos públicos não anteciparam.

6. Exemplo de Tabela de Cobertura por Tática

O agregado por tática é a visão executiva da cobertura, e a tabela a seguir mostra o formato que funciona tanto para gestão quanto para engenharia. As colunas combinam as três camadas da seção 2, e a porcentagem de cobertura real é calculada sobre as técnicas do perfil de ameaça, e não sobre as 200 técnicas do framework, porque é isso que o número significa na prática. Os valores são ilustrativos de um SOC de maturidade intermediária.

Duas leituras da tabela valem registro. A primeira é o padrão clássico de degradação da cauda: quanto mais à direita na cadeia de ataque, pior a cobertura, porque exfiltração e impacto dependem de telemetria de rede e de arquivos que frequentemente não chegam ao SIEM. A segunda é a assimetria entre regras existentes e validadas, constante em todas as linhas, evidência de que o estoque nominal do catálogo não vira capacidade sem a rotina de teste, e é essa diferença que justifica o investimento em pipeline de validação.

A tática de Defense Evasion, com a menor cobertura real do exemplo, ilustra o uso da tabela como ferramenta de decisão. Técnicas de evasão são usadas por praticamente todos os grupos relevantes, então a lacuna é prioritária apesar de a telemetria cobrir 70% das técnicas do perfil. A fila de engenharia do próximo trimestre nasce daqui: primeiro testar e generalizar as cinco regras existentes, depois escrever detecções para as duas técnicas com telemetria e sem regra, e por último discutir coleta para as três sem telemetria.

A mesma tabela escala para o ano inteiro quando cada linha ganha a coluna de rodada em que a técnica entrará no plano de testes. O formato transforma o relatório em cronograma, e a conversa trimestral deixa de ser sobre o número estático e passa a ser sobre o avanço das rodadas. Esse deslocamento é sutil e decisivo, porque cobertura deixando de ser foto e passando a ser trilha é o que permite prometer melhoria com prazo, e não apenas relatar estado.

7. Erros Comuns e Pontos de Atenção

• Reportar cobertura nominal como se fosse real, apresentando contagem de regras mapeadas sem nenhum teste que comprove alerta.
• Calcular cobertura sobre o framework inteiro, diluindo o número e sugerindo que cobrir as 200 técnicas é o objetivo, quando o alvo são as técnicas do perfil de ameaça.
• Usar um único atômico como prova de técnica coberta, quando a técnica admite variantes que a regra pode não cobrir.
• Tratar a camada de Navigator como produto final, mantida à mão para relatórios, e não como saída automática dos resultados de teste.
• Deixar o perfil de ameaça congelar, rodando dois anos seguidos o mesmo plano sem revisão com a inteligência de ameaças.
• Medir cobertura sem anotar evidência por técnica, o que torna impossível auditar o mapa e reconstituir por que um escore foi atribuído.
• Tratar técnica parcial como técnica coberta nos agregados, arredondando a coluna de cobertura para cima e escondendo as variantes que a regra não captura.

O ponto de atenção que resume a nota é a regra de evidência: todo número de cobertura precisa ter caminho até o teste que o gerou, com data, host, atômico executado e alerta associado. Cobertura sem evidência é promessa, e promessas de detecção são descobertas caras durante incidentes, quando o time percebe que a técnica usada pelo invasor estava no mapa como coberta e nunca alertou porque o teste nunca foi executado.

8. Integração com o Restante da Biblioteca

Dentro da pasta, esta nota consome o SNR e a prevalência como filtros da cobertura real, porque regra ruidosa tende a ser desligada e técnica de prevalência baixa prioriza o esforço de teste. O capítulo 19 é o motor operacional da medição: o ciclo purple mensal escolhe as técnicas do perfil, executa as emulações, registra os resultados e fecha o mês com delta de cobertura real, transformando esta nota em painel vivo e não em relatório trimestral.

No capítulo 15, a nota materializa os controles do grupo MAP, especialmente o heatmap por tática e a análise de lacunas, e alimenta o grupo SIM, cujo controle de medição de cobertura de detecção usa exatamente o método de teste descrito aqui. Com os capítulos de CTI, a conexão é o perfil de ameaça, que nasce dos relatórios de avaliação de ameaças e dos mapeamentos de atores do ciclo de inteligência, garantindo que a cobertura medida seja dirigida pelo risco real e não pela curiosidade técnica do time.

Um lembrete final de honestidade estatística protege o programa de seus próprios números. Cobertura por tática é mediana de valor e não garantia de caçada, porque as técnicas de um perfil não têm pesos iguais e a leitura agregada pode esconder que a técnica mais usada do perfil é justamente a não coberta. Por isso todo agregado por tática desta nota deve ser lido junto da tabela de técnicas do perfil, com as de maior frequência de uso sinalizadas, e a declaração de boa cobertura precisa sempre citar as exceções que ficaram de fora.