KPIs para Threat Hunting (Taxa de descoberta, tempo de análise)

Nota 02 do capítulo 11 - Indicadores e Métricas. Completa o capítulo com os indicadores do programa de caça, desenhados para capturar valor inclusive em ciclos que terminam sem achado.
Cobre taxa de descoberta, tempo de análise, cobertura ATT&CK das caças executadas, conversão de hipóteses em detecção, automação e lacunas de dados, com fórmulas, metas por maturidade e armadilhas.
Dialoga com o controle MET.2 da seção 15, com a nota 01 deste capítulo (KPIs de CTI) e com os capítulos 06 e 07 (fundamentos e processo de caça).

1. Contexto e Posicionamento na Biblioteca

Medir caça é mais difícil que medir qualquer outra atividade do programa, porque a exploração não tem linha de produção: o resultado mais valioso, descobrir o invasor que nenhuma regra pegou, é raro, imprevisível e, no trimestre em que não acontece, deixa o time sem a linha do painel que a liderança espera ver. Sem métricas bem escolhidas, o programa fica refém da percepção, e a mesma sequência de meses sem achados pode ser lida tanto como defesa madura quanto como trabalho malfeito. Esta nota existe para dar ao programa a leitura honesta dessa ambiguidade, com indicadores de disciplina, velocidade e consequência, e não apenas de contagem de achados.

A nota é a versão conceitual e prática do controle MET.2 da seção 15, e consome como matéria-prima os registros que o capítulo 07 define: hipótese com identificador, origem, tipo, janela, horas investidas, fontes usadas, resultado e consequências. O registro estruturado é a condição de possibilidade de tudo que se segue, porque caça medida por memória e impressão não é caça medida. A nota 01 deste capítulo aplicou o mesmo método ao CTI, e as duas notas fecham o capítulo com o mesmo princípio: métrica que não muda decisão é decoração, e métrica que incentiva o comportamento errado é pior que decoração.

O custo de não medir também tem forma concreta, e vale desenhá-la antes das fórmulas. Programa sem métrica entra na rodada de orçamento sem resposta para a pergunta do que as horas de caça compraram, perde espaço para a função que tem painel e converte a discussão em opinião contra opinião; o mesmo programa com painel honesto responde com taxa de conclusão, cobertura acumulada e detecções deixadas em produção, e a conversa muda de patamar. A disciplina de medição não é burocracia sobre a exploração, é a condição para que a exploração continue financiada.

2. O Paradoxo do Achado: Medir Exploração sem Corrompê-La

O paradoxo central é que a caça bem-sucedida frequentemente termina vazia. A hipótese bem formulada sobre técnica de adversário relevante, executada com visibilidade confirmada, pode fechar sem achado simplesmente porque a técnica não está presente, e esse fechamento é um produto: valida a combinação de prevenção, detecção e higiene do ambiente, produz evidência de cobertura e, quando a visibilidade não existe, produz o pedido de coleta que melhora o programa. A métrica ingênua de achados por mês não distingue esse fechamento valioso de um ciclo desperdiçado, e é por isso que o desenho deste capítulo separa três dimensões que a contagem única mistura.

A dimensão de disciplina mede se o plano foi executado: hipóteses concluídas com estado final definido sobre as planejadas. A dimensão de eficiência mede o custo: tempo de análise por caça, segmentado por família, porque caça de presença dura horas e caça comportamental com construção de detecção dura dias. A dimensão de consequência mede o que sobra de duradouro: detecção implantada, inteligência devolvida pela ficha de descoberta, lacuna fechada ou cobertura validada. Um programa saudável mostra atividade consistente na primeira dimensão, estabilidade na segunda e fluxo contínuo, ainda que pequeno, na terceira; cobrar só a terceira é injusto porque o achado depende do adversário, e cobrar só a primeira é vazio porque mede burocracia.

A disciplina de estados de encerramento é o que materializa a separação das dimensões, e a tabela abaixo resume o tratamento métrico de cada estado, herdado do registro do capítulo 07:

O estado de limpo validado é a inovação conceitual que o painel precisa preservar, porque é o único que transforma a ausência de achado em ativo: consolidado por trimestre, ele forma a camada de cobertura validada que a nota 04 do capítulo 10 descreve, e é a única garantia do programa que nenhum teste automatizado substitui inteiramente. Registrar todo fechamento vazio como falha, ou o inverso, comemorar todo fechamento vazio como defesa boa, são os dois erros simétricos que a disciplina de estados elimina.

3. Taxa de Descoberta e Tempo de Análise

A taxa de descoberta é o KPI mais citado e o mais mal usado, e a definição precisa é o que a protege: caças com achado confirmado e validado, divididas pelas caças concluídas, vezes 100, sempre segmentadas por família de caça. A segmentação é obrigatória porque as famílias têm expectativas diferentes, caça orientada por inteligência de campanha ativa tem taxa esperada maior que a de hipótese comportamental derivada de lacuna de cobertura, e a média agregada não descreve nenhuma. O tempo de análise acompanha em par: mediana de horas de analista por caça, por família, com o registro de horas preenchido durante a execução e não reconstruído depois.

Com as expectativas por família fixadas, a tabela abaixo consolida as fórmulas dos quatro KPIs de execução, com a segmentação obrigatória e as metas exemplificadas:

A interpretação da taxa de descoberta é por faixa, e não por meta linear, porque a taxa é resultado do ambiente e do adversário, não só do time. Abaixo de 10% com visibilidade validada indica hipóteses mal direcionadas, provavelmente desconectadas dos PIRs e do perfil dos adversários; entre 10% e 25% situa-se a faixa saudável de mercado; acima de 50% não é excelência, é alerta, de ambiente comprometido em série ou de critérios de validação frouxos que confirmam achado por simpatia. O zero absoluto de achados por dois trimestres, com visibilidade confirmada e hipóteses relevantes, é uma leitura legítima de defesa madura, e o painel precisa preservar espaço para essa leitura em vez de tratá-la como fracasso a ser explicado.

O cálculo na prática, com o fechamento de um mês de um time de dois hunters, mostra a leitura que o painel deveria produzir:

Caças concluídas no mês: 6 (2 de presença, 2 comportamentais, 2 de intel)
Achados confirmados: 1 (na caça de intel) e 1 parcial (iterar)
Taxa de descoberta global: 1/6 = 16,7 por cento
Taxa por família: presença 0 de 2; comportamental 0 de 2; intel 1 de 2
Tempo de análise: mediana de 5h nas de presença, 21h nas comportamentais
Horas totais investidas: 78h, dentro da capacidade de 80h/mês por hunter
Leitura: taxa dentro da faixa saudável; zero nas comportamentais com
visibilidade confirmada vira cobertura validada, e não fracasso

4. KPIs de Consequência: Detecção, Automação e Lacunas

A consequência é a dimensão que conecta a caça ao legado, e os três KPIs abaixo a medem em moedas diferentes. A conversão em detecção mede quantas caças deixaram regra nova em produção; o percentual de caças automatizadas mede quantas viraram consulta agendada ou pacote reutilizável; e as lacunas de dados encontradas medem quanto o programa aprendeu sobre a própria cegueira, com o percentual fechado em 90 dias como par de qualidade. A tabela consolida fórmulas e metas exemplificadas:

A leitura conjunta dos três evita as duas distorções mais comuns. Conversão em detecção alta com taxa de descoberta alta demais é suspeita de caça só onde já há fumaça; conversão baixa com disciplina boa pode ser carteira de validação de cobertura, destino legítimo que a seção anterior à conversão precisa declarar na origem da hipótese. Nas lacunas, a armadilha é a inversão: programa que não encontra lacuna nenhuma geralmente não está procurando, porque a caça honesta contra ambiente real sempre esbarra em telemetria ausente, e a lacuna registrada é prova de que a busca foi real.

A automação do percentual de caças automatizadas merece a definição conservadora que a fórmula assume: só conta como automatizada a caça convertida em consulta agendada com dono, ou em pacote versionado com reexecução documentada no trimestre, no padrão do capítulo 07 de automação e repetição. Consulta salva no repositório sem execução é arquivo, e contar arquivo como automação infla o número até ele perder a função de medir eficiência. O destino natural da automação é devolver horas de analista à carteira profunda, e é essa transferência, horas liberadas por automação aplicadas a hipóteses de teto maior, que a leitura trimestral do par de métricas deveria evidenciar.

5. Cobertura ATT&CK como KPI Estrutural

A cobertura ATT&CK das caças executadas é o KPI estrutural porque conecta o portfólio de caças ao mapa de ameaças da organização, e a fórmula usa o denominador certo: técnicas caçadas com resultado válido, divididas pelas técnicas priorizadas para a organização, no cálculo detalhado na nota 04 do capítulo 10. O denominador não é o catálogo ATT&CK, que é aritmética impossível, e sim a lista de técnicas plausíveis para o stack, a superfície e os adversários de referência. O estado de resultado válido segue o padrão do registro do capítulo 07: achado confirmado, limpo validado com visibilidade confirmada ou lacuna documentada, e caça abandonada sem estado final não entra no numerador.

Exemplo de fechamento trimestral:
Técnicas priorizadas: 62 (Heatmap por tática, atores de referência)
Caçadas com resultado válido: 23 (11 achado, 9 limpo validado, 3 lacuna)
Cobertura de caça: 23/62 = 37 por cento
Delta do trimestre: +6 pontos (meta anual de +20 pontos)
Leitura: avanço concentrado em Execução e Persistência; Exfiltração
estagnada por lacuna de telemetria de rede, com pedido aberto ao DAT.1

A camada de visualização no DeTT&CT ou no Navigator transforma o número em conversa: a camada de cobertura de caça, distinta das camadas de telemetria e de detecção, é o que o gestor apresenta trimestralmente, e o delta é mais informativo que o valor absoluto, porque 30% de cobertura em programa de um ano é trajetória boa, enquanto 30% estagnados por quatro trimestres é programa parado. A métrica também funciona como contrapeso da taxa de descoberta: time que caça as técnicas fáceis com telemetria rica mostra descoberta alta e cobertura concentrada em duas táticas, e a leitura por tática expõe o desequilíbrio no mesmo painel.

A cobertura também é o KPI que sobrevive melhor à mudança de contexto do programa, e por isso serve de âncora entre gestões e orçamentos. Taxa de descoberta oscila com o adversário, tempo de análise oscila com a carteira, mas a trajetória de cobertura é construção acumulada: técnica caçada com resultado válido permanece no numerador até que a telemetria ou o ambiente mude, e o histórico do delta é a evidência mais difícil de falsificar e a mais fácil de defender numa sala executiva. É por essa propriedade que a biblioteca a elege como KPI estrutural, acima mesmo da descoberta, que é a métrica mais citada e a menos administrável.

6. Metas por Maturidade

As metas acompanham o modelo de maturidade da biblioteca, com a mesma regra da nota 01: baseline de dois a três meses antes de meta formal, e aperto de uma faixa por vez. A tabela abaixo consolida o conjunto de referência para os níveis intermediários e avançados; o nível inicial mediria para estabelecer baseline, sem meta:

O par de regras de leitura é o mesmo do capítulo inteiro. Velocidade nunca viaja sozinha: a meta de tempo médio de análise só vale com a taxa de conclusão dentro da meta, porque reduzir tempo abandonando caça é cumprir número e falhar no programa. E a carteira qualifica o número: quatro caças por mês com metade orientada por inteligência, no mix que o MET.2 detalha, valem mais que doze caças de presença de IOC, e o painel precisa ler volume junto com a distribuição por família para não premiar exatamente o comportamento raso que o capítulo quer evitar.

A cadência de leitura das metas segue as três alturas do MET.2. A retrospectiva quinzenal do time lê o estado das caças em execução e as lições da semana, sem olhar meta; o fechamento mensal do gestor compara os KPIs contra meta e contra o mês anterior, com o desvio explicado ou o plano de correção anotado; e o reporte trimestral ao executivo recebe o resumo de valor, achados convertidos, cobertura delta e lacunas fechadas, já traduzido para a linguagem de risco. Uma exceção de cadência vale registro: metas de velocidade nunca se aplicam a caças de aprofundamento de achado confirmado, porque a investigação de um verdadeiro positivo dura o necessário, e a pressa ali é causa conhecida de escopo mal fechado.

7. Armadilhas: Premiar Quantidade e Corromper a Medida

A armadilha fundadora é transformar a taxa de descoberta em meta rígida, e o dano aparece em duas direções opostas. Na direção da pressão, o time aprende a falsificar descoberta: critérios de validação frouxos que confirmam achado por simpatia, caça apenas onde a fumaça já é visível e repasse de alertas rotulados de caça, comportamentos que a Lei de Goodhart prevê para toda medida que vira alvo. Na direção contrária, o time que teme o zero deixa de caçar as hipóteses arriscadas e profundas, exatamente as que têm teto de descoberta maior, e migra para o trivial que não custa achado negativo. O antídoto estrutural é o desenho já apresentado: taxa de descoberta como faixa de diagnóstico segmentada, nunca como meta individual, com a dimensão de consequência carregando o peso da avaliação.

A segunda armadilha é o tempo médio de análise imposto sem segmentação, que pune a caça profunda e premia a rasa. A caça comportamental com construção de detecção dura dias por natureza, e o gestor que cobra a média única ensina o time a fragmentar ciclos e evitar o trabalho que mais vale. A terceira é a contabilidade de WIP, trabalho em execução: caça aberta que nunca fecha corrompe a taxa de conclusão e esconde o custo real, e o limite de trabalho em execução, três caças simultâneas por hunter na referência da biblioteca, é o mecanismo que mantém o número honesto. A quarta é medir por reconstrução: horas e resultados preenchidos no fim do mês pela memória do analista não são medição, são ficção documentada, e o registro em tempo real do capítulo 07 é o que separa as duas coisas.

A quinta armadilha é a comparabilidade ilícita entre hunters, quando o painel publica ranking individual de descoberta. Caça é trabalho de exploração em equipe, as carteiras se distribuem por competência e por família, e ranking individual de taxa de descoberta pune quem aceita as hipóteses arriscadas e premia quem escolhe o trivial, além de desestimular o compartilhamento de técnicas que sustenta a capacidade coletiva. A leitura correta é pela carteira do programa com os nomes fora do painel executivo, e o reconhecimento individual deve correr por qualidade de hipótese, de documentação e de detecção produzida, dimensões que a revisão por pares do capítulo 07 já avalia. Métrica existe para orientar o programa, e quando o uso dela reorganiza incentivos contra o comportamento que a biblioteca defende, o uso é que está errado, não o time.

8. Erros Comuns e Pontos de Atenção

• Taxa de descoberta como meta de desempenho individual: corrompe critérios e desloca a carteira para o trivial; o antídoto é a faixa de diagnóstico por família com avaliação pela consequência.
• Média única de tempo de análise: esconde a diferença entre presença de horas e comportamental de dias; o antídoto é a mediana segmentada por família com meta própria.
• Caça sem registro estruturado: sem hipótese, horas e estado final, não existe matéria-prima de métrica; o antídoto é o template do capítulo 07 preenchido durante a execução.
• Cobertura ATT&CK com denominador errado: dividir pelo catálogo completo produz número minúsculo que desanima, e dividir pelo que já se caça produz 100% que não informa; o antídoto é o denominador de técnicas priorizadas.
• Lacuna encontrada e não registrada: descartar a busca frustrada por falta de telemetria joga fora o produto mais duradouro do ciclo; o antídoto é o estado de lacuna com pedido formal de coleta anexado.
• Automatização contada como vitrine: pacote versionado que ninguém reexecuta não é automação, é arquivo; o antídoto é contar só conversão com reexecução agendada ou documentada no trimestre.
• Painel sem linha de leitura para o zero: programa sem espaço institucional para o fechamento limpo valida pune a hipótese arriscada; o antídoto é o painel que distingue os quatro estados de encerramento do registro.

9. Integração com o Restante da Biblioteca

A montante, esta nota consome o registro de caça do capítulo 07, a taxonomia de hipóteses do capítulo 06 e os artefatos de integração do capítulo 10, cujos estados de encerramento alimentam tanto a taxa de descoberta quanto a cobertura. A jusante, alimenta a avaliação de maturidade da nota 05 do capítulo 06, o reporte executivo do MET.5 e a governança do capítulo 12, que discute como sustentar patrocínio com evidência em vez de anedota. Na seção 15, o MET.2 institucionaliza os KPIs com subcontroles de coleta e de meta, e a leitura conjunta com o MET.1 fecha o circuito: conversão de relatório em hipótese de um lado, conversão de achado em inteligência e detecção do outro.

O exercício de fechamento do capítulo é montar o painel mínimo no ambiente de estudo: registrar cinco caças simuladas ou reais com o template completo, calcular as quatro dimensões com fórmulas desta nota, escrever a frase de interpretação de cada número para um executivo e apresentar o conjunto em uma página com a leitura por família e o delta de cobertura. O painel de cinco caças treina exatamente a habilidade que escala para o programa inteiro, que é transformar registro disciplinado em decisão, e não em decoração de dashboard.