KPIs para CTI (Tempo de detecção, cobertura)

Nota 01 do capítulo 11 - Indicadores e Métricas. Inicia o capítulo que traduz o trabalho de inteligência em números gerenciáveis, começando pelos KPIs do programa de CTI.
Cobre MTTD e MTTR no contexto de inteligência, cobertura de fontes e de PIRs, taxa de IOCs acionados, taxa de falso positivo e tempo de enriquecimento, com fórmulas, metas por maturidade e armadilhas de medição.
Dialoga com o controle MET.1 da seção 15, com a nota 02 deste capítulo (KPIs de hunting) e com os capítulos 01 (PIRs) e 02 (fontes e pipeline).

1. Contexto e Posicionamento na Biblioteca

A função de CTI que não é medida é invisível no momento em que invisibilidade custa caro: a rodada de orçamento. Relatos anedóticos, como o IOC bloqueado uma vez ou a campanha evitada por sensação, não sustentam conversa com diretoria, e o programa que não consegue provar valor com números perde recursos para quem consegue. Este capítulo e esta nota existem para dar à inteligência a disciplina de medição que o SOC já tem há décadas, com tempo de detecção, tempo de resposta e cobertura como eixos centrais, e para fazer isso sem transformar o analista em preenchedor de planilha: a regra de desenho é que todo KPI nasce de um campo que um sistema já registra.

A nota é a versão conceitual e prática do controle MET.1 da seção 15, que institucionaliza a coleta mensal, as metas formais e a automação; aqui o foco está nas definições, nas fórmulas e nas armadilhas de interpretação. O capítulo se completa com a nota 02, que aplica o mesmo tratamento ao hunting, e as duas notas compartilham princípios deliberadamente: medir consequência e não atividade, parear quantidade com qualidade e calibrar metas por maturidade. O leitor que vier da nota 01 do capítulo 10 reconhecerá os artefatos de integração, relatório, hipótese e ficha de descoberta, como as fontes de timestamp que alimentam parte das fórmulas.

A audiência da medição também precisa ser desenhada desde o início, porque a mesma fórmula serve a três leitores com perguntas diferentes. O time operacional lê os KPIs para encontrar gargalo de processo, e por isso precisa do número segmentado e comparado ao mês anterior; o gestor do programa lê para negociar capacidade e prioridade, e por isso precisa da meta com data e do desvio explicado; o executivo lê para decidir investimento, e por isso precisa da tradução em risco e em detecção mais rápida, no formato que o MET.5 padroniza. Painel único que tenta atender os três ao mesmo tempo não atende nenhum, e a cadência de leitura, quinzenal, mensal e trimestral, é o que separa as três audiências sem multiplicar métricas.

2. MTTD e MTTR no Contexto de CTI

MTTD, Mean Time to Detect, e MTTR, Mean Time to Respond, são as métricas de tempo que toda a operação de segurança conhece, e o CTI participa delas de duas maneiras distintas que a medição ingênua mistura. A primeira é a contribuição direta: intrusão detectada mais cedo porque o IOC de campanha ativa acionou no histórico, ou porque a hipótese do briefing encontrou o beacon que nenhuma regra via, reduz o MTTD do programa como um todo. A segunda é o tempo próprio da inteligência, que o CTI deve medir com métricas independentes, porque o MTTD organizacional depende de muitos fatores fora do controle da função: o tempo do relatório à ação defensiva e o tempo da chegada do IOC ao acionamento no ambiente.

As fórmulas abaixo consolidam as quatro medidas de tempo relevantes, com a recomendação de reportar sempre mediana e P90 além da média, porque incidentes longos distorcem a média para cima e escondem a experiência típica:

Duas decisões de desenho valem mais que qualquer fórmula. A segmentação é a primeira: MTTD por origem de detecção, alerta, caça, terceiro ou inteligência, é a leitura que mostra se o CTI está encurtando detecção de fato, e o tempo relatório para ação só tem sentido segmentado por tipo de produto, porque flash report e assessment estratégico têm cadências incomparáveis. A segunda é a honestidade sobre o denominador do MTTD: o comprometimento inicial raramente é conhecido com precisão, e a prática defensável é usar a melhor estimativa documentada da resposta a incidentes, com o método anotado, e nunca inventar um número que a evidência não sustenta, porque a métrica desmentida uma vez perde a credibilidade de todas.

O exemplo abaixo mostra a leitura da contribuição do CTI no fechamento trimestral de uma operação de porte médio, com a discriminação que o painel executivo deveria carregar:

Casos do trimestre: 9 (3 por alerta, 3 por caça, 2 por terceiro, 1 por IOC do feed)
MTTD agregado: 22 dias (mediana 6 dias, P90 58 dias)
MTTD dos 3 casos encontrados por caça: 41, 39 e 17 dias (mediana 39)
MTTD do caso encontrado por IOC de campanha: 5 dias
Leitura: a caça encontra o que nenhuma regra pega, e por isso o MTTD dela
é alto; o IOC fresco de campanha ativa foi o que mais encurtou detecção.
Conclusão de gestão: as duas contribuições são diferentes e as duas valem;
agregá-las numa média única destruiria a leitura.

3. KPIs de Cobertura e Qualidade

Tempo sem cobertura vira métrica oca, porque o CTI pode ser rápido em responder ao que os PIRs nunca pediram. A tabela abaixo consolida os KPIs de cobertura e qualidade do programa, com fórmula e meta exemplificada; as metas ilustram um programa de nível intermediário e a seção 5 distribui os valores por maturidade:

Cada fórmula carrega uma decisão de desenho que vale explicitar. A cobertura de fontes usa o portfólio planejado por categoria, OSINT, comercial, setorial e interna, como denominador, e não a lista real, porque a lista real é sempre 100 por cento de si mesma e a métrica não mede nada; a ausência de fonte setorial ativa, por exemplo, aparece como lacuna de categoria. A taxa de IOCs acionados exige o prazo de 30 dias e a separação por tipo de consumo, busca, bloqueio e regra, porque os três consumos têm custo e risco diferentes; IOC que ninguém acionou em 90 dias provavelmente não deveria ter sido disseminado, e a métrica existe para provocar exatamente essa pergunta. A conversão em hunting conecta este capítulo ao capítulo 10: relatório que nunca vira hipótese é o sintoma mais cedo detectável de integração quebrada entre as funções.

A leitura em pares evita os dois erros de interpretação mais comuns da tabela. Cobertura de PIRs alta com adoção baixa indica que o programa entrega o que pediu, mas em formato que ninguém consome, e o problema é de calibração de produto; adoção alta com conversão em hunting baixa indica produtos que o SOC lê mas que não geram direção de caça, e o problema é de acionabilidade técnica. O tempo de enriquecimento, por sua vez, só faz sentido lido com o falso positivo por fonte, porque enriquecimento rápido com IOC mal contextualizado apenas entrega ruído mais cedo.

4. Instrumentação: Medir Sem Planilha

O princípio operacional é que a métrica nasce de metadados que os sistemas já produzem. O TIP registra gatilho, criação e publicação de cada produto; a esteira de enriquecimento registra chegada e conclusão de cada lote de IOC; o Git registra quando a regra derivada entrou em produção; a plataforma de casos registra citações e o trabalho agendado de acionamento cruza indicadores com telemetria. O bloco abaixo exemplifica os metadados de um produto publicado, com as métricas que deles derivam sem nenhum preenchimento manual adicional:

produto:
  id: REP-2025-062
  tipo: tatico
  pir_atendidos: [PIR-04]
  gatilho: alerta ISAC de ransomware industrial
  recebido_em: 2025-09-08T11:20:00Z
  publicado_em: 2025-09-09T09:05:00Z
  iocs_publicados: 41
  iocs_com_expiracao: 41
  iocs_acionados_30d: 26
  regra_derivada_em: 2025-09-12T15:40:00Z
# Metricas derivadas automaticamente:
# tempo_relatorio_acao = regra_derivada_em - publicado_em = 3d 6h35m
# tempo_producao = publicado_em - recebido_em = 21h45m
# acionamento = 26/41 = 63,4 por cento (meta 40 a 60 por cento)

O lado do consumidor confirma a taxa de acionamento com a consulta abaixo, que mede quantos indicadores do produto apareceram na telemetria de DNS e proxy nos 30 dias após a publicação; a mesma lógica se aplica a bloqueios de gateway e a correspondências em regras, e a união das três fontes compõe o indicador final do painel:

let iocs_produto = intel_iocs
    | where product_id == "REP-2025-062"
    | project valor = tostring(indicator);
let hits_dns = DnsEvents
    | where TimeGenerated > ago(30d)
    | where Name in~ (iocs_produto)
    | distinct Name;
let hits_proxy = CommonSecurityLog
    | where TimeGenerated > ago(30d)
    | where RequestURL in~ (iocs_produto)
    | distinct RequestURL;
iocs_produto
| extend acionado = iff(valor in (hits_dns) or valor in (hits_proxy), true, false)
| summarize total = count(), acionados = countif(acionado)
| extend taxa_pct = round(100.0 * acionados / total, 1)

O trabalho agendado que roda essa consulta no 30º dia grava o resultado de volta no TIP, fecha o ciclo de acionamento e libera a exceção para tratamento: produto sem acionamento entra em investigação de pertinência, e não em punição de autor, porque a leitura correta do zero pode ser formato errado, canal errado ou IOC irrelevante ao ambiente. A mesma mecânica de job agendado alimenta o tempo relatório para ação, comparando a data de publicação com a data da primeira ação defensiva registrada, e é essa automação de ponta a ponta que o subcontrole MET.1.3 formaliza como requisito de nível intermediário.

5. Metas Realistas por Maturidade

Metas descoladas do nível de maturidade produzem o efeito contrário: o time desiste de medir quando o número é inalcançável, e a liderança aprende a ignorar o painel. A tabela abaixo distribui metas para quatro KPIs centrais ao longo dos níveis do modelo de maturidade da biblioteca; a regra de base é estabelecer baseline com dois a três meses de coleta antes de fixar meta formal, e apertar uma faixa por vez:

Duas regras acompanham a tabela. A primeira é que velocidade nunca viaja sozinha: meta de tempo de produção sem meta de qualidade, como a taxa de adoção e o falso positivo por fonte, incentiva relatório apressado e IOC genérico, e por isso o painel do nível seguinte só é ativado quando o par qualidade está dentro da meta por dois trimestres. A segunda é que a segmentação sobrevive à maturidade: nos cinco níveis, flash report e perfil de ator continuam com tempos incomparáveis, e o painel que agrega tudo numa média única é o painel que esconde os dois comportamentos.

A fixação de meta na prática segue um roteiro curto que evita a discussão infinita de valores. Primeiro, coletar o KPI por dois a três meses sem meta, com a coleta automática da seção 4; segundo, calcular a mediana do período como ponto de partida; terceiro, fixar a meta do nível atual a um passo realista, algo entre 20 e 50 por cento de melhoria sobre a mediana, e não ao nível do melhor caso da indústria; quarto, revisar a meta trimestralmente no mesmo fórum que revisa as metas do programa. Meta que nasce da mediana observada é defendível em reunião; meta copiada de benchmark desacompanhado é ignorada em reunião, e o pior dos dois mundos é a meta cumprida por relaxamento de critério, que o pareamento com qualidade da primeira regra existe justamente para impedir.

6. Armadilhas de Métrica: Vaidade e Lei de Goodhart

A armadilha fundadora do capítulo é transformar volume em desempenho, e o CTI tem as versões mais tentadoras de todas: relatórios produzidos por mês, IOCs processados, feeds consumidos. São métricas de vaidade porque sobem facilmente, dizem pouco sobre defesa e, quando viram meta, disparam a Lei de Goodhart, na qual a medida que vira alvo deixa de ser boa medida. Time pressionado por volume produz relatórios rasos, dispara centenas de IOC genéricos de feed público e infla a taxa de acionamento com indicadores triviais que acionam muito e defendem nada. A contramedida estrutural é parear toda métrica de quantidade com uma de consequência: volume de produtos com adoção e conversão em hunting, volume de IOC com taxa de acionamento por tipo de consumo e falso positivo por fonte.

A segunda armadilha é a média que esconde segmentos, já mencionada e por isso merece só o registro do exemplo clássico: MTTD médio de 30 dias que junta detecção por alerta de gateway, em horas, com detecção de intrusão silenciosa, em meses, não descreve nenhuma das duas realidades e ainda dá ao painel aparência de precisão. A terceira é o uso punitivo da métrica, e o caso mais corrosivo é o falso positivo por fonte: usada para punir, ela ensina a equipe a não registrar falso positivo, corrompendo a própria fonte do número, e a usada para calibrar processos melhora o pipeline sem matar o registro. A quarta é a coleta manual que custa mais do que entrega, porque métrica coletada com esforço heroico morre no segundo mês, e o antídoto é a regra da seção 4: se a fonte de dados do KPI não é um sistema, o KPI não está pronto para entrar no painel.

7. Erros Comuns e Pontos de Atenção

• Medir produção e não consequência: painel de relatórios e IOCs processados sem adoção, acionamento e ação defensiva não dá base para decisão; o antídoto é o pareamento obrigatório de quantidade com consequência.
• KPI sem dono e sem meta: número sem responsável pela coleta e sem valor de referência vira decoração; o antídoto são os quatro atributos documentados do MET.1, fórmula, fonte, responsável e meta com data.
• Meta absoluta no primeiro mês: taxa de acionamento como meta rígida sem baseline empurra o time a publicar IOC triviais; o antídoto é a régua por maturidade da seção 5 com baseline prévio.
• Agregar sem segmentar: média global que junta tipos de produto e tipos de consumo esconde os comportamentos; o antídoto é a segmentação por tipo de produto e por tipo de consumo no painel.
• Falso positivo como punição: uso punitivo ensina a não registrar; o antídoto é o uso calibrador, com decisão de corte de fonte passando pela revisão de portfólio e considerando o custo de perder o sinal.
• Ignorar o retorno do consumidor: número bom com consumidor que não usa o produto é número ruim disfarçado; o antídoto é ler taxa de adoção junto com o feedback qualitativo do CTI.9 na reunião mensal.
• Métrica de vaidade executiva: IOCs enriquecidos e feeds consumidos impressionam sem significar; o antídoto é o reporte do MET.5 em linguagem de risco, com as métricas de vaidade restritas ao painel operacional.

8. Integração com o Restante da Biblioteca

A montante, esta nota consome os PIRs do capítulo 01 como denominador da cobertura, a avaliação de fontes do capítulo 02 como insumo da cobertura de fontes e da taxa de falso positivo, e os artefatos de integração do capítulo 10, cujos timestamps alimentam o tempo relatório para ação e a taxa de conversão. A jusante, alimenta o painel executivo do MET.5, a revisão de portfólio de fontes do PLT.4 e o ciclo de feedback do CTI.9, que transforma desvio de métrica em pergunta de qualidade. A nota 02 deste capítulo aplica o mesmo método ao hunting, e as duas leituras juntas respondem à pergunta executiva que o capítulo tenta encerrar: o que a organização ganhou, em detecção mais rápida e cobertura maior, pelo investimento em inteligência e caça.

O exercício de fixação é instrumentar um ciclo real no laboratório: escolher três dos sete KPIs da seção 3, identificar a fonte de dados que os produz sem preenchimento manual, coletar dois meses de valor simulado ou real e escrever, para cada KPI, a frase de interpretação que a liderança entenderia sem contexto técnico. O treino da frase de interpretação é tão importante quanto o da fórmula, porque métrica que o público não consegue ler não muda decisão, e mudar decisão é a única razão de medir.