MET.1 - KPIs do Programa de CTI

Nota do grupo MET (Métricas, KPIs e Medição) da seção 15 do Framework CTH.
Deriva do Capítulo 19 do PDF de referência, controle MET.1, com os subcontroles MET.1.1 a MET.1.5.
Define os indicadores que convertem o esforço do time de CTI em valor demonstrável, sustentam a defesa de orçamento e alimentam o ciclo de feedback do controle CTI.9.

1. Contexto e Posicionamento no Framework CTH

Um programa de CTI que não é medido é um programa invisível. Quando chega a rodada de cortes de orçamento, o patrocínio executivo garantido pelo CTI.1 precisa de evidências objetivas para sobreviver, e relatos anedóticos como aquele IOC que bloqueamos uma vez não sustentam a discussão com a diretoria financeira. A medição sistemática transforma a produção de inteligência em uma disciplina gerenciável, permite priorizar investimentos com dados e expõe gargalos do ciclo, como etapas que consomem tempo excessivo ou produtos que nunca geram ação defensiva.

No Framework CTH, o MET.1 é o controle que fecha o laço entre o planejamento de requisitos (CTI.1), a produção de relatórios (CTI.7) e a disseminação segmentada (CTI.8). Ele também é a fonte primária de insumos para o feedback loop do CTI.9 e para o reporte executivo do MET.5. A regra de ouro deste controle é medir resultado e não atividade: o que importa não é quantos relatórios o time escreveu, mas quantos PIRs foram respondidos, quantos produtos geraram ação defensiva e quão rápido o SOC recebeu o que precisava para decidir.

2. Princípios de Medição Antes da Lista de KPIs

Cada KPI precisa de quatro atributos documentados antes de entrar no painel: fórmula de cálculo, fonte de dado, responsável pela coleta e meta com data. Sem fórmula, duas pessoas calculam números diferentes e a reunião vira discussão de método. Sem fonte definida, a coleta vira um trabalho manual de garimpo em consoles e morre no segundo mês. Sem meta, o número é decorativo, porque ninguém sabe se 60% é bom ou ruim. A recomendação prática é escrever esses quatro atributos em uma linha de YAML ou na descrição do widget do dashboard, tornando a definição auditável e reutilizável.

Um segundo princípio é começar com três KPIs e estabilizar antes de expandir. O subcontrole MET.1.1 pede exatamente isso: coleta mensal de pelo menos três indicadores, usando a plataforma de gerenciamento de CTI e o repositório de IOCs como fontes primárias automáticas. Programas que lançam doze métricas de uma vez raramente sustentam a coleta por dois trimestres, e métrica coletada com falha intermitente destrói a confiança da liderança nos números apresentados.

3. KPIs Recomendados do Programa de CTI

A tabela a seguir consolida os indicadores essenciais para um programa de CTI maduro, com definição, fonte de dado e meta exemplificada. As metas são ilustrativas e devem ser calibradas com o baseline dos primeiros três meses de medição, conforme discutido na seção 5.

O par IOCs acionáveis e taxa de acionamento merece atenção especial, porque separa dois problemas que costumam ser confundidos. Um IOC é acionável quando chega ao ambiente em formato consumível, com pontuação de confiança, contexto e data de expiração, atributos que o CTI.5 normaliza na esteira de processamento. A taxa de acionamento mede se o consumidor realmente o usou em busca, bloqueio ou regra, e é o indicador mais honesto de utilidade: IOC que ninguém acionou em 90 dias provavelmente não deveria ter sido disseminado.

4. Coleta de Métrica sem Burocratizar o Time

O erro clássico de programas iniciantes é pedir que o analista preencha planilha de acompanhamento de cada relatório produzido. Essa prática consome o tempo que a inteligência deveria economizar e produzi dados rasos, preenchidos às pressas no fim do mês. A alternativa é extrair as métricas de sistemas que o time já usa: os timestamps do TIP registram criação e publicação do produto, o Git registra quando a regra derivada do relatório entrou em produção, a plataforma de casos registra quando o relatório foi citado numa investigação e a fila de tickets registra o ciclo de vida de cada SIR.

# Metadados de produto de inteligência publicados no TIP; cada campo vira métrica
produto:
  id: REP-2025-041
  tipo: tatico
  pir_atendidos: [PIR-03, PIR-07]
  gatilho: SIR-2025-118
  criado_em: 2025-04-09T14:22:00Z
  publicado_em: 2025-04-10T09:05:00Z
  iocs_publicados: 27
  iocs_com_expiracao: 27
  fontes_citadas: [fonte_a, fonte_c]
  sla_tatico_horas: 24
# Metricas derivadas sem trabalho manual adicional:
# tempo_producao = publicado_em - criado_em = 18h43m (dentro do SLA)
# cobertura_pir += PIR-03, PIR-07
# acionamento: cruzar hash/IP do produto com buscas e bloqueios em 30 dias

O follow-up de acionamento em 30 dias, exigido pelo subcontrole MET.1.4, é automatizável com um trabalho agendado que consulta o SIEM por ocorrências de cada IOC publicado e grava o resultado de volta no TIP. Quando um produto não é acionado, a análise não deve punir o autor, e sim perguntar se o formato estava errado, o canal de disseminação não alcançou o público ou o IOC não era relevante para o ambiente. Essa leitura qualitativa é o que transforma a métrica em melhoria de processo em vez de relatório de culpa.

A consulta abaixo exemplifica o lado do consumidor: mede quantos indicadores de um determinado produto foram efetivamente observados no ambiente nos últimos 30 dias, base da taxa de acionamento. A mesma lógica se aplica a bloqueios no firewall e a correspondências em regras de detecção, e a união das três fontes compõe o indicador final publicado no painel do MET.5.

// Taxa de acionamento em 30 dias dos IOCs publicados pelo produto REP-2025-041
let iocs_produto = intel_iocs
    | where product_id == "REP-2025-041"
    | project valor = tostring(indicator);
let hits_dns = DnsEvents
    | where TimeGenerated > ago(30d)
    | where Name in~ (iocs_produto)
    | distinct Name;
let hits_proxy = CommonSecurityLog
    | where TimeGenerated > ago(30d)
    | where RequestURL in~ (iocs_produto)
    | distinct RequestURL;
iocs_produto
| extend acionado = iff(valor in (hits_dns) or valor in (hits_proxy), true, false)
| summarize total = count(), acionados = countif(acionado)
| extend taxa_acionamento_pct = round(100.0 * acionados / total, 1)

5. Metas Realistas por Nível de Maturidade

Metas descoladas do nível de maturidade do programa geram efeito contrário ao desejado, porque o time desiste de medir quando o número é inalcançável. O modelo de maturidade do Framework CTH (Capítulo 4) define cinco níveis, de Inexistente a Otimizado, e as metas do MET.1 devem acompanhar essa escalada. A tabela abaixo traz um exemplo de progressão para os três KPIs centrais; as demais métricas seguem a mesma lógica de começar conservador e apertar gradualmente.

Duas regras acompanham essa tabela. Primeiro, nenhuma meta vale sem baseline: rode dois a três meses de coleta antes de fixar números formais, exatamente como pede o subcontrole MET.1.2 ao exigir fórmulas, fontes e responsáveis documentados com revisão trimestral. Segundo, metas de velocidade sem meta de qualidade incentivam relatórios apressados; por isso o par tempo de produção e taxa de adoção deve ser lido sempre em conjunto, nunca isoladamente.

6. Armadilhas de Métrica: Volume, Vaidade e a Lei de Goodhart

A armadilha mais comum do MET.1 é transformar volume em desempenho. Contar relatórios produzidos por mês e IOCs enriquecidos parece objetivo, mas essas são métricas de vaidade: sobem facilmente, dizem pouco sobre defesa e, quando viram meta, disparam a Lei de Goodhart, na qual a medida que vira alvo deixa de ser boa medida. Um time pressionado por volume produz relatórios rasos e dispara centenas de IOCs genéricos de feeds públicos, inflando o número e entupindo o ambiente com indicadores de baixa confiança que ninguém aciona.

A contramedida é parear toda métrica de quantidade com uma de qualidade e consequência. Volume de produtos deve ser lido com a taxa de adoção e com a taxa de acionabilidade, que mede o percentual de produtos que geraram ação defensiva real, como nova regra de detecção, bloqueio de IOC ou ajuste de configuração. Volume de IOCs deve ser lido com a taxa de falso positivo das fontes e com a taxa de acionamento no ambiente. Quando a curva de volume sobe enquanto a de acionamento cai, o problema não é produção, é pertinência, e a resposta está na revisão de PIRs e de fontes, não em pedir mais velocidade ao time.

Outra armadilha sutil é a métrica de falso positivo por fonte usada sem contexto, pois pode incentivar o descarte de fontes desconfortáveis que trazem sinal raro e ruidoso, em vez de calibrar como a fonte é processada. Toda decisão de cortar fonte baseada em métrica deve passar pela revisão de fontes do PLT.4 e considerar o custo de não ter o sinal, e não apenas o custo operacional do ruído.

7. Cadência de Revisão e Uso no Feedback CTI.9

A coleta é mensal e automática, a revisão de metas é trimestral e a análise de tendência é anual. O subcontrole MET.1.3 automatiza a extração dos dados da plataforma de CTI, do repositório de IOCs e da plataforma de gestão de incidentes, gerando relatório mensal sem esforço manual; o subcontrole MET.1.5 eleva a prática ao analisar 12 meses de histórico para identificar padrões sazonais e correlações, como a relação entre tempo de disseminação e taxa de acionabilidade, que costuma ser inversa até um ponto de estabilidade e depois se torna neutra.

A conexão com o CTI.9 é o ponto de maior alavancagem deste controle. Na reunião mensal de alinhamento prevista pelo subcontrole CTI.9.2, a taxa de adoção por consumidor e o tempo de resposta a SIRs são a pauta objetiva: adoção baixa em um consumidor específico revela falha de formato ou de canal, e não falha de conteúdo; SIR com resposta lenta revela gargalo de capacidade ou de priorização. O feedback qualitativo coletado pelo CTI.9.1 explica o número, e o número verifica se a percepção do feedback é generalizada. Sem métrica, o feedback é opinião; sem feedback, a métrica é número cego.

8. Exemplo Ponta a Ponta de Um Ciclo de Medição

Para tornar o método concreto, considere o fechamento de um mês de operação de um time de três pessoas. O time mantém oito PIRs vigentes, publica quatro produtos, sendo um estratégico, dois táticos e um alerta rápido, e responde vinte SIRs de triagem de IOC. Nenhum dado foi preenchido à mão: os timestamps vêm do TIP, as citações vêm da plataforma de casos, os acionamentos vêm do trabalho agendado de 30 dias e a fila de SIRs fornece as medidas de tempo. A tabela abaixo resume o fechamento do mês com os seis KPIs da seção 3.

A leitura conjunta é o que gera decisão: o mês é verde na maior parte dos indicadores, e as duas exceções têm caminho de tratamento definido sem que ninguém tenha preenchido planilha. O relatório de fechamento sai do painel já montado e vai para a reunião mensal do CTI.9 com as perguntas certas formuladas de antemão, transformando a medição em rotina de melhoria e não em cerimônia de prestação de contas. Repetido por três meses, esse ciclo produz o baseline que sustenta as metas formais do nível seguinte.

9. Salvaguardas por Nível de Maturidade

A progressão recomendada segue a ordem dos subcontroles: primeiro meça três indicadores com esforço mínimo, depois formalize metas, depois automatize, depois rastreie consequência e, por fim, projete tendência. Pular direto para o MET.1.5 sem a fundação dos níveis básicos produz projeções sobre dados sujos, que são piores do que nenhuma projeção, porque emprestam credibilidade estatística a números não confiáveis.

10. Erros Comuns e Pontos de Atenção

• Medir apenas produção e nunca consequência: o painel mostra relatórios e IOCs, mas não mostra adoção, acionamento ou ação defensiva gerada, deixando a liderança sem base para julgar utilidade e o time sem sinal de melhoria.
• KPI sem dono e sem meta: números sem responsável pela coleta e sem valor de referência viram decoração de dashboard, e a discussão trimestral não consegue decidir nada com eles.
• Coleta manual que custa mais do que entrega: planilhas preenchidas à mão consomem horas do time, acumulam atraso e morrem; toda métrica deve nascer com plano de automação, mesmo que a primeira rodada seja manual.
• Definir a taxa de acionamento como meta absoluta desde o primeiro mês: sem baseline e sem segmentação por tipo de IOC, a meta empurra o time a publicar só indicadores triviais de feed, que acionam muito e defendem pouco.
• Ignorar a segmentação por tipo de produto: relatório estratégico e alerta rápido têm tempos e critérios de adoção incomparáveis, e a média global esconde os dois comportamentos.
• Agregar a taxa de acionamento sem separar busca, bloqueio e regra de detecção: os três consumos têm custo e risco diferentes, e a agregação única esconde se a inteligência está priorizando investigação ou apenas alimentando listas de bloqueio.
• Usar a taxa de falso positivo para punir pessoas em vez de calibrar fontes e processos: a métrica vira incentivo a não registrar FP, corrompendo a própria coleta.
• Esconder métrica ruim no reporte executivo: número ruim com plano de ação melhora a credibilidade; número ruim escondido descoberto pelo consumidor destrói a confiança em todos os outros números.

11. Integração com Outros Controles do Framework CTH

O MET.1 consome o registro de PIRs do CTI.1 como denominador da cobertura e consome os timestamps de produção do CTI.7 e os logs de disseminação do CTI.8 como fontes de cálculo. Seus resultados alimentam diretamente o CTI.9, que transforma desvios em perguntas de feedback aos consumidores, e o PLT.4, que usa a taxa de falso positivo na gestão do portfólio de fontes. Na esteira de dados, o DAT.4 garante a centralização de logs que sustenta as consultas de acionamento, e o CTI.5 assegura que os IOCs medidos tenham os metadados de confiança e expiração que qualificam a acionabilidade.

No plano executivo, o MET.5 apresenta os KPIs do MET.1 em linguagem de negócio, e o modelo de maturidade do GOV usa a progressão das metas como evidência de evolução de nível. Na integração entre programas, a taxa de acionabilidade do MET.1 dialoga com os KPIs de hunting do MET.2, porque relatório tático que gera hipótese de caça é uma das consequências mais valiosas que a medição deve capturar, registrada como conversão de inteligência em hunting no ciclo integrado do INT.1.