Avaliação da Utilidade da Inteligência

Nota 11 do capítulo 01 - Fundamentos de Cyber Threat Intelligence (CTI). Ensina a medir se a inteligência produzida é útil: acionada pelos consumidores, capaz de apoiar decisões e entregue no tempo da decisão.
Fecha o capítulo ao conectar produção a feedback estruturado e melhoria contínua, com métricas honestas em vez de números de vaidade.
Dialoga com a nota 07 (cobertura de PIRs), com a nota 10 (prioridade realimentada por uso) e com o grupo MET do capítulo 15.

1. Contexto e Posicionamento na Biblioteca

Depois de direção, elicitação, decomposição e priorização, resta a pergunta que o patrocinador cobra sem cerimônia: a inteligência está servindo? Programas que não respondem com números ficam reféns de impressões, e impressões ruins vencem fatos na conversa de orçamento. A avaliação de utilidade é a disciplina que substitui a impressão por evidência: métricas coletáveis sobre o uso real dos produtos, feedback estruturado dos consumidores e um processo de melhoria que fecha o ciclo de inteligência da nota 03.

Esta nota fecha o capítulo 01 e conecta todas as anteriores: os PIRs da nota 07 fornecem a régua de cobertura, a matriz de decisões da nota 08 fornece a régua de decisão, e a priorização da nota 10 depende dos dados de uso aqui medidos. No capítulo 15, o grupo MET institui as métricas como salvaguarda permanente, e o CTI.9 formaliza o feedback como parte do ciclo. A nota 05 usa o mesmo sinal em sentido inverso: coletar métricas de utilidade é prática típica do nível 4 de maturidade, e a ausência delas é sintoma de programa abaixo disso.

2. O Que Significa Inteligência Útil

Inteligência útil é a que muda uma decisão, uma detecção ou uma resposta, e nada além disso qualifica. O corolário é desconfortável para equipes orgulhosas do próprio volume: material correto, bem escrito e não consumido tem utilidade zero. A definição desloca a avaliação da qualidade intrínseca do produto para o efeito observado no consumidor, e é exatamente esse deslocamento que torna as métricas desta nota diferentes das métricas de produção.

A utilidade é propriedade do par produto-consumidor, e não do produto isolado. O mesmo perfil de grupo que orienta a engenharia de detecção é inútil para o conselho, e o boletim executivo que convence o CISO não serve de consulta para o SOC. Por isso as métricas são calculadas por produto, contra o consumidor declarado na matriz da nota 08, e médias globais escondem exatamente o que importa.

A utilidade também é temporal, e resposta correta fora do tempo é resposta inútil. A janela de decisão declarada na nota 10 define quando a resposta ainda vale algo, e a métrica de tempo de resposta só faz sentido comparada a essa janela. Um perfil trimestral entregue no dia da decisão de orçamento pode valer menos que um alerta de campanha entregue em 24 horas.

2.1 As Três Perguntas de Utilidade

A avaliação cabe em três perguntas que o patrocinador, o consumidor e a própria equipe fazem, cada uma ancorada em uma métrica da seção 3:

• O produto foi usado: respondida pela taxa de acionamento, com uso registrado e definição rigorosa do que conta como ação.
• A decisão melhorou: respondida pelas decisões apoiadas, contadas contra a matriz da nota 08.
• Chegou a tempo: respondida pelo tempo de resposta comparado à janela de decisão declarada na nota 10.

A cobertura de PIRs atravessa as três perguntas, porque requisito sem resposta não tem utilidade possível, por melhor que seja o material entregue.

3. Métricas de Utilidade

Quatro métricas centrais cobrem a avaliação sem burocracia, e todas são coletáveis com o log de produtos e as watchlists que a nota 07 já estabeleceu. A tabela define cada métrica, o cálculo e uma referência típica de meta, que deve ser calibrada na primeira medição honesta:

A taxa de acionamento merece definição rigorosa, porque é a mais fácil de distorcer. Acionamento é qualquer uso registrado que muda algo: busca executada no SIEM, regra criada, ticket aberto, decisão documentada, caça iniciada. Leitura confirmada, download e agradecimento não são acionamento, e contá-los como tal é o primeiro passo de volta para as métricas de vaidade da seção 5. O dicionário abaixo fixa a definição e o cálculo no formato de referência da biblioteca:

dicionario_metricas:
  - metrica: taxa_acionamento
    definicao: percentual de produtos entregues que geraram uso registrado que muda algo
    numerador: produtos com busca executada, regra criada, ticket, decisao ou caça registrados
    denominador: produtos entregues na janela avaliada
    fonte: CTI_ProdutoLog e watchlist ProdutosCTI
    frequencia: trimestral
    dono: líder de CTI
    decisao_associada: reformular ou aposentar produto com duas janelas seguidas abaixo da meta

3.1 Como Interpretar Cada Métrica

Números sem interpretação viram painel decorativo, e as leituras abaixo conectam cada métrica à decisão que ela sugere:

• Taxa de acionamento baixa com cobertura alta: formato, canal ou demanda errados; o diagnóstico típico é produto certo para o público errado, e a correção passa pela matriz da nota 08.
• Decisões apoiadas zero por dois ciclos em uma linha da matriz: a linha está morta, e o requisito correspondente merece reelicitação ou aposentadoria na nota 10.
• Cobertura abaixo da meta com portfólio pequeno: subfinanciamento real, e a evidência vai para a conversa de capacidade; com portfólio grande, é inflação, e o corte é interno.
• Tempo de resposta com mediana boa e cauda ruim: olhar o percentil 95 nos produtos operacionais, porque a cauda é onde a janela de decisão se fecha e o produto perde o valor.

4. Feedback Estruturado do Consumidor

Métricas automáticas dizem o que aconteceu, e o feedback do consumidor diz por quê. Sem a segunda camada, a equipe corrige às cegas, mudando formato quando o problema era demanda. Os mecanismos recomendados combinam captura leve no fluxo com conversa periódica profunda:

• Três perguntas na entrega: o produto apoiou decisão ou ação, o que faltou e o que sobrou; respondidas em um minuto, no canal de entrega.
• Revisão trimestral com clientes: sessões curtas com os decisores da matriz, priorizando quem não deu feedback no trimestre, porque o silêncio também é dado.
• Telemetria de uso do TIP: consultas, exports e downloads por produto, usados como confirmação do feedback declarado, nunca como substituto.
• Retroalimentação de incidentes: toda resposta a incidente relevante registra se a inteligência antecipou algo, porque incidente é a auditoria mais honesta da utilidade.

O registro abaixo é o formato de referência do feedback estruturado, anexado ao produto e consultado na revisão trimestral:

registro_feedback:
  produto: CTI-2025-073
  pir_relacionado: PIR-2025-003
  consumidor: engenharia de detecção
  decisao_apoiada: sim, regra Sigma para comportamento de pré-criptografia priorizada
  uso_registrado: regra criada e testada no ambiente de homologação
  faltou: detalhe de procedimento para distinguir variantes do builder
  confianca_adequada: sim
  formato_e_cadencia_adequados: sim
  acao_producao: incluir procedimentos por variante no próximo perfil do grupo
  data: 2025-06-30

A regra de ouro do feedback é a reciprocidade: cada registro com ação sugerida gera um item na fila de melhoria da seção 6, com dono e prazo. Feedback sem ação de produção registrada é pesquisa de cordialidade, e os consumidores descobrem isso em dois ciclos, quando param de responder. A nota 08 já alertou que quem pede precisa ser ouvido; aqui a exigência é simétrica: quem recebe precisa ver o efeito do que disse.

5. Armadilhas de Métricas de Vaidade

Métricas de vaidade são números que sobem sempre que o programa trabalha, independentemente de alguém decidir melhor. Elas são tentadoras porque são fáceis de coletar, e são perigosas porque substituem a conversa de valor justamente no momento em que o patrocinador pede evidência. A tabela contrasta as mais comuns com a contramedida honesta correspondente:

A armadilha mais sutil é a composição: um painel com dez métricas de vaidade e uma de utilidade passa a impressão de medição madura, enquanto o programa é gerido pelo número fácil. A regra de defesa é simples e dura: toda métrica do painel precisa ter uma decisão de gestão associada, com resposta declarada para o cenário em que ela piora. Métrica sem decisão associada sai do painel, e o painel encolhe até ficar composto apenas do que alguém está disposto a gerir.

6. Processo de Melhoria Contínua da Produção

A melhoria contínua da produção funciona como um ciclo trimestral por produto, com quatro passos: medir, diagnosticar, experimentar e re-medir. O diagnóstico parte de quatro hipóteses, em ordem de custo de correção: conteúdo errado, formato errado, canal errado ou demanda inexistente. Mudar uma coisa por vez é a disciplina que permite atribuir efeito, e a re-medição no ciclo seguinte fecha o loop.

A consulta abaixo, reutilizando a convenção de watchlists da nota 07, identifica os produtos sem nenhum acionamento registrado na janela, que são a fila prioritária do ciclo de melhoria:

// Produtos de CTI sem acionamento registrado nos ultimos 90 dias
let janela = 90d;
let uso = CTI_ProdutoLog
  | where TimeGenerated > ago(janela)
  | summarize Acionamentos = count() by ProdutoId;
_GetWatchlist('ProdutosCTI')
| project ProdutoId, Nivel, Dono
| join kind=leftouter uso on ProdutoId
| extend Acionamentos = coalesce(Acionamentos, 0)
| where Acionamentos == 0
| project ProdutoId, Nivel, Dono, Acionamentos

Para cada produto da fila, o teardown é curto e honesto: reler o produto com os olhos do consumidor declarado, checar se a necessidade da nota 08 ainda existe e escolher uma mudança. As ações típicas, em ordem de preferência, são: reformular o formato mantendo o conteúdo, ajustar a cadência à janela de decisão, migrar o canal de entrega, reelicitar a necessidade com o decisor ou aposentar o produto com registro. Aposentar é decisão legítima e frequente, porque portfólios honestos de produto seguem a mesma regra da nota 10: entrar por substituição, e não por acumulação.

6.1 A Fila de Melhoria da Produção

A fila de melhoria é o artefato que impede o ciclo de virar reunião sem consequência. Cada item tem origem em métrica ou em feedback, dono, mudança única declarada e janela de re-medição:

fila_melhoria:
  - id: MELH-2025-012
    origem: feedback CTI-2025-073 e taxa de acionamento de 42%
    produto: CTI-2025-073
    mudanca: incluir procedimentos por variante no perfil do grupo
    dono: analista tático 1
    janela_remedicao: 2025-09-30
    status: em execucao

O ciclo de melhoria também merece memória. Um registro curto por ciclo, com a mudança feita e o efeito medido, constrói o histórico que distingue experimento de mania, e é esse histórico que permite ao programa mostrar evolução com evidência na conversa de maturidade da nota 05.

7. Erros Comuns e Pontos de Atenção

Os erros abaixo aparecem com regularidade em programas que tentam medir utilidade e têm correção direta:

• Medir produção em vez de efeito: painéis de volume que não respondem à pergunta do patrocinador; correção: adotar as quatro métricas da seção 3 e aposentar o resto.
• Acionamento inflado: contar leitura e download como ação; correção: definir acionamento como uso que muda algo, com exemplos no dicionário de métricas.
• Feedback por nota de satisfação: número sem texto não diz o que corrigir; correção: três perguntas abertas na entrega, no formato da seção 4.
• Feedback sem ação: consumidores respondem, nada muda, e o canal morre; correção: fila de melhoria com dono e prazo para cada ação sugerida.
• Métricas sem dono: ninguém calcula, ninguém lê, ninguém age; correção: dono nominal por métrica e revisão na sessão trimestral da nota 10.
• Punição do feedback negativo: consumidor criticado deixa de criticar, e a qualidade cai sem ninguém perceber; correção: agradecer em público e registrar a correção entregue.
• Médias globais: utilidade média do programa esconde produtos mortos e campeões; correção: medir por produto, com corte por consumidor declarado.
• Medir só na crise: avaliação anual antes do orçamento produz números defensivos; correção: cadência trimestral fixa, com histórico comparável.
• Comparar com programas alheios: benchmarks de indústrias e tamanhos diferentes levam a metas arbitrárias; correção: meta própria calibrada na primeira medição honesta.

Um ponto final de atenção é o momento de instituir as métricas. Programas recém-nascidos que instalam painel completo no primeiro mês medem ruído, porque produção e consumo ainda não têm forma estável. O momento certo chega quando existem PIRs declarados, produtos em cadência e consumidores nomeados, que é exatamente o estado que as notas 07 a 10 constroem, e a primeira medição serve para calibrar metas, e não para premiar ou punir.

8. Integração com o Restante da Biblioteca

A avaliação de utilidade é o sensor que realimenta todo o sistema construído no capítulo. A nota 07 fornece a régua de cobertura, a nota 08 a matriz de decisões que cada produto deve tocar, a nota 09 a aderência de fontes que sustenta a coleta e a nota 10 o ciclo em que os dados de uso viram decisão de prioridade. Adiante na biblioteca, o capítulo 05 reaproveita o feedback para calibrar formatos de produção, os capítulos 06 e 07 medem a utilidade das hipóteses de hunting pela detecção ou descoberta gerada, e o grupo MET do capítulo 15 institui o painel de KPIs no qual estas métricas habitam.

Para aplicar esta nota hoje, escolha o produto de CTI mais recente entregue, envie as três perguntas da seção 4 ao consumidor declarado, registre a resposta no formato YAML e adicione o item de melhoria resultante à próxima sessão do time. Um produto medido por semana constrói, em um trimestre, o hábito de produção guiada por efeito, e é esse hábito, e não o painel, que separa programas que melhoram de programas que repetem.