Home Comunidade Eventos YouTube Networks Desafios // produtos Academy News CTI | CVE Contato

04 - Matriz de Avaliação Integrada

video explicativo
Video explicativoEspaco reservado para o video desta anotação — adicione video: https://youtu.be/... no frontmatter da nota.

Matriz de Avaliação Integrada

Quarta nota do capítulo 16 - Exercícios Práticos. Ferramenta de fechamento do capítulo e da biblioteca: matriz de autoavaliação do programa integrado CTI-TH, com oito dimensões, cinco níveis e a evidência esperada em cada célula.
A matriz existe para ser preenchida trimestralmente com honestidade, converter o retrato em plano de evolução priorizado e medir o próprio progresso nas quatro visitas seguintes.
Dialoga com os modelos de maturidade dos capítulos 01 e 06, com a salvaguarda GOV.06 do capítulo 15 e com as três notas anteriores, que exercitam exatamente as capacidades que a matriz mede.

1. Contexto e Posicionamento na Biblioteca

Os três exercícios anteriores treinaram capacidades pontuais; esta nota treina a capacidade de gestão que decide se elas sobrevivem: medir o programa como um todo e transformar a medição em plano. A matriz integra os dois mundos de maturidade que a biblioteca já apresentou, o de CTI da nota 05 do capítulo 01 e o de hunting da nota 05 do capítulo 06, e os expande em oito dimensões cobrindo a esteira inteira, porque programa de CTI maduro com dados ruins, ou hunting excelente sem resposta, é maturidade cosmética que a primeira crise desmonta.

O exercício de uso é simples e rigoroso: uma vez por trimestre, o time pontua cada dimensão nos níveis 0 a 4 com base na coluna de evidência, não na impressão, registra o perfil resultante, escolhe uma ou duas dimensões para o plano do trimestre e confronta, no trimestre seguinte, a evidência prometida com a evidência existente. O produto da quarta aplicação é a curva do programa, que vale mais que qualquer apresentação de status, porque mostra direção, ritmo e estagnação em uma linha.

A matriz não substitui a salvaguarda GOV.06 do capítulo 15, que é o modelo formal de maturidade do framework com cinco níveis e controles; ela é a versão operacional de trabalho, desenhada para caber em uma tarde de revisão trimestral e para ser preenchida por quem executa, com o gestor validando. Divergências entre as duas escalas são informativas, e o programa que pontua 3 aqui e declara nível 2 no GOV.06 está fazendo algo errado em uma das duas medições.

2. Como Pontuar Honestamente

Quatro regras sustentam a honestidade da pontuação, e a matriz vale exatamente o quanto elas forem cumpridas. Primeira, evidência ou zero: cada nível tem a evidência esperada declarada, e a pontuação só sobe quando a evidência existe, é datada e é consultável por alguém que não participou da conversa; intenção, projeto em andamento e promessa de orçamento pontuam zero. Segunda, a regra do mínimo: a dimensão recebe o maior nível cujas evidências estão todas presentes, e a existência de um brilho isolado em nível alto não paga as ausências do nível abaixo, porque maturidade é piso, e não média.

Terceira, três opiniões e uma conversa: cada dimensão é pontuada em paralelo por um executor, pelo par de outro time e pelo gestor, e as divergências acima de um nível são discutidas com evidência na mesa, porque a divergência em si é o achado mais valioso da reunião, revelando onde percepção e realidade se separam. Quarta, o pior elo define a esteira: o programa executa na velocidade da dimensão mais fraca em relação à mais forte, e o gap interno de dois níveis ou mais é o item prioritário do plano, na frente até do nível absoluto baixo.

A cadência trimestral precisa de formato fixo para sobreviver: duas horas de reunião, matriz previamente pontuada pelos três perfis, ata com o perfil fechado e as duas dimensões escolhidas para o plano, e publicação interna do resultado. O exercício termina sempre com a mesma pergunta ao time: o que precisa acontecer para que esta célula suba um nível no próximo trimestre, e a resposta, escrita com dono e prazo, é a semente do plano da seção 5.

3. O Roteiro da Reunião Trimestral

O formato fixo da reunião protege o rito da pressa, e o roteiro abaixo cabe nas duas horas declaradas:

Minuto Atividade Produto da atividade
0 a 20 Leitura das pontuações dos três perfis, célula a célula das divergências Divergências listadas com argumento
20 a 50 Confronto de evidência para cada célula divergente Nível fechado com referência citada
50 a 70 Leitura do perfil completo e identificação do pior elo Gap prioritário nomeado
70 a 100 Escolha das dimensões do plano e debate de custo Alvo, evidência e dono definidos
100 a 120 Publicação do perfil e do compromisso nos canais do programa Ata distribuída e calendarizada

O roteiro tem uma regra implícita que vale tornar explícita: a reunião não executa diagnóstico técnico, e sim arbitra evidência já levantada. Quando a mesa descobre que a evidência não existe, a célula recebe o nível menor e o levantamento entra no plano, porque reunião de matriz que vira investigação em tempo real estoura as duas horas e ensina o time a vir despreparado.

4. Tabela de Mapeamento: Dimensão, Nível e Evidência

A tabela é o instrumento de trabalho da matriz; as oito dimensões atravessam os cinco níveis, e a evidência esperada é o critério objetivo de pontuação:

Dimensão Nível Evidência esperada Lacuna típica do nível
Governança 0 Nenhuma atividade com patrocínio ou orçamento Esforço depende de heroísmo individual
Governança 1 Reuniões esporádicas, sem missão escrita Entusiasmo sem dono e sem ritograma
Governança 2 Missão, papéis e ritograma documentados (GOV.01 a GOV.03) Documento existe, mas não governa decisão
Governança 3 PIRs priorizados e decisões registradas com dono (GOV.05) Prioridade muda a cada crise sem registro
Governança 4 Programa avaliado por métricas no comitê com orçamento plurianual Rota ajustada por evidência, sem herói
Dados 0 Logs críticos não coletados ou não centralizados Investigação depende de abrir servidor
Dados 1 Coleta parcial com retenção curta Pergunta de caça respondida por ausência
Dados 2 Endpoint, rede e identidade centralizados com inventário (DAT.1 a DAT.4) Cobertura existe, qualidade não medida
Dados 3 Qualidade medida e lacunas mapeadas por técnica (DAT.5) Lacunas conhecidas sem plano de fechamento
Dados 4 Telemetria dirigida por hipóteses e ATT&CK, com custo otimizado Coleta se ajusta a cada ciclo de caça
CTI 0 Nenhum consumo estruturado de inteligência Feed bruto vira ruído de alerta
CTI 1 Consumo de feeds sem validação ou contexto IOC vencido circulando sem dono
CTI 2 TIP em uso com validação, TLP e deduplicação (PLT.1, PLT.3) Plataforma existe, análise não
CTI 3 PIRs dirigem coleta, produtos táticos regulares com feedback (CTI.6 a CTI.8) Ciclo funciona, incerteza mal calibrada
CTI 4 Inteligência estratégica com contribuição a comunidades (INT.3) Programa informa decisão externa e setorial
Hunting 0 Nenhuma caça executada Proatividade depende de sobra de tempo
Hunting 1 Caças esporádicas, por demanda ou por notícia Sem método e sem documento
Hunting 2 Metodologia definida e cadência mensal documentada (TH.4) Caça acontece, backlog não existe
Hunting 3 Backlog priorizado, caças repetidas e convertidas (TH.6, TH.8) Conversão existe, cobertura não medida
Hunting 4 Hunting contínuo automatizado com validação por simulação (SIM.5) Caça vira serviço com recall medido
Detecção 0 Apenas assinaturas de vendor Cegueira comportamental
Detecção 1 Regras pontuais sem dono nem teste Detecção quebra em silêncio
Detecção 2 Regras versionadas com dono e teste básico (MAP.1) Catálogo existe, cobertura não medida
Detecção 3 Detecção como código com heatmap e tuning com evidência (MAP.2, MAP.4) Cobertura medida, melhoria reativa
Detecção 4 Cobertura validada por simulação e priorizada por ameaça (SIM.3) Detecção evolui por objetivo do adversário
Resposta 0 Reação ad hoc sem playbook Cada incidente é o primeiro
Resposta 1 Playbook genérico aplicado a tudo Contenção lenta e improvisada
Resposta 2 Playbooks por cenário com runbook testado (RES.1, RES.2) Resposta funciona, não se mede
Resposta 3 Dwell time e MTTD medidos, mesa de exercício, integração com CTI (RES.5) Métricas existem, pós-incidente inconsistente
Resposta 4 Contenção parcial automatizada e pós-incidente alimentando CTI (AUT.5) Resposta instrui todo o programa
Métricas 0 Nenhuma métrica definida Valor declarado por opinião
Métricas 1 Contagens de atividade sem meta Número sem decisão associada
Métricas 2 KPIs de CTI, hunting e resposta com metas (MET.1 a MET.3) KPIs existem, revisão não acontece
Métricas 3 Dashboard vivo com revisão trimestral que muda prioridade (MET.5) Métrica move prioridade, não orçamento
Métricas 4 Métricas preditivas de custo e risco com benchmark externo Medição orienta investimento plurianual
Pessoas 0 Ninguém com papel formal de CTI ou hunting Programa é projeto paralelo
Pessoas 1 Entusiasta isolado, sem tempo protegido Risco de chaveiro no máximo
Pessoas 2 Papéis com matriz de competências e tempo protegido (GOV.04) Estrutura existe, plano de desenvolvimento não
Pessoas 3 Plano por pessoa com credencial e entrega, ritograma de estudo Time se desenvolve, retenção ainda frágil
Pessoas 4 Comunidade de prática, recrutamento interno e acervo próprio Time ensina e retém, programa sobrevive a rotatividade

A leitura da tabela é célula a célula, e nunca por cima: a coluna de lacuna típica existe para acelerar a conversa, e não para dispensar a verificação da evidência. O programa que marca nível 3 em uma célula precisa apontar o documento, o rito ou o dado que prova, e a ata registra a referência.

A aplicação por porte exige duas adaptações honestas, e nenhuma delas é de inflar célula. Em operação pequena, com funções acumuladas no SOC, as dimensões de pessoas e governança pontuam com o mesmo rigor de estrutura maior, e a evidência muda de forma sem mudar de substância: ritograma de uma hora semanal documentado equivale ao ritograma mensal de equipe dedicada. Em operação de cloud ou híbrida, a dimensão de dados herda as fontes de provedor, e a evidência de nível 2 inclui o log do provedor centralizado, porque a coleta que não saiu do console do fornecedor não é telemetria do programa.

5. Perfil de Pontuação e Priorização

O perfil é a saída consolidada da aplicação trimestral, e o exemplo abaixo mostra o formato com um programa médio no segundo trimestre de aplicação:

Dimensão Nível atual Meta 12 meses Prioridade
Governança 2 3 Média
Dados 2 3 Alta
CTI 3 3 Baixa, sustentar
Hunting 3 4 Média
Detecção 2 3 Alta
Resposta 1 3 Alta
Métricas 2 3 Média
Pessoas 2 3 Alta

A priorização segue duas regras combinadas. A primeira é a do pior elo: resposta em nível 1 com hunting em 3 é o gap mais caro da esteira, porque caça que acha intrusão sem resposta que contenha produz apenas relato de exposição, e sobe para o topo. A segunda é a do multiplicador: dados e pessoas elevam todas as dimensões ao mesmo tempo, e um nível a mais em dados costuma destravar três células vizinhas no trimestre seguinte, o que explica a regra prática de começar o plano pelas dimensões de fundação.

A curva também se lê na direção negativa, e a leitura honesta inclui essa possibilidade: célula que cai um nível entre aplicações não é falha de registro, é sinal de regressão real, por rotatividade, por mudança de plataforma ou por rito que morreu, e merece a mesma atenção do plano que a célula que deveria subir. O perfil que estagna quatro trimestres na mesma marca, com plano aprovado e evidência prometida, revela um programa que mede sem executar, e a correção dele é de patrocínio, e não de método.

5. Plano de Evolução Trimestral

O plano converte o perfil em compromisso, e a regra de tamanho é dura: uma ou duas dimensões por trimestre, nunca mais, porque programa que promete evoluir oito dimensões ao mesmo tempo não evolui nenhuma. Para cada dimensão escolhida, o plano declara o nível alvo, a evidência que provará a subida, o responsável nominal e o que a subida exige de orçamento, e a ata do trimestre registra exatamente esses campos:

Dimensão escolhida Alvo Evidência da subida Dono Custo
Resposta 2 Playbooks de phishing e ransomware testados em mesa, com runbook Respondente sênior Baixo, tempo
Dados 3 Medição de completude por fonte com lacunas mapeadas e 2 fechadas Engenheiro de dados Médio, ingestão

A verificação do plano acontece na matriz seguinte, com o confronto explícito de evidência prometida e evidência existente; subida confirmada fecha o compromisso, subida não confirmada vira o primeiro item da conversa e precisa de explicação de causa, e não de culpa. Depois de quatro trimestres, a curva dos oito pontos por aplicação é o relatório executivo mais honesto que o programa tem, e o capítulo 11 é o lugar onde ela vira narrativa para a liderança, com custo, risco evitado e trajetória na mesma página.

6. Como Subir Cada Dimensão um Nível

Cada dimensão tem um caminho curto de nível a mais, e o mapa abaixo é o atalho consolidado para o planejamento do trimestre:

  • Governança: escrever a missão em uma página, nomear o responsável por cada papel e instalar o rito mensal com ata, porque os três documentos juntos já sustentam o nível 2.
  • Dados: inventariar as fontes existentes e centralizar as três classes críticas, endpoint, rede e identidade, com retenção declarada, no padrão das salvaguardas DAT.1 a DAT.4.
  • CTI: operar o TIP com validação e TLP por indicador e instalar o canal de disseminação com dono, trocando feed bruto por indicador contextualizado.
  • Hunting: fixar a cadência mensal com relato documentado e criar o backlog de hipóteses com priorização registrada, mesmo que a caça seja conduzida por uma pessoa.
  • Detecção: versionar as regras existentes com dono e teste mínimo, e publicar o primeiro heatmap de cobertura por tática do ATT&CK.
  • Resposta: trocar o playbook genérico por dois playbooks por cenário, testados em mesa, e começar a medir MTTD e dwell time a cada incidente.
  • Métricas: escolher cinco KPIs com meta e dono e revê-los trimestralmente em decisão registrada, que é a diferença entre medir e colecionar números.
  • Pessoas: proteger tempo de estudo na agenda, aplicar a matriz de competências da nota 04 do capítulo 12 e definir um objetivo de credencial e entrega por pessoa no semestre.

O mapa é deliberadamente não custoso nos níveis baixos, porque a evidência dos primeiros níveis é de organização e disciplina, e não de orçamento; as subidas de nível 3 para 4 é que exigem investimento, e é exatamente por isso que a matriz pontua antes de abrir orçamento, e não depois.

7. Erros Comuns e Pontos de Atenção

  • Pontuar por intenção: projeto em andamento, contrato assinado e promessa de contratação não são evidência; a célula sobe quando a evidência existe, é datada e é verificável por terceiro.
  • Média de brilho: uma caça excepcional não paga ausência de metodologia, e um relatório brilhante não paga ausência de PIR; o nível é o piso das evidências, e não a média das qualidades.
  • Comparar com o concorrente: a matriz mede o programa contra si mesmo, e o benchmark externo serve para calibrar meta, não para inflar célula.
  • Pontuar oito dimensões a cada trimestre por impulso de gestão: o exercício degrada em autopromoção; manter o rito curto, as duas dimensões em foco e o resto medido com a mesma régua.
  • Esconder o pior elo: resposta em 1 ao lado de hunting em 3 é a informação mais valiosa da matriz, e o time que a suaviza perde a única chance da ferramenta de mudar prioridade.
  • Usar a matriz como arma: a pontuação serve ao plano, e não a punição; o trimestre que transforma a matriz em ranking de pessoas perde a honestidade que a sustenta.
  • Confundir com o GOV.06: as duas escalas convivem, e divergência grande entre elas é sinal de erro de método em uma, a ser investigado, e não diplomado.

8. Integração com o Restante da Biblioteca

A matriz amarra os instrumentos de medição que a biblioteca espalhou: os modelos de maturidade das notas 05 dos capítulos 01 e 06, a salvaguarda GOV.06 com seus níveis formais, os KPIs das salvaguardas MET.1 a MET.5 e as métricas de colaboração da nota 06 do capítulo 12, e os quatro exercícios anteriores do capítulo 16 são a forma de gerar, de graça, exatamente as evidências que as células cobram. O leitor que executou o exercício 01 tem evidência de resposta; o que executou o 02 tem evidência de CTI; o do 03 tem evidência de hunting e detecção; e a matriz é onde essas provas se transformam em nível declarado.

O fechamento recomendado para a biblioteca é executivo e cíclico: aplicar a matriz na primeira semana do trimestre, com os três perfis pontuando antes da reunião; escolher as duas dimensões do plano com a regra do pior elo e a do multiplicador; registrar as evidências-alvo com dono; e voltar na matriz seguinte com as provas na mão. Um ano desse ciclo, documentado em quatro perfis e uma curva, é o que separa um programa que melhorou de um programa que acha que melhorou, e é exatamente essa diferença que a biblioteca inteira existiu para permitir medir.