04 - Matriz de Avaliação Integrada
video: https://youtu.be/... no frontmatter da nota.Matriz de Avaliação Integrada
Quarta nota do capítulo 16 - Exercícios Práticos. Ferramenta de fechamento do capítulo e da biblioteca: matriz de autoavaliação do programa integrado CTI-TH, com oito dimensões, cinco níveis e a evidência esperada em cada célula.
A matriz existe para ser preenchida trimestralmente com honestidade, converter o retrato em plano de evolução priorizado e medir o próprio progresso nas quatro visitas seguintes.
Dialoga com os modelos de maturidade dos capítulos 01 e 06, com a salvaguarda GOV.06 do capítulo 15 e com as três notas anteriores, que exercitam exatamente as capacidades que a matriz mede.
1. Contexto e Posicionamento na Biblioteca
Os três exercícios anteriores treinaram capacidades pontuais; esta nota treina a capacidade de gestão que decide se elas sobrevivem: medir o programa como um todo e transformar a medição em plano. A matriz integra os dois mundos de maturidade que a biblioteca já apresentou, o de CTI da nota 05 do capítulo 01 e o de hunting da nota 05 do capítulo 06, e os expande em oito dimensões cobrindo a esteira inteira, porque programa de CTI maduro com dados ruins, ou hunting excelente sem resposta, é maturidade cosmética que a primeira crise desmonta.
O exercício de uso é simples e rigoroso: uma vez por trimestre, o time pontua cada dimensão nos níveis 0 a 4 com base na coluna de evidência, não na impressão, registra o perfil resultante, escolhe uma ou duas dimensões para o plano do trimestre e confronta, no trimestre seguinte, a evidência prometida com a evidência existente. O produto da quarta aplicação é a curva do programa, que vale mais que qualquer apresentação de status, porque mostra direção, ritmo e estagnação em uma linha.
A matriz não substitui a salvaguarda GOV.06 do capítulo 15, que é o modelo formal de maturidade do framework com cinco níveis e controles; ela é a versão operacional de trabalho, desenhada para caber em uma tarde de revisão trimestral e para ser preenchida por quem executa, com o gestor validando. Divergências entre as duas escalas são informativas, e o programa que pontua 3 aqui e declara nível 2 no GOV.06 está fazendo algo errado em uma das duas medições.
2. Como Pontuar Honestamente
Quatro regras sustentam a honestidade da pontuação, e a matriz vale exatamente o quanto elas forem cumpridas. Primeira, evidência ou zero: cada nível tem a evidência esperada declarada, e a pontuação só sobe quando a evidência existe, é datada e é consultável por alguém que não participou da conversa; intenção, projeto em andamento e promessa de orçamento pontuam zero. Segunda, a regra do mínimo: a dimensão recebe o maior nível cujas evidências estão todas presentes, e a existência de um brilho isolado em nível alto não paga as ausências do nível abaixo, porque maturidade é piso, e não média.
Terceira, três opiniões e uma conversa: cada dimensão é pontuada em paralelo por um executor, pelo par de outro time e pelo gestor, e as divergências acima de um nível são discutidas com evidência na mesa, porque a divergência em si é o achado mais valioso da reunião, revelando onde percepção e realidade se separam. Quarta, o pior elo define a esteira: o programa executa na velocidade da dimensão mais fraca em relação à mais forte, e o gap interno de dois níveis ou mais é o item prioritário do plano, na frente até do nível absoluto baixo.
A cadência trimestral precisa de formato fixo para sobreviver: duas horas de reunião, matriz previamente pontuada pelos três perfis, ata com o perfil fechado e as duas dimensões escolhidas para o plano, e publicação interna do resultado. O exercício termina sempre com a mesma pergunta ao time: o que precisa acontecer para que esta célula suba um nível no próximo trimestre, e a resposta, escrita com dono e prazo, é a semente do plano da seção 5.
3. O Roteiro da Reunião Trimestral
O formato fixo da reunião protege o rito da pressa, e o roteiro abaixo cabe nas duas horas declaradas:
| Minuto | Atividade | Produto da atividade |
|---|---|---|
| 0 a 20 | Leitura das pontuações dos três perfis, célula a célula das divergências | Divergências listadas com argumento |
| 20 a 50 | Confronto de evidência para cada célula divergente | Nível fechado com referência citada |
| 50 a 70 | Leitura do perfil completo e identificação do pior elo | Gap prioritário nomeado |
| 70 a 100 | Escolha das dimensões do plano e debate de custo | Alvo, evidência e dono definidos |
| 100 a 120 | Publicação do perfil e do compromisso nos canais do programa | Ata distribuída e calendarizada |
O roteiro tem uma regra implícita que vale tornar explícita: a reunião não executa diagnóstico técnico, e sim arbitra evidência já levantada. Quando a mesa descobre que a evidência não existe, a célula recebe o nível menor e o levantamento entra no plano, porque reunião de matriz que vira investigação em tempo real estoura as duas horas e ensina o time a vir despreparado.
4. Tabela de Mapeamento: Dimensão, Nível e Evidência
A tabela é o instrumento de trabalho da matriz; as oito dimensões atravessam os cinco níveis, e a evidência esperada é o critério objetivo de pontuação:
| Dimensão | Nível | Evidência esperada | Lacuna típica do nível |
|---|---|---|---|
| Governança | 0 | Nenhuma atividade com patrocínio ou orçamento | Esforço depende de heroísmo individual |
| Governança | 1 | Reuniões esporádicas, sem missão escrita | Entusiasmo sem dono e sem ritograma |
| Governança | 2 | Missão, papéis e ritograma documentados (GOV.01 a GOV.03) | Documento existe, mas não governa decisão |
| Governança | 3 | PIRs priorizados e decisões registradas com dono (GOV.05) | Prioridade muda a cada crise sem registro |
| Governança | 4 | Programa avaliado por métricas no comitê com orçamento plurianual | Rota ajustada por evidência, sem herói |
| Dados | 0 | Logs críticos não coletados ou não centralizados | Investigação depende de abrir servidor |
| Dados | 1 | Coleta parcial com retenção curta | Pergunta de caça respondida por ausência |
| Dados | 2 | Endpoint, rede e identidade centralizados com inventário (DAT.1 a DAT.4) | Cobertura existe, qualidade não medida |
| Dados | 3 | Qualidade medida e lacunas mapeadas por técnica (DAT.5) | Lacunas conhecidas sem plano de fechamento |
| Dados | 4 | Telemetria dirigida por hipóteses e ATT&CK, com custo otimizado | Coleta se ajusta a cada ciclo de caça |
| CTI | 0 | Nenhum consumo estruturado de inteligência | Feed bruto vira ruído de alerta |
| CTI | 1 | Consumo de feeds sem validação ou contexto | IOC vencido circulando sem dono |
| CTI | 2 | TIP em uso com validação, TLP e deduplicação (PLT.1, PLT.3) | Plataforma existe, análise não |
| CTI | 3 | PIRs dirigem coleta, produtos táticos regulares com feedback (CTI.6 a CTI.8) | Ciclo funciona, incerteza mal calibrada |
| CTI | 4 | Inteligência estratégica com contribuição a comunidades (INT.3) | Programa informa decisão externa e setorial |
| Hunting | 0 | Nenhuma caça executada | Proatividade depende de sobra de tempo |
| Hunting | 1 | Caças esporádicas, por demanda ou por notícia | Sem método e sem documento |
| Hunting | 2 | Metodologia definida e cadência mensal documentada (TH.4) | Caça acontece, backlog não existe |
| Hunting | 3 | Backlog priorizado, caças repetidas e convertidas (TH.6, TH.8) | Conversão existe, cobertura não medida |
| Hunting | 4 | Hunting contínuo automatizado com validação por simulação (SIM.5) | Caça vira serviço com recall medido |
| Detecção | 0 | Apenas assinaturas de vendor | Cegueira comportamental |
| Detecção | 1 | Regras pontuais sem dono nem teste | Detecção quebra em silêncio |
| Detecção | 2 | Regras versionadas com dono e teste básico (MAP.1) | Catálogo existe, cobertura não medida |
| Detecção | 3 | Detecção como código com heatmap e tuning com evidência (MAP.2, MAP.4) | Cobertura medida, melhoria reativa |
| Detecção | 4 | Cobertura validada por simulação e priorizada por ameaça (SIM.3) | Detecção evolui por objetivo do adversário |
| Resposta | 0 | Reação ad hoc sem playbook | Cada incidente é o primeiro |
| Resposta | 1 | Playbook genérico aplicado a tudo | Contenção lenta e improvisada |
| Resposta | 2 | Playbooks por cenário com runbook testado (RES.1, RES.2) | Resposta funciona, não se mede |
| Resposta | 3 | Dwell time e MTTD medidos, mesa de exercício, integração com CTI (RES.5) | Métricas existem, pós-incidente inconsistente |
| Resposta | 4 | Contenção parcial automatizada e pós-incidente alimentando CTI (AUT.5) | Resposta instrui todo o programa |
| Métricas | 0 | Nenhuma métrica definida | Valor declarado por opinião |
| Métricas | 1 | Contagens de atividade sem meta | Número sem decisão associada |
| Métricas | 2 | KPIs de CTI, hunting e resposta com metas (MET.1 a MET.3) | KPIs existem, revisão não acontece |
| Métricas | 3 | Dashboard vivo com revisão trimestral que muda prioridade (MET.5) | Métrica move prioridade, não orçamento |
| Métricas | 4 | Métricas preditivas de custo e risco com benchmark externo | Medição orienta investimento plurianual |
| Pessoas | 0 | Ninguém com papel formal de CTI ou hunting | Programa é projeto paralelo |
| Pessoas | 1 | Entusiasta isolado, sem tempo protegido | Risco de chaveiro no máximo |
| Pessoas | 2 | Papéis com matriz de competências e tempo protegido (GOV.04) | Estrutura existe, plano de desenvolvimento não |
| Pessoas | 3 | Plano por pessoa com credencial e entrega, ritograma de estudo | Time se desenvolve, retenção ainda frágil |
| Pessoas | 4 | Comunidade de prática, recrutamento interno e acervo próprio | Time ensina e retém, programa sobrevive a rotatividade |
A leitura da tabela é célula a célula, e nunca por cima: a coluna de lacuna típica existe para acelerar a conversa, e não para dispensar a verificação da evidência. O programa que marca nível 3 em uma célula precisa apontar o documento, o rito ou o dado que prova, e a ata registra a referência.
A aplicação por porte exige duas adaptações honestas, e nenhuma delas é de inflar célula. Em operação pequena, com funções acumuladas no SOC, as dimensões de pessoas e governança pontuam com o mesmo rigor de estrutura maior, e a evidência muda de forma sem mudar de substância: ritograma de uma hora semanal documentado equivale ao ritograma mensal de equipe dedicada. Em operação de cloud ou híbrida, a dimensão de dados herda as fontes de provedor, e a evidência de nível 2 inclui o log do provedor centralizado, porque a coleta que não saiu do console do fornecedor não é telemetria do programa.
5. Perfil de Pontuação e Priorização
O perfil é a saída consolidada da aplicação trimestral, e o exemplo abaixo mostra o formato com um programa médio no segundo trimestre de aplicação:
| Dimensão | Nível atual | Meta 12 meses | Prioridade |
|---|---|---|---|
| Governança | 2 | 3 | Média |
| Dados | 2 | 3 | Alta |
| CTI | 3 | 3 | Baixa, sustentar |
| Hunting | 3 | 4 | Média |
| Detecção | 2 | 3 | Alta |
| Resposta | 1 | 3 | Alta |
| Métricas | 2 | 3 | Média |
| Pessoas | 2 | 3 | Alta |
A priorização segue duas regras combinadas. A primeira é a do pior elo: resposta em nível 1 com hunting em 3 é o gap mais caro da esteira, porque caça que acha intrusão sem resposta que contenha produz apenas relato de exposição, e sobe para o topo. A segunda é a do multiplicador: dados e pessoas elevam todas as dimensões ao mesmo tempo, e um nível a mais em dados costuma destravar três células vizinhas no trimestre seguinte, o que explica a regra prática de começar o plano pelas dimensões de fundação.
A curva também se lê na direção negativa, e a leitura honesta inclui essa possibilidade: célula que cai um nível entre aplicações não é falha de registro, é sinal de regressão real, por rotatividade, por mudança de plataforma ou por rito que morreu, e merece a mesma atenção do plano que a célula que deveria subir. O perfil que estagna quatro trimestres na mesma marca, com plano aprovado e evidência prometida, revela um programa que mede sem executar, e a correção dele é de patrocínio, e não de método.
5. Plano de Evolução Trimestral
O plano converte o perfil em compromisso, e a regra de tamanho é dura: uma ou duas dimensões por trimestre, nunca mais, porque programa que promete evoluir oito dimensões ao mesmo tempo não evolui nenhuma. Para cada dimensão escolhida, o plano declara o nível alvo, a evidência que provará a subida, o responsável nominal e o que a subida exige de orçamento, e a ata do trimestre registra exatamente esses campos:
| Dimensão escolhida | Alvo | Evidência da subida | Dono | Custo |
|---|---|---|---|---|
| Resposta | 2 | Playbooks de phishing e ransomware testados em mesa, com runbook | Respondente sênior | Baixo, tempo |
| Dados | 3 | Medição de completude por fonte com lacunas mapeadas e 2 fechadas | Engenheiro de dados | Médio, ingestão |
A verificação do plano acontece na matriz seguinte, com o confronto explícito de evidência prometida e evidência existente; subida confirmada fecha o compromisso, subida não confirmada vira o primeiro item da conversa e precisa de explicação de causa, e não de culpa. Depois de quatro trimestres, a curva dos oito pontos por aplicação é o relatório executivo mais honesto que o programa tem, e o capítulo 11 é o lugar onde ela vira narrativa para a liderança, com custo, risco evitado e trajetória na mesma página.
6. Como Subir Cada Dimensão um Nível
Cada dimensão tem um caminho curto de nível a mais, e o mapa abaixo é o atalho consolidado para o planejamento do trimestre:
- Governança: escrever a missão em uma página, nomear o responsável por cada papel e instalar o rito mensal com ata, porque os três documentos juntos já sustentam o nível 2.
- Dados: inventariar as fontes existentes e centralizar as três classes críticas, endpoint, rede e identidade, com retenção declarada, no padrão das salvaguardas DAT.1 a DAT.4.
- CTI: operar o TIP com validação e TLP por indicador e instalar o canal de disseminação com dono, trocando feed bruto por indicador contextualizado.
- Hunting: fixar a cadência mensal com relato documentado e criar o backlog de hipóteses com priorização registrada, mesmo que a caça seja conduzida por uma pessoa.
- Detecção: versionar as regras existentes com dono e teste mínimo, e publicar o primeiro heatmap de cobertura por tática do ATT&CK.
- Resposta: trocar o playbook genérico por dois playbooks por cenário, testados em mesa, e começar a medir MTTD e dwell time a cada incidente.
- Métricas: escolher cinco KPIs com meta e dono e revê-los trimestralmente em decisão registrada, que é a diferença entre medir e colecionar números.
- Pessoas: proteger tempo de estudo na agenda, aplicar a matriz de competências da nota 04 do capítulo 12 e definir um objetivo de credencial e entrega por pessoa no semestre.
O mapa é deliberadamente não custoso nos níveis baixos, porque a evidência dos primeiros níveis é de organização e disciplina, e não de orçamento; as subidas de nível 3 para 4 é que exigem investimento, e é exatamente por isso que a matriz pontua antes de abrir orçamento, e não depois.
7. Erros Comuns e Pontos de Atenção
- Pontuar por intenção: projeto em andamento, contrato assinado e promessa de contratação não são evidência; a célula sobe quando a evidência existe, é datada e é verificável por terceiro.
- Média de brilho: uma caça excepcional não paga ausência de metodologia, e um relatório brilhante não paga ausência de PIR; o nível é o piso das evidências, e não a média das qualidades.
- Comparar com o concorrente: a matriz mede o programa contra si mesmo, e o benchmark externo serve para calibrar meta, não para inflar célula.
- Pontuar oito dimensões a cada trimestre por impulso de gestão: o exercício degrada em autopromoção; manter o rito curto, as duas dimensões em foco e o resto medido com a mesma régua.
- Esconder o pior elo: resposta em 1 ao lado de hunting em 3 é a informação mais valiosa da matriz, e o time que a suaviza perde a única chance da ferramenta de mudar prioridade.
- Usar a matriz como arma: a pontuação serve ao plano, e não a punição; o trimestre que transforma a matriz em ranking de pessoas perde a honestidade que a sustenta.
- Confundir com o GOV.06: as duas escalas convivem, e divergência grande entre elas é sinal de erro de método em uma, a ser investigado, e não diplomado.
8. Integração com o Restante da Biblioteca
A matriz amarra os instrumentos de medição que a biblioteca espalhou: os modelos de maturidade das notas 05 dos capítulos 01 e 06, a salvaguarda GOV.06 com seus níveis formais, os KPIs das salvaguardas MET.1 a MET.5 e as métricas de colaboração da nota 06 do capítulo 12, e os quatro exercícios anteriores do capítulo 16 são a forma de gerar, de graça, exatamente as evidências que as células cobram. O leitor que executou o exercício 01 tem evidência de resposta; o que executou o 02 tem evidência de CTI; o do 03 tem evidência de hunting e detecção; e a matriz é onde essas provas se transformam em nível declarado.
O fechamento recomendado para a biblioteca é executivo e cíclico: aplicar a matriz na primeira semana do trimestre, com os três perfis pontuando antes da reunião; escolher as duas dimensões do plano com a regra do pior elo e a do multiplicador; registrar as evidências-alvo com dono; e voltar na matriz seguinte com as provas na mão. Um ano desse ciclo, documentado em quatro perfis e uma curva, é o que separa um programa que melhorou de um programa que acha que melhorou, e é exatamente essa diferença que a biblioteca inteira existiu para permitir medir.