Home Comunidade Eventos YouTube Networks Desafios // produtos Academy News CTI | CVE Contato

09 - Níveis de Confiança e Expressão de Incerteza

video explicativo
Video explicativoEspaco reservado para o video desta anotação — adicione video: https://youtu.be/... no frontmatter da nota.

Níveis de Confiança e Expressão de Incerteza

Nota 09 do capítulo 05 (Análise e Produção de Inteligência), dedicada a declarar quanta confiança o analista tem no próprio julgamento e com quais palavras.
Apresenta os níveis do ICD 203, o dicionário de palavras de probabilidade estimativa, a calibração do analista e a comparação entre frases que ajudam e frases que atrapalham.
Concretiza a rotulagem da nota 08 e fornece a linguagem de saída da análise de hipóteses concorrentes da nota 10.

1. Contexto e Posicionamento na Biblioteca

Quem consome inteligência toma decisões sob risco, e a utilidade de um relatório depende menos da força com que ele afirma do que da honestidade com que ele mede. Um julgamento calibrado permite ao gestor dimensionar a resposta, contratar a verificação certa e aceitar o risco residual informado; um julgamento assertivo demais força o leitor a adivinhar quanta cautela usar. Esta nota define o vocabulário de incerteza da biblioteca: níveis de confiança para a base do julgamento e palavras de probabilidade para o conteúdo do julgamento.

O posicionamento é de saída do capítulo: as notas 06 a 08 graduaram fontes, informações e categorias; esta nota converte tudo isso na linguagem que aparece no relatório final; a nota 10 mostra o método que gera os julgamentos que aqui aprendem a se expressar. A dependência é explícita: nenhuma declaração de confiança faz sentido sem as categorias da nota 08, e nenhuma probabilidade se sustenta sem a avaliação das notas que a precedem. O capítulo 11 usa os mesmos mecanismos como métricas de qualidade ao longo do tempo.

2. Por que Incerteza Explícita Aumenta a Credibilidade

A intuição de muitos analistas é a contrária: admitir dúvida pareceria fraqueza. A prática de mercado mostra o oposto, por motivos acumulados. Primeiro, decisão útil: o consumidor consegue agir sob "provável, faixa 60 a 90" e preparar contingência, enquanto sob "é certo" ele ou aceita sem reserva ou descarta tudo na primeira contradição. Segundo, confiança acumulada: analista que declara confiança moderada e acerta constrói reputação mais rápido do que analista que declara certeza e erra publicamente, porque o custo do erro sob promessa de certeza é desproporcional.

Terceiro, padronização: as reformas da comunidade de inteligência dos Estados Unidos após as falhas de avaliação sobre armas de destruição no Iraque institucionalizaram a exigência de expressar e explicar incerteza, hoje codificada no ICD 203, a diretiva de padrões analíticos da comunidade. O direcionamento vale para CTI sem tradução: julgamentos importantes precisam vir acompanhados de nível de confiança e da explicação do que sustenta esse nível. Incerteza sem explicação parece hesitação; incerteza explicada parece método, e é isso que o leitor técnico aprende a valorizar.

Existe ainda a assimetria do abalo: um erro sob promessa de certeza descredita o programa inteiro, enquanto um erro declarado com calibração correta é esperado e administrável. O consumidor que sabe que "provável" significa 60 a 90 não se sente traído quando o desfecho cai nos 10 por cento restantes; o consumidor que leu "é certo" não esquece. Por isso o programa que publica dicionário e calibra analistas ganha autoridade justamente no momento em que erra, porque o erro estava dentro do intervalo anunciado.

3. Níveis de Confiança do ICD 203

O ICD 203 fixa três níveis para a confiança analítica, e a leitura correta exige separar duas perguntas que o vocabulário cotidiano mistura: a probabilidade diz respeito ao conteúdo do julgamento, ao evento estimado; a confiança diz respeito à base do julgamento, à qualidade e à quantidade de evidência e raciocínio que o sustentam. A combinação das duas dá precisão à declaração: alta confiança de que algo é improvável é uma posição sólida e frequente em CTI, quando a evidência é forte no sentido contrário.

Nível Condição típica Leitura honesta para o leitor
Alta Evidência de alta qualidade, múltiplas linhas independentes ou assunto de natureza clara O julgamento pode ainda estar errado; alta confiança não é certeza
Moderada Informação credível e plausível, mas com qualidade ou corroboração insuficientes; alternativas ainda viáveis É a melhor leitura disponível hoje, não a única possível
Baixa Informação fragmentada, inferências substantivas ou contradições não resolvidas Orienta vigilância e coleta, não decisão

Duas regras completam o vocabulário. A primeira: confiança declarada sem explicação é decoração, e o ICD 203 pede que o analista explique o que sustenta o nível; a explicação é justamente o que permite ao leitor discordar com informação. A segunda: níveis não se somam, porque três inferências de confiança moderada não produzem uma conclusão de confiança alta, já que erros correlacionados se acumulam na mesma direção. Quando linhas de evidência distintas convergem e são realmente independentes, a confiança sobe; quando derivam da mesma origem, não.

As combinações de probabilidade com confiança ficam mais claras com exemplos reais do dia a dia de CTI. A tabela abaixo mostra julgamentos típicos com as duas coordenadas declaradas, e o motivo pelo qual cada combinação é honesta e útil.

Julgamento em CTI Probabilidade Confiança Por que a combinação é honesta
O ator X não visa o nosso setor Quase certamente não Alta Victimology de três anos sem setor no alvo do grupo
A campanha atual é do ator Y Provável Moderada Infraestrutura sobreposta, sem sobreposição de código
Novo exploit será usado contra nós em 30 dias Chance equivalente Baixa Prior público conhecido, sem PoC observada na telemetria
O ator mantém acesso após a contenção Provavelmente não Moderada Contenção verificada, mas cobertura de sensor incompleta

4. Palavras de Probabilidade Estimativa

Para o conteúdo do julgamento, a tradição consagrada por Sherman Kent é a das palavras de probabilidade estimativa: um dicionário fixo que associa termos a faixas numéricas de trabalho. A tabela abaixo é o dicionário interno adotado nos relatórios da biblioteca; os valores centrais seguem a tradição original, e as faixas são convenção interna, publicada junto ao modelo de relatório para que todos leiam as mesmas palavras da mesma forma.

Termo padrão interno Valor central Faixa de trabalho Uso típico em CTI
Quase certo 95 93 a 99 Afirmação técnica verificada por observação direta múltipla
Muito provável 85 80 a 90 Convergência de evidência independente com uma lacuna menor
Provável 75 60 a 90 Julgamento padrão com boa base e alternativas não fechadas
Chance equivalente 50 45 a 55 Duas leituras sustentadas por evidência comparável
Provavelmente não 30 10 a 40 Alternativa plausível existe e não foi fechada
Muito improvável 15 10 a 20 Contradições relevantes com a base de evidência
Quase certamente não 5 1 a 10 Evidência direta contra a afirmação

As faixas são convenção, e não ciência: estudos clássicos de interpretação mostram que leitores sem dicionário compartilhado atribuem à mesma palavra valores distantes em dezenas de pontos percentuais. Por isso a regra de precedência é usar, na dúvida entre dois termos, o mais conservador; e por isso o dicionário é publicado junto ao relatório, e não guardado na cabeça do autor. Termos que devem ser banidos do relatório técnico por não transportarem probabilidade mensurável: "pode ser", "não é impossível", "não pode ser descartado", "há sérias razões para acreditar". Quando a revisão jurídica exigir linguagem qualificada, acrescente a faixa numérica entre parênteses.

O dicionário publicado ganha vida no repositório de modelos de relatório, versionado junto com eles. A versão mínima segue o formato abaixo, com faixas e regra de precedência explícitas, para que qualquer leitor encontre a convenção sem perguntar ao autor.

dicionario_probabilidade:
  versao: 2025.1
  termos:
    quase_certo: {central: 95, faixa: [93, 99]}
    muito_provavel: {central: 85, faixa: [80, 90]}
    provavel: {central: 75, faixa: [60, 90]}
    chance_equivalente: {central: 50, faixa: [45, 55]}
    provavelmente_nao: {central: 30, faixa: [10, 40]}
    muito_improvavel: {central: 15, faixa: [10, 20]}
    quase_certamente_nao: {central: 5, faixa: [1, 10]}
  regra_precedencia: "Na dúvida entre dois termos, use o mais conservador"
  banidos: ["pode ser", "não é impossível", "não pode ser descartado"]

5. Calibração do Analista

Calibração é a correspondência entre a confiança declarada e a taxa de acerto real, e é uma habilidade treinável. O mecanismo é simples e exige disciplina de registro: todo julgamento relevante é registrado com data, termo de probabilidade, nível de confiança e identificadores da evidência; periodicamente, os desfechos são confrontados com as declarações; a divergência sistemática em uma direção revela o viés do analista, seja por excesso de precisão, seja por pessimismo, seja por ancoragem em caso recente.

Prática Frequência O que revela
Registro de julgamentos datados Em cada relatório Matéria-prima de toda calibração
Confronto de desfechos em 90 dias Trimestral Faixas sistemáticas otimistas ou pessimistas
Comparação entre analistas no mesmo caso Por ciclo de produção Dispersão de leitura do dicionário e dos níveis
Exercício de probabilidade sem caso real Mensal Calibração bruta, isolada da pressão de produção

O registro de julgamento é curto e cabe no repositório do caso, ao lado da matriz de evidências. O modelo abaixo já inclui o marco que servirá de desfecho para o confronto posterior.

registro_julgamento:
  relatorio: RPT-2025-121
  data: 2025-06-10
  julgamento: "Grupo mantém acesso ao ambiente de parceiros"
  probabilidade: {termo: provavel, faixa: [60, 90]}
  confianca: {nivel: moderada, base: "certificado reutilizável, cobertura parcial"}
  evidencia: ["E1", "E4", "E7"]
  marcos: [{data: 2025-07-10, evento: "correlação JA3 em parceiros"},
           {data: 2025-08-10, evento: "revisão formal do julgamento"}]
  analista: "analista-cti-03"

Duas métricas operacionais alimentam o capítulo 11: a proporção de julgamentos de confiança alta que se mantiveram de pé no confronto de desfechos e o erro médio entre a faixa declarada e o resultado observado. Eventos raros complicam a calibração, e atribuição é o caso extremo: o desfecho pode demorar anos ou nunca se tornar público. Para esses julgamentos, os marcos da nota 10 funcionam como desfechos intermediários, e a calibração acontece por estágio, e não por veredito final.

6. Boas Frases versus Más Frases

A diferença entre uma frase boa e uma frase ruim raramente está no comprimento e quase sempre na estrutura: a frase boa declara julgamento, base e nível; a ruim declara impressão. A tabela abaixo converte os erros mais comuns do dia a dia na versão calibrada que a biblioteca espera nos relatórios.

Frase ruim Problema Versão calibrada
"O grupo pode ter usado a infraestrutura." Sem faixa e sem base "Avaliamos como provável (60 a 90) que o grupo usou a infraestrutura, com base na sobreposição de dois registradores e do mesmo certificado."
"Não podemos descartar que..." Vazia; sempre verdade "Há chance baixa (menos de 10) de envolvimento do grupo, porque nenhum artefato de código é compartilhado."
"É evidente que o acesso veio de dentro." Certeza sem base "A evidência de acesso interno é forte: duas credenciais usadas fora do horário e sem segundo fator. Confiança alta no acesso, baixa na intenção."
"Provavelmente." Palavra solta, sem julgamento nem base "Provável (faixa interna 60 a 90), com confiança moderada, porque a telemetria de parceiros tem cobertura parcial."

Repare no padrão das versões calibradas: todas nomeiam o julgamento, a faixa ou o nível, e a base em uma única frase, sem adjetivo de intensidade. O leitor ganha três informações que a versão ruim esconde: o que se alega, com que base e quanta reserva usar. Frases boas também encurtam reuniões de revisão, porque a discordância passa a apontar a base específica, e não a impressão geral do texto.

Para audiências externas, a tentação é enxugar a incerteza e mandar apenas a conclusão, e essa é a decisão errada com mais frequência do que se imagina. O parceiro que recebe a afirmação sem reserva herda a ambiguidade sem saber, e a resposta dele será proporcional à certeza aparente, e não ao risco real. Mantenha o termo de probabilidade e o nível em qualquer rótulo TLP; a faixa numérica interna pode ser omitida, mas o vocabulário do dicionário continua valendo, porque é a convenção compartilhada que dá sentido à palavra.

7. Exemplo de Parágrafo com Incerteza Bem Expressa

O parágrafo abaixo é o padrão de redação para a conclusão de um relatório de caso na biblioteca, e a leitura comentada vem logo depois do bloco. Comente cada elemento após a leitura em treinamento, porque o valor está nos componentes e não no tom.

Avaliamos com confiança moderada que o grupo responsável pela intrusão
de março mantém acesso ao ambiente de parceiros (probabilidade:
provável, faixa interna 60 a 90). A base é a sobreposição do
certificado TLS usado no C2 de março com dois beacons observados no
tráfego de parceiros em maio, corroborada por janelas de operação
consistentes com o fuso do grupo. A confiança é moderada, e não alta,
porque o certificado é reutilizável e a telemetria de parceiros tem
cobertura parcial. Se o julgamento estiver correto, novos beacons com
o mesmo JA3 devem aparecer até o fim do trimestre; marcos de revisão
foram fixados para 30 e 60 dias.

O parágrafo cumpre todas as regras da nota: termo de probabilidade com faixa, nível de confiança com base declarada, motivo explícito para não subir de nível e marco falsificável com prazo. O leitor sabe exatamente o que mudaria a avaliação, e o analista se compromete com uma verificação datada em vez de uma convicção sem teste. Esse formato também protege a organização operacionalmente, porque registra que a decisão foi tomada com risco explicitado, e não sob promessa de certeza.

8. Erros Comuns e Pontos de Atenção

  • Confiança alta como retórica de autoridade; efeito: o erro destrói credibilidade em duplicata; correção: nível seguido da base que o sustenta, sempre.
  • Termo de probabilidade sem dicionário publicado; efeito: cada leitor traduz a palavra à sua maneira; correção: faixas no modelo de relatório, com regra de precedência.
  • Palavras vazias consagradas pelo uso; efeito: "não pode ser descartado" transporta quase nenhuma informação; correção: dicionário fixo com faixas numéricas.
  • Nível sem explicação; efeito: confiança parece capricho de estilo; correção: uma frase de base para todo nível declarado.
  • Calibração sem registro de julgamentos; efeito: viés invisível se repete por anos; correção: registro datado e confronto trimestral de desfechos.
  • Somar níveis de linhas dependentes; efeito: corroboração falsa eleva confiança sem merecer; correção: independência demonstrada antes de subir o nível.
  • Esconder incerteza para parecer decisivo; efeito: resposta superdimensionada ou subdimensionada; correção: incerteza explicada com recomendação proporcional ao risco.

9. Integração com o Restante da Biblioteca

A nota 08 fornece as categorias que recebem confiança: fatos não pedem nível de confiança, pedem registro primário; inferências e hipóteses pedem os dois, probabilidade e confiança. A nota 10 gera os julgamentos que esta nota ensina a escrever e fornece os marcos que alimentam a calibração. No restante da biblioteca, o capítulo 03 converte confiança em metadado de indicador, o capítulo 11 transforma confrontos de desfecho em métricas de programa e o capítulo 12 adota o vocabulário como boa prática de produção.

A implementação fecha com dois detalhes práticos. No STIX 2.1, o campo confidence de 0 a 100 recebe a conversão da faixa de probabilidade, e não do nível de confiança, porque o campo numérico representa a probabilidade da afirmação; a confiança em si viaja em propriedade personalizada com o nível e a base. E no processo editorial, o dicionário de probabilidades é versionado junto ao modelo de relatório: mudança de faixa exige reavaliação dos relatórios abertos e nota de versão, porque o leitor que comparar relatórios de versões diferentes precisa saber que o vocabulário mudou por baixo dele.