Avaliação de Confiabilidade das Fontes

Nota 06 do capítulo 05 (Análise e Produção de Inteligência), abrindo o bloco de avaliação de evidências da produção analítica.
Trata da confiabilidade da fonte com a escala Admiralty completa, do histórico de acurácia, das diferenças entre fontes humanas e técnicas e do ciclo de decaimento e reavaliação.
Dialoga com a nota 07 do capítulo 02 e se desdobra na nota 07 deste capítulo, que avalia a credibilidade de cada informação individual.

1. Contexto e Posicionamento na Biblioteca

O capítulo 02 avaliou as fontes como operação de coleta: custo, cobertura, contratos e o primeiro código Admiralty gravado no pipeline. A produção analítica exige um segundo julgamento, feito no momento do uso: o analista que escreve o relatório responde pela ponderação de cada fonte que sustenta suas afirmações. O código herdado do pipeline é ponto de partida e nunca veredito, porque fontes mudam, ambientes mudam e o significado de uma afirmação muda conforme o contexto do caso.

Esta nota instala o vocabulário de julgamento da fonte no balcão de produção e o mantém vivo ao longo do tempo. As notas anteriores do capítulo cuidaram do processo de produção e das técnicas de análise; daqui em diante o capítulo trata da qualidade do insumo: a fonte nesta nota, a informação individual na nota 07, as categorias epistêmicas na nota 08, a expressão de incerteza na nota 09 e o teste de hipóteses concorrentes na nota 10. A confiabilidade da fonte vem primeiro porque todo julgamento posterior herda o peso daquilo que o sustentou.

Confiabilidade é um atributo do produtor do dado, e não do dado em si: considera quem produz, com que método, com que histórico e sob que incentivos. Nenhum desses elementos muda por causa de uma informação específica, e é por isso que o julgamento de confiabilidade evolui devagar, por acumulação de histórico. A credibilidade, ao contrário, é julgada item a item e pode mudar em minutos, quando a telemetria confirma ou refuta uma afirmação pontual.

2. Confiabilidade da Fonte e Credibilidade da Informação

A escala Admiralty sobrevive desde a inteligência militar do século XX porque separa dois eixos que a intuição insiste em colapsar. Uma fonte completamente confiável pode relatar algo improvável, e uma fonte notoriamente irregular pode acertar por acaso; colapsar os dois julgamentos em um único número destrói exatamente a informação que o consumidor precisa para decidir. O par letra-número, de A1 a F6, carrega os dois eixos em um campo curto que cabe em qualquer etiqueta de metadado e sobrevive a migração entre sistemas.

Esta nota concentra-se no primeiro eixo e na sua manutenção; a nota 07 detalha o segundo. A regra operacional que costura os dois é simples: toda afirmação citada em relatório carrega o par completo, e o julgamento analítico final nunca pode ser mais forte do que o elo mais fraco das afirmações que o sustentam. O capítulo 02 apresentou a escala na perspectiva da coleta; aqui o foco é o uso corrente, com histórico, decaimento e reavaliação documentada.

3. Escala Admiralty Completa (A1 a F6)

A letra classifica a fonte e o número classifica a informação, e o par viaja junto em qualquer sistema. A tabela de letras abaixo usa o mesmo vocabulário da nota 07 do capítulo 02, com perfis típicos de CTI para calibrar o primeiro julgamento de cada tipo de produtor.

Três regras de uso evitam os abusos clássicos. Primeira: fonte nova entra como F6, e isso é correto, porque sem histórico não há julgamento, e benevolência com fonte desconhecida é o caminho mais curto para a automação consumir ruído. Segunda: o item herda o par da fonte até que o analista tenha evidência para julgar diferente, e toda alteração é registrada com data e motivo. Terceira: nenhum fluxo descarta material automaticamente por código baixo, porque um D4 pode ser a única antecipação disponível de uma campanha; o tratamento correto para código baixo é menos automação, e não menos atenção humana.

Os pares frequentes ganham leitura operacional na tabela abaixo, que serve de calibração rápida em triagem e revisão de relatórios.

4. Histórico de Acurácia e Calibração Contínua

O histórico transforma código estático em confiança calibrada. Para cada fonte, o programa registra o desfecho de seus itens: confirmado por telemetria primária, corroborado por segunda fonte independente, refutado pelo ambiente ou obsoleto sem uso. A janela móvel de noventa dias captura a degradação sem congelar o passado distante. A granularidade importa: fontes excelentes em indicadores técnicos podem ser ruins em motivação e atribuição, e a pontuação precisa separar tipos de afirmação para não premiar nem punir além da conta.

-- Taxa de confirmação por fonte e por tipo de afirmação, janela de 90 dias
SELECT f.nome AS fonte,
       i.tipo_afirmacao,
       COUNT(*) AS itens,
       SUM(CASE WHEN i.desfecho = 'confirmado' THEN 1 ELSE 0 END) AS confirmados,
       SUM(CASE WHEN i.desfecho = 'refutado'   THEN 1 ELSE 0 END) AS refutados,
       ROUND(100.0 * SUM(CASE WHEN i.desfecho = 'confirmado' THEN 1 ELSE 0 END)
             / NULLIF(COUNT(*), 0), 1) AS confirmacao_pct
FROM itens_inteligencia i
JOIN fontes f ON f.id = i.fonte_id
WHERE i.avaliado_em >= CURRENT_DATE - INTERVAL '90 days'
GROUP BY f.nome, i.tipo_afirmacao
HAVING COUNT(*) >= 10
ORDER BY f.nome, confirmacao_pct DESC;

A consulta expõe o padrão que a pontuação agregada esconde: fonte forte em IOC e fraca em atribuição, por exemplo. O corte mínimo de dez itens evita que médias de amostra minúscula movimentem códigos; fonte com menos de dez desfechos na janela permanece no código anterior até completar amostra. A leitura por tipo de afirmação também alimenta a nota 09, porque a confiança declarada em relatório deve corresponder ao desempenho real da fonte na categoria da afirmação que está sendo citada.

5. Fontes Humanas versus Fontes Técnicas

CTI mistura produtores que falham de maneiras diferentes, e aplicar o mesmo protocolo de verificação aos dois lados é erro recorrente. Fontes de natureza humana, como pesquisadores, contatos de fórum, analistas de fabricante e relatos de vítimas, erram por percepção, memória, incentivo e engano deliberado. Fontes técnicas, como sensores, sandbox, DNS passivo e feeds derivados de telemetria, erram por cobertura, calibração, falsos positivos e imitação de infraestrutura. O julgamento de confiabilidade reconhece o modo de falha para escolher o teste certo.

A maioria das fontes reais em CTI é híbrida: um analista humano lendo telemetria técnica de terceiros, por exemplo. Nesses casos o par Admiralty aplica-se à cadeia inteira, e o elo mais fraco governa o resultado; a nota 07 formaliza essa regra com o modelo RUET. A consequência prática é exigir, para pares altos, clareza sobre qual parte da cadeia foi verificada: a telemetria foi reproduzida, ou apenas o texto do analista foi lido e aprovado?

6. Decaimento e Reavaliação

Fontes degradam por motivos concretos e observáveis: troca de equipe-chave, aquisição da empresa, banimento do contato em fórum, mudança de metodologia, queda deliberada de qualidade em prol de volume. O código atribuído no último trimestre pode estar obsoleto hoje, e nenhuma pontuação automática substitui a revisão por quem conhece o contexto da fonte. A disciplina de reavaliação combina cadência fixa com gatilhos por evento, e os gatilhos mais úteis são os seguintes.

• Refutação por telemetria primária, especialmente quando o custo do erro foi alto para a operação.
• Contradição com segunda fonte independente e confiável, em afirmação central e não periférica.
• Mudança de propriedade, de equipe, de metodologia ou de escopo declarado da fonte.
• Volume anômalo, queda súbita ou disparo sem explicação operacional plausível.
• Conflito de interesse novo, como fonte que passa a vender o remédio para o problema que relata.
• Fim do ciclo de vida do contrato ou do acesso que sustentava a coleta da fonte.

registro_reavaliacao:
  id_fonte: SRC-041
  data: 2025-05-20
  codigo_anterior: C3
  codigo_novo: D4
  gatilho: "Contradição com telemetria primária em dois casos"
  evidencia: ["RPT-2025-091", "RPT-2025-104"]
  responsavel: "curadoria-fontes"
  acao: "Fonte sai da automação; itens novos entram em fila de revisão"
  proxima_revisao: 2025-08-20

A revisão trimestral percorre todas as fontes ativas com foco nas que tiveram eventos; a reavaliação por evento é imediata e responsabilidade do analista do caso. O registro de mudança de código é material de inteligência sobre o próprio ecossistema de coleta: padrões de degradação simultânea em várias fontes costumam indicar mudança estrutural, como fechamento de comunidade ou rotação de infraestrutura compartilhada. Por isso o histórico de códigos deve ser consultável por data, e não apenas sobrescrito a cada atualização.

7. Exemplo de Aplicação

O relatório sobre uma campanha de phishing contra cooperativas de crédito ilustra a aplicação completa. Três insumos chegam no mesmo dia: advisory de PSIRT com domínio de phishing, post em canal de Telegram alegando a mesma infraestrutura e feed agregador repetindo o advisory. O analista grada cada afirmação separadamente, e não o relatório inteiro, e decide onde buscar corroboração antes de publicar.

relatorio: RPT-2025-114
afirmacoes:
  - id: F1
    texto: "Domínio de phishing distribuído por e-mail com anexo ISO"
    fonte: {id: SRC-003, admiralty_inicial: B2}
    corrobora: [{fonte: telemetria-proxy, admiralty: A1}]
    par_final: A1
  - id: F2
    texto: "Mesma infraestrutura usada contra cooperativas em 2023"
    fonte: {id: SRC-041, admiralty: D4}
    par_final: D4
    acao: "Consultar passive DNS interno antes de citar"
  - id: F3
    texto: "Campanha atinge dez instituições do setor"
    fonte: {id: SRC-017, admiralty: C3}
    par_final: C3
    acao: "Agregador repete o advisory; não soma corroboração"

O julgamento do relatório usa A1 para o fato técnico confirmado e trata o histórico de 2023 como possível até o passive DNS responder; a repetição pelo agregador é descontada porque não é independência. Este é o padrão que a nota 07 generaliza: corroboração exige independência demonstrada, e o par final de cada afirmação é registrado, e não deduzido em silêncio. Quando o leitor sênior discordar, discorda com informação: qual afirmação, qual fonte, qual par.

8. Erros Comuns e Pontos de Atenção

• Colapsar confiabilidade e credibilidade em um único número; efeito: perda do par de julgamentos que a escala separa; correção: manter a letra para a fonte e o número para a informação, sempre.
• Benevolência com fonte nova; efeito: material sem histórico entra em automação; correção: F6 até o primeiro ciclo completo de desfechos.
• Código herdado congelado por anos; efeito: julgamento defasado sustenta relatórios atuais; correção: gatilhos de reavaliação e cadência trimestral com registro.
• Mesmo protocolo de verificação para fonte humana e técnica; efeito: teste errado produz confiança falsa; correção: protocolo por modo de falha, conforme a seção 5.
• Pontuação agregada por volume de produção; efeito: fonte ruidosa parece valiosa por produzir muito; correção: pontuação por tipo de afirmação com corte mínimo de amostra.
• Mudança de código sem registro de motivo; efeito: histórico incompreensível na auditoria; correção: data, gatilho, evidência e responsável em toda alteração.
• Tratar código baixo como lixo; efeito: perda de antecipação única; correção: código baixo reduz automação, nunca reduz atenção humana qualificada.

9. Integração com o Restante da Biblioteca

A nota 07 do capítulo 02 instalou o vocabulário na coleta; esta nota o torna prática de produção. A nota 07 deste capítulo acrescenta o eixo da credibilidade por informação; a nota 08 mostra como afirmações confirmadas viram fatos e interpretadas viram inferências; a nota 09 converte pares em níveis de confiança declarados; e a nota 10 usa o histórico das fontes como peso na matriz de hipóteses. Fora do capítulo, os indicadores do capítulo 03 herdam a confiança da fonte por onde circulam, o capítulo 11 mede o programa com as taxas que o histórico produz e os controles do capítulo 15 espelham a operação na gestão de fontes.

A integração com os formatos abertos fecha o ciclo. O STIX 2.1 carrega um campo de confiança numérico de 0 a 100, e a conversão perde informação se o par Admiralty for descartado no caminho; a tabela abaixo é a convenção de mapeamento sugerida para o TIP da biblioteca, com o par original preservado em propriedade personalizada para leitura humana.

No MISP, a mesma convenção vira tags da taxonomia admiralty-score, com um predicado para a letra e outro para o número, o que permite filtragem e sincronização seletiva sem perder o par. A regra final vale para qualquer formato: o par original é sempre preservado legível ao lado da conversão numérica, porque conversões existem para máquinas e julgamentos continuam sendo de analistas.