Avaliação, Proveniência e Histórico das Fontes

Nota 07 do capítulo 02 (Fontes de Dados e Coleta), fechando o capítulo com o controle de qualidade da coleta.
Apresenta a escala Admiralty A1 a F6, os metadados de proveniência, o histórico de acurácia e a pontuação contínua de fontes.
Dialoga com todas as notas anteriores do capítulo e sustenta os capítulos 03 (Indicadores), 05 (Análise e Produção) e 11 (Indicadores e Métricas).

1. Contexto e Posicionamento na Biblioteca

Toda a coleta do capítulo converge para uma pergunta de qualidade: quanto vale, hoje, o que cada fonte entrega? A nota 01 coletou em fontes abertas, a 02 em fontes pagas e oficiais, a 03 em comunidades, a 04 na telemetria interna, a 05 em iscas e a 06 no ecossistema criminoso. Sem um sistema único de avaliação, as seis notas produzem material de pesos incomparáveis, e o consumidor final, o analista de detecção, o hunter e a gestão, não consegue decidir com base em que confiar.

Esta nota define esse sistema em três camadas complementares. A avaliação estática responde pela procedência e pela reputação da fonte no momento da adesão, com a escala Admiralty como vocabulário. A proveniência responde por cada item individual: quem viu, onde, quando e por que caminho o dado chegou. O histórico responde pelo desempenho acumulado, transformando acertos e erros em pontuação contínua que orienta coleta, detecção e orçamento. As três camadas juntas são o que permite que a biblioteca fale de confiança calibrada em vez de confiança decorativa.

2. Escala Admiralty A1 a F6

A escala Admiralty vem da inteligência militar do século XX e sobrevive até hoje porque resolve um problema estrutural com dois eixos separados: a confiabilidade da fonte e a credibilidade da informação são julgamentos distintos, e colapsá-los em um só valor destrói a informação. Uma fonte completamente confiável pode relatar uma improbabilidade; uma fonte não confiável pode acertar por acaso. A escala codifica os dois eixos em um par letra-número, de A1 a F6, que cabe em um campo de metadado e sobrevive a migração entre sistemas.

O uso prático da escala tem três regras que evitam os abusos mais comuns. Primeira: o julgamento é da fonte, não do item individual, e o item herda o código da fonte até que a organização tenha evidência para julgar de forma diferente. Segunda: o par inicial mais comum é F6, e isso é correto, porque fonte nova não tem histórico; a escala começa a valer exatamente quando o histórico começa a existir. Terceira: a escala alimenta decisão, não substitui análise, e nenhum fluxo deve descartar material automaticamente por código baixo, porque o material C4 de hoje pode ser a única antecipação disponível de uma campanha.

3. Proveniência de Cada Item

Proveniência é a genealogia do dado: quem observou, onde, quando, por que caminho e com que transformação. A pergunta operacional que a proveniência responde é de auditoria reversa: dado um item no TIP, em duas horas o analista consegue reconstruir a linha completa entre o evento original e o uso atual? Quando a resposta é não, a organização tem dado órfão, e dado órfão é aquele que ninguém confia, ninguém atualiza e ninguém remove, acumulando até virar ruído permanente.

O conjunto mínimo de metadados de proveniência cabe em uma lista curta e deve ser exigido de toda ingestão, sem exceção. A lista abaixo é o contrato de entrada do pipeline, e item que chega sem esses campos entra marcado como incompleto e entra na fila de enriquecimento, nunca direto na detecção.

• Identidade da fonte: nome do feed, da comunidade ou do sensor, com identificador estável no inventário de fontes.
• Momento de cada etapa: quando o evento ocorreu, quando a fonte o observou, quando a organização o coletou.
• Caminho de chegada: direto, repassado por comunidade, agregado de terceiro, com registro de cada salto conhecido.
• Transformação aplicada: normalização, tradução, agregação ou inferência, cada uma com responsável e versão do processo.
• Marcação de divulgação: TLP de origem e distribuição permitida herdada no caminho.
• Julgamento de qualidade: par Admiralty da fonte no momento da coleta e alterações posteriores com data.

A cadeia de proveniência fica mais clara com um exemplo de caminho longo, que é justamente o caso que exige os metadados. Um indicador observado por parceiro de comunidade, repassado por um ISAC, enriquecido pela organização e usado em detecção tem três saltos e uma transformação, e cada elo adiciona um ponto em que a informação pode ter sido alterada ou descontextualizada. O registro abaixo mostra a mesma informação em formato de trilha textual, alternativa aceitável quando o sistema não suporta o JSON completo.

Trilha de proveniência de um indicador recebido por comunidade
 1. Observado por membro do ISAC em telemetria própria (2025-03-01T09:20Z)
 2. Publicado no MISP do ISAC em TLP:AMBER, admiralty C2 (2025-03-01T11:05Z)
 3. Sincronizado por pull para o MISP interno (2025-03-01T11:31Z)
 4. Enriquecido com passiveDNS interno, tag nova adicionada (2025-03-01T15:02Z)
 5. Consumido por regra de detecção no SIEM (2025-03-02T08:00Z)
Nota: o código herdado permanece C2; o enriquecimento interno não muda a fonte

{
  "valor": "portal-cobranca-falsa.example",
  "tipo": "domain-name",
  "origem": {"fonte": "URLhaus", "id_interno": "SRC-014", "admiralty": "B2"},
  "tempos": {"observado": "2025-03-02T14:00:00Z", "coletado": "2025-03-02T14:12:31Z"},
  "caminho": ["URLhaus", "ingestao-direta"],
  "transformacoes": ["normalizacao-unicode", "tag-por-regex"],
  "tlp": "TLP:GREEN",
  "status": {"estado": "vigente", "valido_ate": "2025-04-02"}
}

4. Histórico de Acurácia e Pontuação Contínua

O histórico transforma a avaliação estática em curva viva. Para cada fonte, o programa acompanha métricas de desempenho sobre a própria produção: quantos itens acionaram, quantos foram falsos positivos, quantos corroboraram com telemetria interna, quantos ficaram obsoletos sem uso e em quanto tempo. O método de cálculo mais robusto é janela móvel, tipicamente noventa dias, porque fontes mudam: feed comercial que troca de provedor de dados degrada, comunidade que perde curadoria degrada, e a pontuação de janela móvel captura a degradação antes que ela contamine o pipeline.

O desenho da pontuação contínua mais simples que funciona combina quatro componentes com pesos explícitos e documentados. Cada componente tem dado objetivo por trás, e o número final é comparável entre fontes e ao longo do tempo, o que permite ranking honesto e decisões de corte.

-- Pontuação mensal por fonte: precisão sobre itens avaliados
SELECT f.nome AS fonte,
       COUNT(*) AS itens_avaliados,
       SUM(CASE WHEN i.resultado = 'confirmado' THEN 1 ELSE 0 END) AS confirmados,
       SUM(CASE WHEN i.resultado = 'falso_positivo' THEN 1 ELSE 0 END) AS falsos,
       ROUND(100.0 * SUM(CASE WHEN i.resultado = 'confirmado' THEN 1 ELSE 0 END) / NULLIF(COUNT(*), 0), 1) AS precisao_pct
FROM itens_inteligencia i
JOIN fontes f ON f.id = i.fonte_id
WHERE i.avaliado_em >= CURRENT_DATE - INTERVAL '90 days'
GROUP BY f.nome
ORDER BY precisao_pct DESC;

A pontuação alimenta decisões com limiares acordados com o SOC, e não com números tirados do contexto. Fonte abaixo do limiar de precisão por dois ciclos seguidos sai da automação e passa a exigir revisão humana; fonte com unicidade próxima de zero é candidata a cancelamento na contabilidade da nota 02; fonte nova entra com Admiralty F6 e é reavaliada após a primeira janela. O registro de mudança de código, com data e motivo, é parte do histórico, porque a curva da fonte é em si material de inteligência sobre a saúde do ecossistema de coleta.

O decaimento natural dos indicadores entra na mesma contabilidade do histórico, porque afeta a leitura de precisão. IOC de infraestrutura de campanha curta fica inútil em dias, e fonte especializada em material volátil precisa ser avaliada por antecipação, e não por permanência; já material de infraestrutura duradoura, como registrador e certificado, sustenta avaliação mais longa. Sem separar a expectativa de vida por tipo de item, a pontuação pune fontes que coletam o que mais interessa, que é justamente o material de curta duração com maior valor de antecipação, e essa é uma das distorções mais comuns em programas que só medem taxa de acerto bruta.

5. Rotulagem e Operação no Dia a Dia

A operação madura de avaliação é quase invisível, porque vive em campos e automações, não em planilhas. No TIP, cada item nasce com proveniência completa e código Admiralty herdado; no SIEM, detecções consomem material por faixa de confiança, com automação restrita a faixas altas e revisão humana nas demais; nos relatórios, cada afirmação carrega a fonte e o código que a sustenta, o que permite ao leitor sênior discordar com informação, e não com intuição. A tabela abaixo resume como as faixas de confiança se traduzem em tratamento no pipeline.

Três hábitos de rotina sustentam o sistema sem burocracia. A revisão trimestral de fontes percorre o ranking de pontuação, confirma limiares e registra decisões de manter, rebaixar ou encerrar. O julgamento Admiralty é atualizado por evento, quando a telemetria confirma ou refuta material importante, e a atualização é do analista responsável pelo caso, com um campo editado. E o reporte mensal inclui o top e o bottom do ranking, porque a discussão sobre fonte ruim é tão produtiva quanto sobre fonte boa.

O registro canônico da fonte fecha a operação: um documento curto por fonte, versionado, que concentra tudo o que as seções anteriores calculam. O modelo abaixo é o mínimo profissional, e a ausência de qualquer campo é sinal de fonte não governada, não de simplicidade.

id_fonte: SRC-021
nome: "Feed técnico X"
tipo: feed_tecnico
categoria: comercial
contrato: {renovacao: 2025-09, custo_anual: "R$ xx.000", clausulas: [nao_redistribuicao, uso_interno]}
admiralty: {inicial: F6, atual: B2, ultima_revisao: 2025-06-30}
metricas_90d: {precisao_pct: 94.2, unicidade_pct: 17.0, acionamentos: 46, falsos: 3}
pipeline: {ingestao: taxa_api_a_cada_30min, destino: TIP, tlp_padrao: "TLP:GREEN"}
decisao: {status: ativo, automacao: permitida_faixa_B, revisao_em: 2025-09-30}

6. Erros Comuns e Pontos de Atenção

• Colapsar confiabilidade da fonte e credibilidade da informação em um único número; efeito: perda do par de julgamentos que a escala separa; correção: manter o par letra-número e registrar os dois eixos.
• Atribuir código alto a fonte nova por boa vontade; efeito: material sem histórico entra em automação; correção: fonte nova é F6 até o primeiro ciclo completo.
• Proveniência opcional na ingestão; efeito: dado órfão acumulando no TIP; correção: campos de proveniência obrigatórios, item incompleto não entra em detecção.
• Pontuação sem limiar nem decisão; efeito: número decorativo que não muda nada; correção: cada faixa com tratamento definido no pipeline e dono de decisão.
• Calibrar por volume de produção da fonte; efeito: fontes ruidosas parecem valiosas por produzirem muito; correção: pontuar por qualidade por item e por antecipação.
• Nunca revisar o código herdado; efeito: julgamento inicial congelado por anos; correção: atualização por evento, com data e responsável.
• Esconder do SOC a diferença entre faixas; efeito: analista trata D4 e A1 com o mesmo peso; correção: faixas visíveis na triagem e no alerta, com regra de tratamento no mesmo lugar.

7. Integração com o Restante da Biblioteca

O sistema desta nota é o collar de qualidade que as demais notas do capítulo já citam: cada fonte declarada nas notas 01 a 06 entra no inventário, recebe F6 inicial, ganha histórico e passa a ter código vivo. O capítulo 03 consome o resultado ao rotular indicadores com confiança e validade, o capítulo 05 usa o par Admiralty como parte do vocabulário de avaliação na produção analítica, e o capítulo 11 mede o programa com as métricas de precisão e de acionamento que a pontuação contínua produz. Nos controles do capítulo 15, o PLT.4 de gestão de fontes é o espelho operacional desta nota na implantação.

A marca deixada para o próximo capítulo é o desfecho natural do ciclo de coleta: o capítulo 03 recebe material avaliado, com origem confiável ou ao menos conhecida, validade declarada e proveniência completa, e transforma observável em indicador. A partir desse ponto, o indicador herda o código de confiança por onde circular, e a qualidade da coleta, ou sua ausência, acompanha cada detecção, cada hunt e cada relatório que a biblioteca produz. Fonte avaliada não é burocracia de metadado; é a diferença entre inteligência calibrada e lista de itens sem dono.