Verificar a saída de IA na perícia digital: o que um tribunal precisa de ver

Toda a conversa sobre IA na perícia digital acaba por chegar à mesma pergunta, em geral formulada como um desafio: como sabemos que não está a inventar.

É a pergunta certa, e as respostas habituais são más. Os fornecedores respondem com percentagens de exatidão, que são infalsificáveis num tribunal porque ninguém pode reproduzir a referência de medição. Ou respondem com garantias sobre a qualidade do modelo, o que é uma afirmação sobre um componente e não sobre o processo por que a prova passou.

A melhor resposta é desconfortável e muito mais forte: assuma-se que vai estar errada algumas vezes, e construa-se de forma a que estar errado seja barato de detetar.

O que um tribunal pergunta de facto

Um tribunal não avalia um modelo. Um tribunal pergunta se uma afirmação factual concreta num relatório pode ser sustentada.

Essa pergunta tem uma forma que precede a IA em décadas. De onde veio isto. Quem o examinou. Pode ser-me mostrado. Pode a defesa examinar o mesmo material. Foi alguma coisa alterada. Introduzir um modelo de linguagem no fluxo de trabalho não muda a pergunta, só muda quão fácil ou difícil é respondê-la.

Por isso, o requisito de conceção não é que o modelo esteja certo. É que cada afirmação que produz se resolva num registo concreto que um humano possa abrir, ler e, se for preciso, pôr diante de um juiz.

Se uma afirmação não pode ser seguida até um registo, não devia estar no relatório, quer a tenha produzido um modelo, quer um humano cansado às onze da noite.

A citação é uma propriedade estrutural, não uma função

Há uma grande diferença entre um sistema que em geral menciona as suas fontes e um que não consegue produzir saída sem elas.

No primeiro, a citação é um comportamento. Consegue-se pedindo com jeito, degrada-se nos casos invulgares e falha exatamente onde mais se precisa: a resposta longa e complicada que sintetiza vários fios, que é aquela que um examinador menos consegue verificar de memória.

No segundo, o passo de recuperação acontece primeiro e a identidade dos registos recuperados viaja com a resposta ao longo de todo o percurso. A citação não é algo que o modelo escreveu. É um registo de que linhas foram lidas.

Essa distinção é o que um avaliador devia sondar. A pergunta útil não é «cita fontes». É «o que acontece se não conseguir encontrar uma», e a única resposta aceitável é que nenhuma afirmação é produzida.

A verificação tem de ser barata, ou não acontece

Eis a parte que se subestima, e é um problema de fatores humanos e não técnico.

Qualquer processo que exija ao examinador uma tarde a confirmar uma constatação produz, sob volume de casos, menos constatações confirmadas. Não porque os examinadores sejam descuidados, mas porque o tempo é finito e a confirmação compete com os outros doze lacres à espera. Um passo de verificação que é caro é um passo de verificação que se raciona, e verificação racionada é pior do que automatização nenhuma, porque traz a aparência de rigor sem a substância.

Por isso, a medida que importa é o custo de uma verificação. Se chegar ao registo de origem leva um clique e mostra a linha original no seu contexto original, a verificação deixa de ser uma decisão que o examinador tem de tomar. Torna-se o predefinido, porque saltá-la não poupa nada.

Este é o argumento para construir a rastreabilidade no modelo de registo e não a reconstruir no momento da apresentação. Uma citação que continua a resolver depois de o mapeamento que a produziu ter sido revisto é uma citação em que um examinador pode confiar meses depois, quando o caso chega a tribunal e ninguém se lembra dos pormenores.

O que perguntar a um fornecedor

Se se avalia qualquer ferramenta com um assistente de IA, quatro perguntas separam as sérias das restantes.

Pode clicar-se em qualquer afirmação e chegar-se ao registo de origem? Não um documento, não uma página, o registo. Peça-se que o façam ao vivo, numa afirmação que se escolhe, num fio que se escolhe.

O que fica registado? Cada ação que o assistente tomou e cada resultado que recebeu devia ser escrito algures que se controla e se pode ler. Se o registo fica com o fornecedor, é um produto diferente, com um perfil de risco diferente.

Para onde vão os dados? Se a resposta envolve um fornecedor de inferência de terceiro, é uma decisão que o serviço tem de tomar de propósito, e não descobrir numa revisão de segurança depois da instalação.

O que faz quando não sabe? Faça-se uma pergunta a que os dados não podem responder e observe-se. Um sistema que produz um parágrafo confiante, bem escrito e inteiramente sem sustentação disse tudo o que é preciso saber sobre como se vai comportar num caso real às duas da manhã.

A posição honesta

Os peritos forenses independentes têm sido consistentes nisto: a saída de IA tem de ser verificada contra os dados originais antes de se poder confiar nela. Não é uma limitação a eliminar por engenharia, é a relação correta entre um sistema automatizado e um processo probatório.

O valor de pôr um modelo no trabalho forense não é que substitui o juízo do examinador. É que torna possível exercer esse juízo num volume em que, de outro modo, deixa de acontecer em silêncio. Um examinador que antes conseguia ler cinco por cento de um dispositivo e agora lê a parte relevante de tudo, com cada conclusão verificável num clique, faz melhor trabalho forense, não trabalho forense mais automatizado.

É a única afirmação que vale a pena fazer, e é aquela a que preferimos ser obrigados.