Att verifiera AI-resultat i digital forensik: vad en domstol behöver se

Varje samtal om AI i digital forensik kommer till slut fram till samma fråga, vanligen formulerad som en utmaning: hur vet vi att den inte hittar på.

Det är den rätta frågan, och de vanliga svaren är dåliga. Leverantörer svarar med noggrannhetsprocent, som är ofalsifierbara i en rättssal eftersom ingen kan reproducera mätningen. Eller så svarar de med försäkringar om modellens kvalitet, vilket är ett påstående om en komponent snarare än om det förfarande som bevisen gick igenom.

Det bättre svaret är obekvämt och mycket starkare: utgå från att den ibland har fel, och bygg så att det är billigt att upptäcka att den har fel.

Vad en domstol faktiskt frågar

En domstol utvärderar inte en modell. En domstol frågar om ett bestämt sakpåstående i en rapport kan stödjas.

Den frågan har en form som är decennier äldre än AI. Var kom det här ifrån. Vem undersökte det. Kan det visas för mig. Kan försvaret undersöka samma material. Ändrades något. Att föra in en språkmodell i arbetsflödet ändrar inte frågan, det ändrar bara hur lätt eller svårt det är att besvara den.

Så utformningskravet är inte att modellen ska ha rätt. Det är att varje påstående den producerar löser ut till en bestämd post som en människa kan öppna, läsa och, om det behövs, lägga framför en domare.

Om ett påstående inte kan spåras tillbaka till en post bör det inte finnas i rapporten, vare sig en modell producerade det eller en trött människa gjorde det klockan elva på kvällen.

Källhänvisning är en strukturell egenskap, inte en funktion

Det är stor skillnad mellan ett system som vanligen nämner sina källor och ett som inte kan producera ett resultat utan dem.

I det första är källhänvisning ett beteende. Den uppnås genom att man ber snällt, den försämras i ovanliga fall, och den fallerar precis där ni behöver den mest: det långa, komplicerade svaret som sammanför flera trådar, vilket är det som en analytiker minst kan kontrollera ur minnet.

I det andra sker hämtningssteget först och identiteten hos de hämtade posterna följer med svaret genom hela kedjan. Källhänvisningen är inte något som modellen skrev. Den är ett register över vilka rader som lästes.

Den skillnaden är vad en utvärderare bör pröva. Den användbara frågan är inte «anger den källor». Den är «vad händer om den inte kan hitta en», och det enda godtagbara svaret är att inget påstående produceras.

Verifiering måste vara billig, annars sker den inte

Här är den del som underskattas, och det är ett problem om mänskliga faktorer snarare än ett tekniskt.

Varje förfarande som kräver att analytikern ägnar en eftermiddag åt att bekräfta ett fynd kommer, under ärendebelastning, att ge färre bekräftade fynd. Inte för att analytiker är slarviga, utan för att tiden är ändlig och bekräftelsen konkurrerar med de tolv andra sigill som väntar. Ett verifieringssteg som är dyrt är ett verifieringssteg som ransoneras, och ransonerad verifiering är värre än ingen automatisering alls, eftersom den bär skenet av noggrannhet utan innehållet.

Så det mått som betyder något är kostnaden för en kontroll. Om det tar ett klick att landa på källposten och visar originalraden i sitt ursprungliga sammanhang slutar verifiering att vara ett beslut som analytikern måste fatta. Den blir standarden, eftersom att hoppa över den inte sparar någonting.

Det här är argumentet för att bygga in källspårbarheten i postmodellen snarare än att rekonstruera den vid visning. En hänvisning som fortfarande löser ut efter att mappningen som producerade den har reviderats är en hänvisning som en analytiker kan lita på månader senare, när ärendet kommer till domstol och ingen minns detaljerna.

Vad ni ska fråga en leverantör

Om ni utvärderar ett verktyg med en AI-assistent i det skiljer fyra frågor de seriösa från resten.

Kan ni klicka på vilket påstående som helst och landa på källposten? Inte ett dokument, inte en sida, posten. Be dem göra det live, på ett påstående som ni väljer, i en tråd som ni väljer.

Vad loggas? Varje åtgärd som assistenten vidtog och varje resultat den tog emot bör skrivas någonstans som ni kontrollerar och kan läsa. Om loggen finns hos leverantören är det en annan produkt med en annan riskprofil.

Vart tar data vägen? Om svaret inbegriper en inferensleverantör som är tredje part är det ett beslut som er tjänst måste fatta med avsikt snarare än upptäcka i en säkerhetsgranskning efter driftsättning.

Vad gör den när den inte vet? Ställ en fråga som data inte kan besvara och se på. Ett system som producerar ett självsäkert, välskrivet och helt ostött stycke har sagt er allt ni behöver veta om hur det kommer att bete sig i ett verkligt ärende klockan två på natten.

Den ärliga positionen

Oberoende forensiska experter har varit konsekventa på den här punkten: AI-resultat måste verifieras mot originaldata innan man kan förlita sig på dem. Det är inte en begränsning att konstruera bort, det är den riktiga relationen mellan ett automatiserat system och ett bevisförfarande.

Värdet av att föra in en modell i forensiskt arbete är inte att den ersätter analytikerns omdöme. Det är att den gör det möjligt att utöva det omdömet i en volym där det annars tyst slutar att ske. En analytiker som tidigare kunde läsa fem procent av en enhet och nu läser den relevanta delen av hela den, med varje slutsats kontrollerbar med ett klick, gör bättre forensiskt arbete, inte mer automatiserat forensiskt arbete.

Det är det enda påstående som är värt att göra, och det är det vi hellre vill hållas till.