Å verifisere KI-resultater i digital kriminalteknikk: hva en domstol trenger å se

Enhver samtale om KI i digital kriminalteknikk ender til slutt ved det samme spørsmålet, vanligvis formulert som en utfordring: hvordan vet vi at den ikke finner på ting.

Det er det riktige spørsmålet, og de vanlige svarene er dårlige. Leverandører svarer med nøyaktighetsprosenter, som ikke kan etterprøves i en rettssal fordi ingen kan gjenskape referansemålingen. Eller de svarer med beroligelse om kvaliteten på modellen, som er en påstand om en komponent heller enn om prosessen beviset gikk gjennom.

Det bedre svaret er ubehagelig og langt sterkere: anta at den av og til vil ta feil, og bygg slik at det er billig å oppdage at den tar feil.

Hva en domstol faktisk spør om

En domstol vurderer ikke en modell. En domstol spør om en bestemt faktisk påstand i en rapport kan underbygges.

Det spørsmålet har en form som er flere tiår eldre enn KI. Hvor kom dette fra. Hvem undersøkte det. Kan det vises meg. Kan forsvaret undersøke det samme materialet. Ble noe endret. Å føre en språkmodell inn i arbeidsflyten endrer ikke spørsmålet, det endrer bare hvor lett eller vanskelig det er å svare.

Designkravet er derfor ikke at modellen har rett. Det er at enhver uttalelse den produserer, løser seg til en bestemt post som et menneske kan åpne, lese og, om nødvendig, legge frem for en dommer.

Hvis en påstand ikke kan spores tilbake til en post, bør den ikke være i rapporten, enten en modell produserte den eller et trøtt menneske gjorde det klokken elleve om kvelden.

Kildehenvisning er en strukturell egenskap, ikke en funksjon

Det er en stor forskjell mellom et system som vanligvis nevner kildene sine, og ett som ikke kan produsere et resultat uten dem.

I det første er kildehenvisning en atferd. Den oppnås ved å be pent, den svekkes i uvanlige tilfeller, og den svikter nettopp der De trenger den mest: det lange, kompliserte svaret som sammenfatter flere tråder, som er det en analytiker er minst i stand til å kontrollere etter hukommelsen.

I det andre skjer gjenfinningen først, og identiteten til de hentede postene følger med svaret gjennom hele løpet. Kildehenvisningen er ikke noe modellen skrev. Den er et register over hvilke rader som ble lest.

Det skillet er det en som vurderer, bør undersøke. Det nyttige spørsmålet er ikke «henviser den til kilder». Det er «hva som skjer hvis den ikke finner en», og det eneste akseptable svaret er at ingen påstand produseres.

Verifisering må være billig, ellers skjer den ikke

Her er delen som undervurderes, og det er et problem om menneskelige faktorer heller enn et teknisk problem.

Enhver prosess som krever at analytikeren bruker en ettermiddag på å bekrefte et funn, vil under saksmengde produsere færre bekreftede funn. Ikke fordi analytikere er uaktsomme, men fordi tiden er endelig og bekreftelsen konkurrerer med de tolv andre seglene som venter. Et verifiseringssteg som er dyrt, er et verifiseringssteg som rasjoneres, og rasjonert verifisering er verre enn ingen automatisering i det hele tatt, fordi den bærer skinnet av grundighet uten substansen.

Målet som betyr noe, er derfor kostnaden ved én kontroll. Hvis det å lande på kildeposten tar ett klikk og viser originalraden i sin opprinnelige kontekst, slutter verifisering å være en avgjørelse analytikeren må ta. Den blir standarden, fordi det ikke sparer noe å hoppe over den.

Dette er argumentet for å bygge kildesporbarhet inn i postmodellen heller enn å rekonstruere den ved visning. En kildehenvisning som fortsatt kan løses etter at mappingen som produserte den, er revidert, er en kildehenvisning en analytiker kan stole på måneder senere, når saken kommer for retten og ingen husker detaljene.

Hva De spør en leverandør om

Hvis De vurderer et verktøy med en KI-assistent i, skiller fire spørsmål de alvorlige fra resten.

Kan De klikke på enhver uttalelse og lande på kildeposten? Ikke et dokument, ikke en side, posten. Be dem gjøre det direkte, på en påstand De velger, i en tråd De plukker ut.

Hva logges? Hver handling assistenten tok, og hvert resultat den mottok, bør skrives et sted De kontrollerer og kan lese. Hvis loggen ligger hos leverandøren, er det et annet produkt med en annen risikoprofil.

Hvor går dataene? Hvis svaret involverer en tredjeparts inferensleverandør, er det en avgjørelse tjenesten Deres må ta med vilje, heller enn å oppdage i en sikkerhetsgjennomgang etter utplassering.

Hva gjør den når den ikke vet? Still et spørsmål dataene ikke kan svare på, og se. Et system som produserer et avsnitt som er selvsikkert, velskrevet og helt uten belegg, har fortalt Dem alt De trenger å vite om hvordan det vil oppføre seg i en virkelig sak klokken to om natten.

Det ærlige standpunktet

Uavhengige kriminaltekniske sakkyndige har vært samstemte om dette: KI-resultater må verifiseres mot opprinnelige data før de kan stoles på. Det er ikke en begrensning som skal konstrueres bort, det er det riktige forholdet mellom et automatisert system og en bevisprosess.

Verdien av å sette en modell inn i kriminalteknisk arbeid er ikke at den erstatter analytikerens skjønn. Den er at den gjør det mulig å utøve det skjønnet i et volum der det ellers stille slutter å skje. En analytiker som tidligere kunne lese fem prosent av en enhet, og nå leser den relevante delen av hele den, med hver konklusjon kontrollerbar med ett klikk, gjør bedre kriminalteknisk arbeid, ikke mer automatisert kriminalteknisk arbeid.

Det er den eneste påstanden som er verdt å fremsette, og det er den vi heller vil bli holdt til.