AI-uitvoer verifiëren in de digitale forensische analyse: wat een rechtbank moet kunnen zien

Elk gesprek over AI in de digitale forensische analyse komt uiteindelijk bij dezelfde vraag uit, doorgaans geformuleerd als een uitdaging: hoe weten wij dat het geen dingen verzint.

Het is de juiste vraag, en de gebruikelijke antwoorden zijn slecht. Leveranciers antwoorden met nauwkeurigheidspercentages, die in een rechtszaal niet falsifieerbaar zijn omdat niemand de benchmark kan reproduceren. Of zij antwoorden met geruststelling over de kwaliteit van het model, en dat is een uitspraak over een component en niet over het proces dat het bewijs heeft doorlopen.

Het betere antwoord is ongemakkelijk en veel sterker: ga ervan uit dat het soms onjuist zal zijn, en bouw zo dat onjuist zijn goedkoop te ontdekken is.

Wat een rechtbank werkelijk vraagt

Een rechtbank beoordeelt geen model. Een rechtbank vraagt of een specifieke feitelijke bewering in een rapport kan worden onderbouwd.

Die vraag heeft een vorm die AI decennia voorafgaat. Waar kwam dit vandaan. Wie heeft het onderzocht. Kan het mij worden getoond. Kan de verdediging hetzelfde materiaal onderzoeken. Is er iets gewijzigd. De invoering van een taalmodel in de werkwijze verandert de vraag niet, ze verandert alleen hoe gemakkelijk of moeilijk het is haar te beantwoorden.

De ontwerpeis is dus niet dat het model juist is. Ze is dat elke uitspraak die het produceert, uitkomt bij een specifiek record dat een mens kan openen, lezen en, indien nodig, aan een rechter voorleggen.

Als een bewering niet naar een record kan worden teruggevoerd, hoort ze niet in het rapport, of een model haar nu heeft geproduceerd of een vermoeid mens om elf uur ‘s avonds.

Bronvermelding is een structurele eigenschap, geen functie

Er is een groot verschil tussen een systeem dat doorgaans zijn bronnen noemt en een systeem dat geen uitvoer kan produceren zonder hen.

In het eerste is bronvermelding een gedrag. Ze wordt bereikt door er vriendelijk om te vragen, ze verslechtert in ongebruikelijke gevallen, en ze faalt precies waar u haar het meest nodig heeft: het lange, ingewikkelde antwoord dat verscheidene threads samenvat, en dat is het antwoord dat een analist het minst uit het geheugen kan controleren.

In het tweede gebeurt de ophaalstap eerst, en reist de identiteit van de opgehaalde records met het antwoord mee door de hele keten. De bronvermelding is niet iets wat het model heeft geschreven. Ze is een vastlegging van welke rijen zijn gelezen.

Dat onderscheid is wat een beoordelaar moet beproeven. De nuttige vraag is niet “vermeldt het bronnen”. Ze is “wat gebeurt er als het er geen kan vinden”, en het enige aanvaardbare antwoord is dat er geen bewering wordt geproduceerd.

Verificatie moet goedkoop zijn, anders gebeurt ze niet

Hier is het deel dat wordt onderschat, en het is een probleem van menselijke factoren en geen technisch probleem.

Elk proces dat van de analist vraagt een middag te besteden aan het bevestigen van een bevinding, zal onder werklast minder bevestigde bevindingen opleveren. Niet omdat analisten onzorgvuldig zijn, maar omdat de tijd eindig is en de bevestiging concurreert met de twaalf andere zegels die wachten. Een verificatiestap die duur is, is een verificatiestap die wordt gerantsoeneerd, en gerantsoeneerde verificatie is erger dan helemaal geen automatisering, omdat ze de schijn van gestrengheid draagt zonder de substantie.

De maat die ertoe doet, is dus de kost van één controle. Als het landen op het bronrecord één klik kost en de oorspronkelijke rij in haar oorspronkelijke context toont, houdt verificatie op een beslissing te zijn die de analist moet nemen. Ze wordt de standaard, omdat het overslaan niets oplevert.

Dit is het argument om traceerbaarheid in het recordmodel te bouwen in plaats van haar op het moment van weergave te reconstrueren. Een bronvermelding die nog steeds oplost nadat de mapping die haar produceerde is herzien, is een bronvermelding waarop een analist maanden later kan vertrouwen, wanneer de zaak voor de rechter komt en niemand zich de details herinnert.

Wat u een leverancier vraagt

Als u een hulpmiddel beoordeelt dat een AI-assistent bevat, scheiden vier vragen de serieuze van de rest.

Kunt u op elke uitspraak klikken en op het bronrecord uitkomen? Geen document, geen pagina, het record. Vraag hun het live te doen, op een bewering die u kiest, in een thread die u aanwijst.

Wat wordt gelogd? Elke handeling die de assistent uitvoerde en elk resultaat dat hij ontving, hoort ergens te worden geschreven dat u beheerst en kunt lezen. Als het log bij de leverancier staat, is dat een ander product met een ander risicoprofiel.

Waar gaan de gegevens naartoe? Als het antwoord een inferentieaanbieder van een derde noemt, is dat een beslissing die uw dienst bewust moet nemen en niet pas ontdekken in een beveiligingsbeoordeling na de uitrol.

Wat doet het wanneer het iets niet weet? Stel een vraag die de gegevens niet kunnen beantwoorden, en kijk. Een systeem dat een zelfverzekerde, goed geschreven en geheel ononderbouwde alinea produceert, heeft u alles verteld wat u moet weten over hoe het zich zal gedragen in een echte zaak om twee uur ‘s nachts.

De eerlijke positie

Onafhankelijke forensische deskundigen zijn hierover consistent geweest: AI-uitvoer moet tegen de oorspronkelijke gegevens worden geverifieerd voordat erop kan worden vertrouwd. Dat is geen beperking die moet worden weggewerkt, het is de juiste verhouding tussen een geautomatiseerd systeem en een bewijsproces.

De waarde van een model in forensisch werk is niet dat het het oordeel van de analist vervangt. Ze is dat het het uitoefenen van dat oordeel mogelijk maakt bij een volume waarop het anders stilletjes ophoudt te gebeuren. Een analist die voorheen vijf procent van een apparaat kon lezen en nu het relevante deel van het geheel leest, waarbij elke conclusie in één klik controleerbaar is, doet beter forensisch werk, niet meer geautomatiseerd forensisch werk.

Dat is de enige uitspraak die de moeite van het doen waard is, en het is de uitspraak waaraan wij liever worden gehouden.