Tekoälyn tuotoksen tarkistaminen digitaalisessa rikostutkinnassa: mitä tuomioistuimen on nähtävä

Jokainen keskustelu tekoälystä digitaalisessa rikostutkinnassa päätyy lopulta samaan kysymykseen, tavallisesti haasteeksi muotoiltuna: mistä tiedämme, ettei se sepitä.

Se on oikea kysymys, ja tavalliset vastaukset ovat huonoja. Toimittajat vastaavat tarkkuusprosenteilla, joita ei oikeussalissa voi osoittaa vääriksi, koska kukaan ei voi toistaa vertailuaineistoa. Tai he vastaavat vakuuttelulla mallin laadusta, mikä on väite komponentista eikä prosessista, jonka läpi todistusaineisto kulki.

Parempi vastaus on epämukava ja paljon vahvempi: olettakaa, että se on joskus väärässä, ja rakentakaa niin, että väärässä oleminen on halpaa havaita.

Mitä tuomioistuin oikeasti kysyy

Tuomioistuin ei arvioi mallia. Tuomioistuin kysyy, voidaanko raportin tiettyä tosiasiaväitettä tukea.

Tuolla kysymyksellä on muoto, joka edeltää tekoälyä vuosikymmenillä. Mistä tämä tuli. Kuka sen tutki. Voidaanko se näyttää minulle. Voiko puolustus tutkia saman aineiston. Muutettiinko mitään. Kielimallin tuominen työnkulkuun ei muuta kysymystä, se muuttaa vain sitä, kuinka helppoa tai vaikeaa siihen on vastata.

Suunnitteluvaatimus ei siis ole, että malli olisi oikeassa. Se on, että jokainen sen tuottama väite ratkeaa tiettyyn tietueeseen, jonka ihminen voi avata, lukea ja tarvittaessa panna tuomarin eteen.

Jos väitettä ei voida seurata tietueeseen, sen ei pitäisi olla raportissa, tuottipa sen malli tai väsynyt ihminen yhdeltätoista yöllä.

Lähdeviittaus on rakenteellinen ominaisuus, ei toiminto

On suuri ero järjestelmän, joka tavallisesti mainitsee lähteensä, ja järjestelmän, joka ei voi tuottaa tuotosta ilman niitä, välillä.

Ensimmäisessä lähdeviittaus on käyttäytymistä. Se saavutetaan pyytämällä kohteliaasti, se heikkenee epätavallisissa tapauksissa, ja se pettää juuri siellä, missä sitä eniten tarvitsette: pitkässä, mutkikkaassa vastauksessa, joka kokoaa useita ketjuja, siinä, jota analyytikko kykenee vähiten tarkistamaan muistista.

Toisessa hakuvaihe tapahtuu ensin, ja haettujen tietueiden identiteetti kulkee vastauksen mukana koko putken läpi. Lähdeviittaus ei ole jotakin, jonka malli kirjoitti. Se on tietue siitä, mitkä rivit luettiin.

Tuo ero on se, jota arvioijan pitäisi koetella. Hyödyllinen kysymys ei ole ”viittaako se lähteisiin”. Se on ”mitä tapahtuu, jos se ei löydä sellaista”, ja ainoa hyväksyttävä vastaus on, ettei väitettä tuoteta.

Tarkistuksen on oltava halpaa, tai sitä ei tapahdu

Tässä on se osa, jota aliarvioidaan, ja se on inhimillisten tekijöiden ongelma eikä tekninen.

Mikä tahansa prosessi, joka vaatii analyytikkoa käyttämään iltapäivän havainnon vahvistamiseen, tuottaa asiamäärän alla vähemmän vahvistettuja havaintoja. Ei siksi, että analyytikot olisivat huolimattomia, vaan koska aika on rajallinen ja vahvistaminen kilpailee kahdentoista muun odottavan sinetin kanssa. Tarkistusvaihe, joka on kallis, on tarkistusvaihe, jota säännöstellään, ja säännöstelty tarkistus on pahempaa kuin ei automaatiota lainkaan, koska se kantaa täsmällisyyden ulkonäköä ilman sen sisältöä.

Merkityksellinen mitta on siis yhden tarkistuksen kustannus. Jos lähdetietueelle päätyminen vie yhden napsautuksen ja näyttää alkuperäisen rivin sen alkuperäisessä asiayhteydessä, tarkistus lakkaa olemasta päätös, joka analyytikon on tehtävä. Siitä tulee oletus, koska sen ohittaminen ei säästä mitään.

Tämä on peruste rakentaa jäljitettävyys tietuemalliin sen sijaan, että se rakennettaisiin uudelleen näyttöhetkellä. Lähdeviittaus, joka yhä ratkeaa sen jälkeen, kun sen tuottanutta kartoitusta on tarkistettu, on lähdeviittaus, johon analyytikko voi luottaa kuukausia myöhemmin, kun asia tulee tuomioistuimeen eikä kukaan muista yksityiskohtia.

Mitä toimittajalta kannattaa kysyä

Jos arvioitte mitä tahansa työkalua, jossa on tekoälyavustaja, neljä kysymystä erottaa vakavat muista.

Voitteko napsauttaa mitä tahansa väitettä ja päätyä lähdetietueelle? Ei asiakirjaan, ei sivulle, tietueelle. Pyytäkää heitä tekemään se livenä, väitteestä, jonka valitsette, ketjussa, jonka valitsette.

Mitä kirjataan? Jokainen avustajan tekemä toimi ja jokainen sen saama tulos pitäisi kirjoittaa jonnekin, jota hallitsette ja jota voitte lukea. Jos loki on toimittajalla, se on eri tuote, jolla on eri riskiprofiili.

Minne aineisto menee? Jos vastaus sisältää kolmannen osapuolen päättelypalvelun, se on päätös, joka yksikkönne on tehtävä tietoisesti eikä löydettävä tietoturva-arviossa käyttöönoton jälkeen.

Mitä se tekee, kun se ei tiedä? Esittäkää kysymys, johon aineisto ei voi vastata, ja katsokaa. Järjestelmä, joka tuottaa varman, hyvin kirjoitetun ja täysin tukemattoman kappaleen, on kertonut teille kaiken, mitä teidän tarvitsee tietää siitä, miten se käyttäytyy todellisessa asiassa kahdelta yöllä.

Rehellinen kanta

Riippumattomat rikostekniset asiantuntijat ovat olleet tästä johdonmukaisia: tekoälyn tuotos on tarkistettava alkuperäistä aineistoa vasten, ennen kuin siihen voi nojata. Se ei ole rajoitus, joka pitäisi suunnitella pois, se on oikea suhde automatisoidun järjestelmän ja todistusprosessin välillä.

Mallin tuomisen arvo rikostekniseen työhön ei ole se, että se korvaisi analyytikon harkinnan. Se on se, että se tekee tuon harkinnan käytöstä mahdollisen määrässä, jossa se muuten hiljaa lakkaa tapahtumasta. Analyytikko, joka aiemmin saattoi lukea viisi prosenttia laitteesta ja nyt lukee olennaisen osan siitä kaikesta, jokainen johtopäätös tarkistettavissa yhdellä napsautuksella, tekee parempaa rikosteknistä työtä, ei automatisoidumpaa rikosteknistä työtä.

Se on ainoa väite, joka kannattaa esittää, ja se on se, johon meidät mieluummin sidotaan.