Az MI kimenetének ellenőrzése a digitális kriminalisztikában: amit egy bíróságnak látnia kell

Az MI-ről szóló minden beszélgetés a digitális kriminalisztikában előbb-utóbb ugyanahhoz a kérdéshez ér, amelyet rendszerint kihívásként fogalmaznak meg: honnan tudjuk, hogy nem talál ki dolgokat.

Ez a helyes kérdés, és a szokásos válaszok rosszak. A szállítók pontossági százalékokkal válaszolnak, amelyek egy tárgyalóteremben cáfolhatatlanok, mert senki sem tudja reprodukálni a viszonyítási alapot. Vagy a modell minőségéről szóló megnyugtatással válaszolnak, ami egy összetevőről szóló állítás, nem arról a folyamatról, amelyen a bizonyíték keresztülment.

A jobb válasz kényelmetlen és sokkal erősebb: feltételezze, hogy néha tévedni fog, és úgy építsen, hogy a tévedés olcsón felismerhető legyen.

Mit kérdez valójában egy bíróság

Egy bíróság nem egy modellt értékel. Azt kérdezi, hogy egy jelentés egy konkrét tényállítása alátámasztható-e.

Ennek a kérdésnek olyan formája van, amely évtizedekkel megelőzi az MI-t. Honnan származik ez. Ki vizsgálta meg. Meg lehet-e mutatni nekem. Megvizsgálhatja-e a védelem ugyanazt az anyagot. Változott-e bármi. Egy nyelvi modell bevezetése a munkafolyamatba nem változtatja meg a kérdést, csak azt, mennyire könnyű vagy nehéz válaszolni rá.

A tervezési követelmény tehát nem az, hogy a modellnek igaza legyen. Hanem az, hogy minden állítás, amelyet előállít, egy konkrét rekordra oldódjon fel, amelyet egy ember megnyithat, elolvashat, és ha kell, egy bíró elé tehet.

Ha egy állítás nem követhető vissza egy rekordig, nem szabad a jelentésben lennie, akár egy modell állította elő, akár egy fáradt ember este tizenegykor.

A hivatkozás szerkezeti tulajdonság, nem funkció

Nagy különbség van egy olyan rendszer között, amely rendszerint megemlíti a forrásait, és egy olyan között, amely nélkülük nem tud kimenetet előállítani.

Az elsőben a hivatkozás viselkedés. Azzal érik el, hogy szépen kérik, szokatlan esetekben romlik, és pontosan ott hibázik, ahol a legnagyobb szükség van rá: a hosszú, bonyolult válaszban, amely több szálat foglal össze, és amelyet egy vizsgáló a legkevésbé tud emlékezetből ellenőrizni.

A másodikban a visszakeresési lépés történik először, és a visszakeresett rekordok azonossága a válasszal együtt utazik a teljes folyamaton. A hivatkozás nem olyasmi, amit a modell írt. Annak a feljegyzése, mely sorokat olvasták.

Ezt a különbséget kell egy értékelőnek vizsgálnia. A hasznos kérdés nem az, hogy „hivatkozik-e forrásokra”. Hanem az, hogy „mi történik, ha nem talál egyet”, és az egyetlen elfogadható válasz az, hogy nem születik állítás.

Az ellenőrzésnek olcsónak kell lennie, különben nem történik meg

Ez az a rész, amelyet alábecsülnek, és az emberi tényezők problémája, nem technikai.

Bármely folyamat, amely megköveteli, hogy a vizsgáló egy délutánt töltsön egy megállapítás megerősítésével, ügyteher alatt kevesebb megerősített megállapítást fog előállítani. Nem azért, mert a vizsgálók gondatlanok, hanem azért, mert az idő véges, és a megerősítés versenyez a várakozó másik tizenkét pecséttel. A drága ellenőrzési lépés olyan ellenőrzési lépés, amelyet adagolnak, és az adagolt ellenőrzés rosszabb, mint ha egyáltalán nincs automatizálás, mert a szigor látszatát hordozza a lényeg nélkül.

A mérték, amely számít, egy ellenőrzés költsége. Ha a forrásrekordra jutás egy kattintás, és az eredeti sort az eredeti szövegkörnyezetében mutatja, az ellenőrzés megszűnik olyan döntés lenni, amelyet a vizsgálónak meg kell hoznia. Alapértelmezéssé válik, mert a kihagyása semmit sem takarít meg.

Ez az érv amellett, hogy a forráskövethetőséget a rekordmodellbe építsük, ne a megjelenítéskor állítsuk össze. Az a hivatkozás, amely továbbra is feloldódik, miután az őt létrehozó leképezést felülvizsgálták, olyan hivatkozás, amelyre a vizsgáló hónapokkal később támaszkodhat, amikor az ügy bíróság elé kerül, és senki sem emlékszik a részletekre.

Mit kérdezzen egy szállítótól

Ha bármely eszközt értékel, amelyben MI-asszisztens van, négy kérdés választja el a komolyakat a többitől.

Rákattinthat-e bármely állításra, és a forrásrekordra jut-e? Nem dokumentumra, nem oldalra, a rekordra. Kérje meg őket, hogy tegyék meg élőben, egy Ön által választott állításon, egy Ön által kiválasztott szálban.

Mit naplóznak? Az asszisztens minden műveletét és minden kapott eredményét olyan helyre kell írni, amelyet Ön ellenőriz és el tud olvasni. Ha a napló a szállítónál van, az más termék, más kockázati profillal.

Hová megy az adat? Ha a válasz harmadik fél következtetési szolgáltatóját érinti, azt a szolgálatának szándékosan kell eldöntenie, nem pedig egy biztonsági áttekintésben felfedeznie a telepítés után.

Mit tesz, amikor nem tudja? Tegyen fel egy kérdést, amelyre az adat nem tud válaszolni, és figyeljen. Az a rendszer, amely magabiztos, jól megírt és teljesen alátámasztatlan bekezdést állít elő, mindent elmondott arról, hogyan fog viselkedni egy valódi ügyben hajnali kettőkor.

Az őszinte álláspont

A független kriminalisztikai szakértők ebben következetesek voltak: az MI kimenetét az eredeti adattal kell ellenőrizni, mielőtt rá lehetne támaszkodni. Ez nem olyan korlát, amelyet mérnöki munkával el kell tüntetni, hanem a helyes viszony egy automatizált rendszer és egy bizonyítási folyamat között.

Egy modell kriminalisztikai munkába helyezésének értéke nem az, hogy helyettesíti a vizsgáló ítéletét. Hanem az, hogy ennek az ítéletnek a gyakorlását olyan mennyiségben teszi lehetővé, ahol az egyébként csendben megszűnik megtörténni. Az a vizsgáló, aki korábban egy eszköz öt százalékát tudta elolvasni, és most az egész releváns részét olvassa, minden következtetéssel egy kattintással ellenőrizhetően, jobb kriminalisztikai munkát végez, nem automatizáltabb kriminalisztikai munkát.

Ez az egyetlen állítás, amelyet érdemes tenni, és ez az, amelyhez inkább tartjuk magunkat.