Ověřování výstupu AI v digitální forenzní analýze: co potřebuje vidět soud

Každý rozhovor o AI v digitální forenzní analýze nakonec dospěje k téže otázce, obvykle formulované jako námitka: jak víme, že si nevymýšlí.

Je to správná otázka a obvyklé odpovědi jsou špatné. Dodavatelé odpovídají procenty přesnosti, která jsou v soudní síni nevyvratitelná, protože nikdo nedokáže benchmark zopakovat. Nebo odpovídají ujištěním o kvalitě modelu, což je tvrzení o součásti, ne o postupu, kterým důkaz prošel.

Lepší odpověď je nepohodlná a mnohem silnější: předpokládejte, že to občas bude chybné, a postavte to tak, aby bylo chybu levné odhalit.

Na co se soud skutečně ptá

Soud nehodnotí model. Soud se ptá, zda lze konkrétní faktické tvrzení ve zprávě doložit.

Tato otázka má podobu, která předchází AI o desetiletí. Odkud to pochází. Kdo to zkoumal. Lze mi to ukázat. Může obhajoba zkoumat týž materiál. Bylo něco změněno. Zavedení jazykového modelu do postupu otázku nemění, mění jen to, jak snadné, nebo obtížné je na ni odpovědět.

Návrhovým požadavkem tedy není, aby model měl pravdu. Je jím to, aby se každé tvrzení, které vytvoří, rozložilo na konkrétní záznam, který člověk může otevřít, přečíst a v případě potřeby předložit soudci.

Pokud tvrzení nelze sledovat zpět k záznamu, nemá být ve zprávě, ať ho vytvořil model, nebo unavený člověk v jedenáct večer.

Citace je strukturální vlastnost, ne funkce

Je velký rozdíl mezi systémem, který své zdroje obvykle zmíní, a systémem, který bez nich nedokáže vytvořit výstup.

V prvním je citace chování. Dosáhne se jí slušnou prosbou, v neobvyklých případech se zhoršuje a selže právě tam, kde ji nejvíc potřebujete: u dlouhé, složité odpovědi, která skládá několik vláken, tedy u té, kterou analytik nejméně dokáže zkontrolovat z paměti.

Ve druhém proběhne krok vyhledání jako první a totožnost vyhledaných záznamů putuje s odpovědí celým postupem. Citace není něco, co napsal model. Je to záznam toho, které řádky byly přečteny.

Toto rozlišení má posuzovatel zkoumat. Užitečná otázka není „cituje zdroje“. Je to „co se stane, když žádný nenajde“, a jediná přijatelná odpověď je, že se nevytvoří žádné tvrzení.

Ověření musí být levné, jinak k němu nedojde

Toto je část, která se podceňuje, a je to problém lidských faktorů, ne technický.

Jakýkoli postup, který po analytikovi vyžaduje strávit odpoledne potvrzováním zjištění, vytvoří při objemu případů méně potvrzených zjištění. Ne proto, že by analytici byli nedbalí, ale proto, že čas je konečný a potvrzení soutěží s dvanácti dalšími pečetěmi, které čekají. Krok ověření, který je drahý, je krok ověření, který se přiděluje, a ověření na příděl je horší než žádná automatizace, protože nese zdání přísnosti bez podstaty.

Mírou, na které záleží, je tedy náklad jedné kontroly. Pokud se dostat na zdrojový záznam podaří jedním kliknutím a ukáže původní řádek v jeho původním kontextu, ověření přestane být rozhodnutím, které analytik musí učinit. Stane se výchozím stavem, protože jeho přeskočení nic neušetří.

To je argument pro zabudování sledovatelnosti do modelu záznamu, ne pro její zpětné sestavení až při zobrazení. Citace, která se vyřeší i poté, co bylo mapování, které ji vytvořilo, upraveno, je citace, na kterou se analytik může spolehnout o měsíce později, když případ přijde k soudu a nikdo si nepamatuje podrobnosti.

Na co se zeptat dodavatele

Pokud posuzujete jakýkoli nástroj s asistentem AI, čtyři otázky oddělí ty vážné od ostatních.

Lze kliknout na jakékoli tvrzení a dostat se na zdrojový záznam? Ne na dokument, ne na stránku, na záznam. Požádejte je, ať to udělají živě, na tvrzení, které zvolíte vy, ve vlákně, které vyberete vy.

Co se zapisuje? Každá akce, kterou asistent podnikl, a každý výsledek, který dostal, se mají zapsat někam, co ovládáte a můžete číst. Pokud protokol žije u dodavatele, je to jiný produkt s jiným profilem rizika.

Kam data jdou? Pokud odpověď zahrnuje poskytovatele inference třetí strany, je to rozhodnutí, které vaše služba musí učinit záměrně, ne objevit ho v bezpečnostním přezkumu po nasazení.

Co udělá, když neví? Položte otázku, na kterou data nedokážou odpovědět, a dívejte se. Systém, který vytvoří sebejistý, dobře napsaný a zcela nedoložený odstavec, vám řekl vše, co potřebujete vědět o tom, jak se bude chovat na skutečném případu ve dvě ráno.

Poctivá pozice

Nezávislí forenzní odborníci v tom byli konzistentní: výstup AI se musí ověřit proti původním datům, než se na něj lze spolehnout. To není omezení, které se má odstranit konstrukcí, je to správný vztah mezi automatizovaným systémem a důkazním postupem.

Hodnota vložení modelu do forenzní práce není v tom, že nahradí úsudek analytika. Je v tom, že umožňuje tento úsudek uplatnit v objemu, při kterém se jinak tiše přestane dít. Analytik, který dříve přečetl pět procent zařízení a nyní čte relevantní část celého, s každým závěrem ověřitelným jedním kliknutím, dělá lepší forenzní práci, ne forenzní práci, která je víc automatizovaná.

To je jediné tvrzení, které stojí za to pronést, a je to to, podle kterého bychom se raději nechali posuzovat.