KI-Ausgaben in der digitalen Forensik prüfen: was ein Gericht sehen muss

Jedes Gespräch über KI in der digitalen Forensik kommt irgendwann bei derselben Frage an, gewöhnlich als Herausforderung formuliert: woher wir wissen, dass sie sich nichts ausdenkt.

Es ist die richtige Frage, und die üblichen Antworten sind schlecht. Hersteller antworten mit Genauigkeitsprozenten, die in einem Gerichtssaal nicht falsifizierbar sind, weil niemand den Vergleichsmaßstab reproduzieren kann. Oder sie antworten mit einer Beruhigung über die Qualität des Modells, und das ist eine Behauptung über eine Komponente und nicht über das Verfahren, das die Beweismittel durchlaufen haben.

Die bessere Antwort ist unbequem und viel stärker: Nehmen Sie an, dass sie manchmal falsch liegen wird, und bauen Sie so, dass ein Irrtum billig zu erkennen ist.

Wonach ein Gericht tatsächlich fragt

Ein Gericht bewertet kein Modell. Ein Gericht fragt, ob eine bestimmte Tatsachenbehauptung in einem Bericht gestützt werden kann.

Diese Frage hat eine Form, die der KI um Jahrzehnte vorausgeht. Woher das kam. Wer es ausgewertet hat. Ob man es mir zeigen kann. Ob die Verteidigung dasselbe Material prüfen kann. Ob etwas verändert wurde. Die Einführung eines Sprachmodells in den Arbeitsablauf ändert die Frage nicht, sie ändert nur, wie leicht oder wie schwer sie zu beantworten ist.

Die Entwurfsanforderung ist also nicht, dass das Modell recht hat. Sie ist, dass jede Aussage, die es erzeugt, sich auf einen bestimmten Datensatz auflöst, den ein Mensch öffnen, lesen und, falls nötig, einem Richter vorlegen kann.

Wenn sich eine Behauptung nicht auf einen Datensatz zurückführen lässt, gehört sie nicht in den Bericht, ob ein Modell sie erzeugt hat oder ein müder Mensch um elf Uhr nachts.

Die Quellenangabe ist eine strukturelle Eigenschaft, kein Merkmal

Es besteht ein großer Unterschied zwischen einem System, das seine Quellen gewöhnlich erwähnt, und einem, das keine Ausgabe ohne sie erzeugen kann.

Im ersten Fall ist die Quellenangabe ein Verhalten. Sie wird erreicht, indem man höflich darum bittet, sie lässt in ungewöhnlichen Fällen nach, und sie versagt genau dort, wo man sie am meisten braucht: bei der langen, komplizierten Antwort, die mehrere Threads zusammenführt, also bei der, die ein Analyst am wenigsten aus dem Gedächtnis prüfen kann.

Im zweiten Fall geschieht der Abruf zuerst, und die Identität der abgerufenen Datensätze begleitet die Antwort durch die ganze Verarbeitung. Die Quellenangabe ist nicht etwas, das das Modell geschrieben hat. Sie ist eine Aufzeichnung darüber, welche Zeilen gelesen wurden.

Diese Unterscheidung sollte sondieren, wer ein Werkzeug bewertet. Die nützliche Frage ist nicht „nennt es Quellen“. Sie ist „was geschieht, wenn es keine finden kann“, und die einzige annehmbare Antwort ist, dass keine Behauptung erzeugt wird.

Die Prüfung muss billig sein, sonst findet sie nicht statt

Hier ist der Teil, der unterschätzt wird, und es ist ein Problem der menschlichen Faktoren und kein technisches.

Jedes Verfahren, das vom Analysten verlangt, einen Nachmittag mit der Bestätigung eines Befunds zu verbringen, wird unter Fallaufkommen weniger bestätigte Befunde hervorbringen. Nicht weil Analysten nachlässig sind, sondern weil die Zeit endlich ist und die Bestätigung mit den zwölf anderen Asservaten konkurriert, die warten. Ein Prüfungsschritt, der teuer ist, ist ein Prüfungsschritt, der rationiert wird, und eine rationierte Prüfung ist schlimmer als gar keine Automatisierung, weil sie den Anschein von Strenge trägt, ohne die Substanz.

Das Maß, auf das es ankommt, sind also die Kosten einer Prüfung. Wenn der Quelldatensatz einen Klick entfernt ist und die ursprüngliche Zeile in ihrem ursprünglichen Kontext zeigt, hört die Prüfung auf, eine Entscheidung zu sein, die der Analyst treffen muss. Sie wird zum Normalfall, weil sie zu überspringen nichts spart.

Das ist das Argument dafür, die Nachvollziehbarkeit in das Datensatzmodell einzubauen, statt sie zum Zeitpunkt der Anzeige zu rekonstruieren. Eine Quellenangabe, die sich auch dann noch auflöst, nachdem das Mapping, das sie erzeugt hat, überarbeitet wurde, ist eine Quellenangabe, auf die sich ein Analyst Monate später verlassen kann, wenn der Fall vor Gericht kommt und sich niemand an die Einzelheiten erinnert.

Was Sie einen Hersteller fragen sollten

Wenn Sie irgendein Werkzeug mit einem KI-Assistenten darin bewerten, trennen vier Fragen die ernsthaften von den übrigen.

Können Sie auf jede Aussage klicken und auf dem Quelldatensatz landen? Nicht auf einem Dokument, nicht auf einer Seite, auf dem Datensatz. Bitten Sie sie, es live zu tun, an einer Behauptung, die Sie wählen, in einem Thread, den Sie aussuchen.

Was wird protokolliert? Jede Aktion, die der Assistent ausgeführt hat, und jedes Ergebnis, das er erhalten hat, sollte irgendwo geschrieben werden, das Sie kontrollieren und lesen können. Wenn das Protokoll beim Hersteller liegt, ist das ein anderes Produkt mit einem anderen Risikoprofil.

Wohin gehen die Daten? Wenn die Antwort einen Inferenzanbieter eines Dritten einschließt, ist das eine Entscheidung, die Ihre Dienststelle bewusst treffen muss, und nicht eine, die sie in einer Sicherheitsprüfung nach der Einführung entdeckt.

Was tut es, wenn es etwas nicht weiß? Stellen Sie eine Frage, die die Daten nicht beantworten können, und sehen Sie zu. Ein System, das einen selbstsicheren, gut geschriebenen und völlig unbelegten Absatz erzeugt, hat Ihnen alles gesagt, was Sie darüber wissen müssen, wie es sich in einem echten Fall um zwei Uhr morgens verhalten wird.

Die ehrliche Position

Unabhängige forensische Sachverständige sagen dazu beständig dasselbe: KI-Ausgaben müssen an den Originaldaten geprüft werden, bevor man sich auf sie stützen kann. Das ist keine Einschränkung, die wegzuentwickeln wäre, es ist das richtige Verhältnis zwischen einem automatisierten System und einem Beweisverfahren.

Der Wert, ein Modell in die forensische Arbeit zu setzen, liegt nicht darin, dass es das Urteil des Analysten ersetzt. Er liegt darin, dass es die Ausübung dieses Urteils in einem Umfang möglich macht, in dem sie sonst still aufhört stattzufinden. Ein Analyst, der zuvor fünf Prozent eines Geräts lesen konnte und jetzt den relevanten Teil des gesamten Geräts liest, wobei jede Schlussfolgerung in einem Klick prüfbar ist, leistet bessere forensische Arbeit, nicht stärker automatisierte forensische Arbeit.

Das ist die einzige Behauptung, die sich zu machen lohnt, und es ist die, an der wir uns lieber messen lassen.