Перевірка результатів ШІ в цифровій криміналістиці: що має побачити суд

Кожна розмова про ШІ в цифровій криміналістиці врешті доходить до того самого запитання, зазвичай поставленого як виклик: звідки нам знати, що він нічого не вигадує.

Це правильне запитання, і звичні відповіді погані. Постачальники відповідають відсотками точності, які в залі суду не можна спростувати, бо ніхто не може відтворити еталон. Або вони відповідають запевненням про якість моделі, а це твердження про компонент, а не про процес, який пройшов доказ.

Краща відповідь незручна і значно сильніша: виходьте з того, що іноді він помилятиметься, і будуйте так, щоб помилку було дешево виявити.

Про що суд насправді питає

Суд не оцінює модель. Суд питає, чи можна підкріпити конкретне фактичне твердження у звіті.

У цього запитання є форма, яка на десятиліття старша за ШІ. Звідки це взялося. Хто це досліджував. Чи можна мені це показати. Чи може захист дослідити той самий матеріал. Чи було щось змінено. Поява мовної моделі в робочому процесі не змінює запитання, вона лише змінює, наскільки легко чи важко на нього відповісти.

Отже, вимога до конструкції не в тому, щоб модель мала рацію. А в тому, щоб кожне твердження, яке вона створює, зводилося до конкретного запису, який людина може відкрити, прочитати і, якщо потрібно, покласти перед суддею.

Якщо твердження не можна простежити до запису, його не повинно бути у звіті, байдуже, чи його створила модель, чи втомлена людина об одинадцятій вечора.

Цитата є структурною властивістю, а не функцією

Є велика різниця між системою, яка зазвичай згадує свої джерела, і системою, яка не може створити результат без них.

У першій цитата є поведінкою. Її досягають ввічливим проханням, вона гіршає в незвичних випадках і відмовляє саме там, де вона Вам найбільш потрібна: у довгій, складній відповіді, яка зводить кілька гілок, тобто в тій, яку аналітик найменше здатен перевірити з пам’яті.

У другій крок отримання відбувається першим, і тотожність отриманих записів іде з відповіддю крізь усю обробку. Цитата — не те, що написала модель. Це запис того, які рядки було прочитано.

Саме це розрізнення має перевіряти той, хто оцінює. Корисне запитання не «чи цитує воно джерела». А «що відбувається, якщо воно не може знайти джерело», і єдина прийнятна відповідь — що жодного твердження не створюється.

Перевірка має бути дешевою, інакше її не буде

Ось частина, яку недооцінюють, і це проблема людського чинника, а не технічна.

Будь-який процес, який вимагає від аналітика витратити пообіддя на підтвердження знахідки, під навантаженням справ дасть менше підтверджених знахідок. Не тому, що аналітики недбалі, а тому, що час скінченний і підтвердження змагається з дванадцятьма іншими речовими доказами, які чекають. Дорогий крок перевірки — це крок перевірки, який дозують, а дозована перевірка гірша за повну відсутність автоматизації, бо вона несе видимість суворості без суті.

Отже, міра, яка має значення, — вартість однієї перевірки. Якщо потрапити на запис джерела можна одним клацанням і побачити початковий рядок у його початковому контексті, перевірка перестає бути рішенням, яке аналітик мусить ухвалити. Вона стає звичайним ходом, бо пропуск нічого не заощаджує.

Це аргумент на користь того, щоб вбудувати простежуваність у модель запису, а не відтворювати її в момент показу. Цитата, яка все ще веде до джерела після того, як відображення, яке її створило, переглянуто, — це цитата, на яку аналітик може покластися через місяці, коли справа доходить до суду і ніхто не пам’ятає деталей.

Про що питати постачальника

Якщо Ви оцінюєте будь-який інструмент, у якому є асистент ШІ, чотири запитання відділяють серйозні від решти.

Чи можете Ви клацнути будь-яке твердження і потрапити на запис джерела? Не на документ, не на сторінку, на запис. Попросіть зробити це наживо, на твердженні, яке Ви оберете, у гілці, яку Ви виберете.

Що записується в журнал? Кожна дія, яку зробив асистент, і кожен результат, який він отримав, мають бути записані там, де Ви це контролюєте і можете прочитати. Якщо журнал лишається в постачальника, це інший продукт з іншим профілем ризику.

Куди йдуть дані? Якщо відповідь передбачає постачальника висновування, який є третьою стороною, це рішення, яке Ваша служба має ухвалити навмисно, а не виявити на перевірці безпеки після розгортання.

Що воно робить, коли не знає? Поставте запитання, на яке дані не можуть відповісти, і подивіться. Система, яка створює впевнений, добре написаний і цілком непідкріплений абзац, уже сказала Вам усе, що потрібно знати про те, як вона поводитиметься на справжній справі о другій ночі.

Чесна позиція

Незалежні криміналістичні експерти в цьому послідовні: результат ШІ треба перевірити за початковими даними, перш ніж на нього можна спиратися. Це не обмеження, яке треба усунути інженерією, це правильне відношення між автоматизованою системою і доказовим процесом.

Цінність того, щоб поставити модель у криміналістичну роботу, не в тому, що вона замінює судження аналітика. А в тому, що вона робить застосування цього судження можливим за обсягу, на якому інакше воно тихо перестає відбуватися. Аналітик, який раніше міг прочитати п’ять відсотків пристрою, а тепер читає відповідну частину всього, і кожен висновок можна перевірити одним клацанням, робить кращу криміналістичну роботу, а не більш автоматизовану криміналістичну роботу.

Це єдине твердження, яке варто робити, і саме за нього ми воліли б відповідати.