Pokrycie nie powinno zależeć od cyklu wydań dostawcy

Jest w badaniu z zakresu informatyki śledczej moment, którego nikt nie wpisuje do instrukcji postępowania. Analityk otwiera ekstrakcję, znajduje aplikację, której nie rozpoznaje, i sprawdza, czy narzędzie ją obsługuje. Nie obsługuje. Dane są tuż obok, w pełni obecne, w bazie, której nazwę pliku widać. A odpowiedź na pytanie, czy da się je odczytać, brzmi: nie w tym kwartale.

Ten moment zwykle traktuje się jak kwestię wsparcia. Ktoś zakłada zgłoszenie. Być może dostawca dopisuje to do zalegałości, być może wersja przychodzi za sześć miesięcy, być może aplikacja jest regionalnie na tyle popularna, że warta jest czasu inżyniera, a być może nie. Tymczasem na sprawie biegnie termin pieczy.

To nie jest kwestia wsparcia. Jest to właściwość strukturalna tego, jak branża postanowiła pracować, i gdy zobaczy się to w ten sposób, okazuje się, że wiele codziennej frustracji w laboratorium ma jedną przyczynę.

Decyzję podejmuje się gdzie indziej

Każde główne narzędzie analizy kryminalistycznej działa tak samo. Ktoś u dostawcy odtwarza inżynierią wsteczną format zapisu aplikacji, pisze dla niego parser, testuje go i umieszcza w wydaniu. Analityk otrzymuje wynik tej pracy jako możliwość.

To naprawdę trudna inżynieria, a ludzie, którzy ją robią, są w niej dobrzy. Problemem nie jest kompetencja. Problemem jest to, że najdonioślejszą decyzję w badaniu, które dane w ogóle da się odczytać, oddaje w ręce kogoś, kto nie wie, że sprawa istnieje.

Ta osoba wydaje rozsądny osąd handlowy. Patrzy, ilu klientów spotka tę aplikację, jak stabilny jest jej format, ile inżynierii to zajmie. Aplikacja wiadomości z dwustoma milionami użytkowników oczywiście jest warta pracy. Regionalna platforma społecznościowa z czterystoma tysiącami użytkowników, skupiona dokładnie w regionie, w którym działa grupa przestępczości zorganizowanej ze sprawy Pana, jest znacznie trudniejszym uzasadnieniem biznesowym. Z pozycji dostawcy odmowa implementacji jest słuszna. Z pozycji Pana, z ekstrakcją w ręku, jest całą sprawą.

Wersje są większą połową problemu

Opowieść o nieobsługiwanej aplikacji jest tą, którą się opowiada, ale umniejsza problem. Częstsza porażka jest subtelniejsza: obsługiwana aplikacja, której układ zapisu się zmienił.

Aplikacja się aktualizuje. Przeorganizowuje tabelę, przenosi plik, zmienia sposób kodowania znacznika czasu. Parser napisano wobec poprzedniej wersji i teraz nie zwraca nic albo, co gorsza, zwraca coś prawdopodobnego i błędnego. Narzędzie zgłasza aplikację jako obsługiwaną, bo jest, a analityk musi zauważyć, że wynik jest ubogi.

Cykle wydań aplikacji liczy się w tygodniach. Cykle wydań narzędzi kryminalistycznych liczy się w miesiącach. Ta luka nigdy się nie zamyka i nie jest niczyją winą. Jest arytmetyką.

Ile to kosztuje, w kategoriach, które mają znaczenie

Koszt zwykle nie pojawia się jako nieudane badanie. Pojawia się jako zawężenie zakresu, po cichu.

Analityk, który ma trzy tygodnie i czterdzieści zabezpieczeń, nie spędza dwóch dni na ręcznym czytaniu nieznanej bazy SQLite z otwartym obok edytorem szesnastkowym, choć mógłby. Bada to, co zdekodowało narzędzie, pisze raport na tej podstawie i resztę odnotowuje jako nieanalizowaną. To obronna decyzja zawodowa. Tak też dowód, który istnieje, na urządzeniu, które służba już ma, w sprawie, która już jest otwarta, kończy jako nigdy nieobejrzany.

Proszę pomnożyć przez obciążenie sprawami, a wyjdzie liczba, o którą dyrektorzy laboratoriów naprawdę się martwią: odsetek zajętych danych, które nigdy nie są badane. To nie jest porażka triażu. To porażka pokrycia, którą przeklasyfikowano jako triaż.

Alternatywa jest niewygodna, ale prosta

Jeśli wąskim gardłem jest to, że parsery pisze dostawca, z góry, dla aplikacji, które wybrał, to naprawą jest przestać wymagać, aby człowiek u dostawcy pisał je z góry.

Jest to dziś technicznie wykonalne w sposób, w jaki nie było pięć lat temu. Rozpoznanie, do czego służy nieznana baza, co zawierają jej tabele i jak odwzorowują się na pojęcia, z którymi pracuje śledczy, rozmowy, kontakty, lokalizacje, jest zadaniem rozumowania nad ścieżkami plików, schematem i treścią razem. Jest to dokładnie ten rodzaj zadania, w którym modele generatywne są wyjątkowo dobre, a klasyfikatory nie.

Oczywisty zarzut jest właściwy. Nie może Pan pozwolić, aby model decydował, jak interpretuje się dowód, i po prostu ufać wynikowi. Więc proszę tego nie robić. Proszę wygenerować mapowanie, zweryfikować je strukturalnie, wykonać je na próbce rzeczywistych danych i pokazać analitykowi podgląd rzeczywistych rekordów, zanim cokolwiek zostanie zastosowane. Jeśli mapowanie źle zrozumiało źródło, widać to od razu, bo podgląd jest pełen nonsensu. Analityk je przyjmuje, poprawia w edytorze wizualnym albo je odrzuca.

Nie zmienia się standard dowodzenia. Analityk nadal weryfikuje i nic nie wchodzi do raportu bez sprawdzenia. Zmienia się to, kto musi wykonać pracę pierwszego zrozumienia i kiedy może się ona wydarzyć. Może się wydarzyć w dniu, w którym sprawa jej potrzebuje, a nie w kwartale, który zaplanował dostawca.

Dlaczego warto to powiedzieć na głos

Każde laboratorium, z którym rozmawialiśmy, ma swoją wersję tej samej historii i każde opowiada ją tak, jakby była lokalną irytacją. Nie jest lokalna. Jest tym samym ograniczeniem w każdej służbie w każdym kraju i istnieje dlatego, że cała branża wcześnie podjęła wybór architektoniczny i nigdy do niego nie wróciła.

Nazwanie go zmienia to, o co Pan prosi. Służba, która sądzi, że ma problem ze wsparciem, prosi dostawcę o szybsze wydania, a jest to prośba, której nikt nie może spełnić. Służba, która rozpoznaje problem strukturalny, zadaje inne pytanie: czego trzeba, aby pokrycie przestało być czymś, na co się czeka.

To pytanie, na które zbudowano VERA, i powód, dla którego wolelibyśmy bronić tezy, niż opisywać produkt.