Επαλήθευση του αποτελέσματος της τεχνητής νοημοσύνης στην ψηφιακή εγκληματολογία: τι χρειάζεται να δει ένα δικαστήριο

Κάθε συζήτηση για την τεχνητή νοημοσύνη στην ψηφιακή εγκληματολογία φτάνει τελικά στην ίδια ερώτηση, διατυπωμένη συνήθως ως πρόκληση: πώς γνωρίζουμε ότι δεν επινοεί πράγματα.

Είναι η σωστή ερώτηση, και οι συνηθισμένες απαντήσεις είναι κακές. Οι προμηθευτές απαντούν με ποσοστά ακρίβειας, που δεν είναι διαψεύσιμα σε μια αίθουσα δικαστηρίου γιατί κανείς δεν μπορεί να αναπαραγάγει το μέτρο σύγκρισης. Ή απαντούν με καθησυχασμό για την ποιότητα του μοντέλου, που είναι ισχυρισμός για ένα συστατικό και όχι για τη διαδικασία από την οποία πέρασαν τα τεκμήρια.

Η καλύτερη απάντηση είναι άβολη και πολύ ισχυρότερη: υποθέστε ότι κάποτε θα είναι λάθος, και χτίστε έτσι ώστε το λάθος να είναι φθηνό να εντοπιστεί.

Τι ρωτά πράγματι ένα δικαστήριο

Ένα δικαστήριο δεν αξιολογεί ένα μοντέλο. Ένα δικαστήριο ρωτά αν ένας συγκεκριμένος πραγματικός ισχυρισμός σε μια αναφορά μπορεί να στηριχτεί.

Αυτή η ερώτηση έχει σχήμα που προηγείται της τεχνητής νοημοσύνης κατά δεκαετίες. Από πού προήλθε αυτό. Ποιος το εξέτασε. Μπορεί να μου δειχτεί. Μπορεί η υπεράσπιση να εξετάσει το ίδιο υλικό. Άλλαξε κάτι. Η εισαγωγή ενός γλωσσικού μοντέλου στη ροή εργασίας δεν αλλάζει την ερώτηση, αλλάζει μόνο το πόσο εύκολο ή δύσκολο είναι να απαντηθεί.

Η απαίτηση σχεδιασμού λοιπόν δεν είναι το μοντέλο να είναι σωστό. Είναι κάθε δήλωση που παράγει να καταλήγει σε μια συγκεκριμένη εγγραφή που ένας άνθρωπος μπορεί να ανοίξει, να διαβάσει και, αν χρειάζεται, να βάλει μπροστά σε έναν δικαστή.

Αν ένας ισχυρισμός δεν μπορεί να αναχθεί σε μια εγγραφή, δεν πρέπει να είναι στην αναφορά, είτε τον παρήγαγε ένα μοντέλο είτε ένας κουρασμένος άνθρωπος στις έντεκα το βράδυ.

Η παραπομπή είναι δομική ιδιότητα, όχι δυνατότητα

Υπάρχει μεγάλη διαφορά ανάμεσα σε ένα σύστημα που συνήθως αναφέρει τις πηγές του και σε ένα που δεν μπορεί να παραγάγει αποτέλεσμα χωρίς αυτές.

Στο πρώτο, η παραπομπή είναι συμπεριφορά. Επιτυγχάνεται με το να το ζητήσει κανείς ευγενικά, υποβαθμίζεται στις ασυνήθιστες περιπτώσεις, και αποτυγχάνει ακριβώς εκεί όπου τη χρειάζεστε περισσότερο: στη μακρά, περίπλοκη απάντηση που συνθέτει αρκετά νήματα, που είναι εκείνη την οποία ένας εξεταστής είναι λιγότερο ικανός να ελέγξει από μνήμης.

Στο δεύτερο, το βήμα της ανάκτησης γίνεται πρώτο και η ταυτότητα των ανακτημένων εγγραφών ταξιδεύει με την απάντηση σε όλη τη διαδρομή. Η παραπομπή δεν είναι κάτι που έγραψε το μοντέλο. Είναι καταγραφή του ποιες γραμμές διαβάστηκαν.

Αυτή η διάκριση είναι αυτό που πρέπει να εξετάσει όποιος αξιολογεί. Η χρήσιμη ερώτηση δεν είναι «παραπέμπει σε πηγές». Είναι «τι συμβαίνει αν δεν μπορεί να βρει μία», και η μόνη αποδεκτή απάντηση είναι ότι δεν παράγεται κανένας ισχυρισμός.

Η επαλήθευση πρέπει να είναι φθηνή, αλλιώς δεν θα γίνεται

Εδώ είναι το μέρος που υποτιμάται, και είναι πρόβλημα ανθρώπινων παραγόντων και όχι τεχνικό.

Κάθε διαδικασία που απαιτεί από τον εξεταστή να ξοδέψει ένα απόγευμα επιβεβαιώνοντας ένα εύρημα θα παραγάγει, υπό φόρτο υποθέσεων, λιγότερα επιβεβαιωμένα ευρήματα. Όχι γιατί οι εξεταστές είναι απρόσεκτοι, αλλά γιατί ο χρόνος είναι πεπερασμένος και η επιβεβαίωση ανταγωνίζεται τις δώδεκα άλλες σφραγίδες που περιμένουν. Ένα βήμα επαλήθευσης που είναι ακριβό είναι ένα βήμα επαλήθευσης που εφαρμόζεται με φειδώ, και η επαλήθευση με φειδώ είναι χειρότερη από την καθόλου αυτοματοποίηση, γιατί φέρει την εμφάνιση αυστηρότητας χωρίς την ουσία.

Το μέτρο που έχει σημασία λοιπόν είναι το κόστος ενός ελέγχου. Αν η μετάβαση στην εγγραφή πηγής παίρνει ένα κλικ και δείχνει την αρχική γραμμή στο αρχικό της πλαίσιο, η επαλήθευση παύει να είναι απόφαση που πρέπει να πάρει ο εξεταστής. Γίνεται η προεπιλογή γιατί η παράλειψή της δεν εξοικονομεί τίποτα.

Αυτό είναι το επιχείρημα για να χτιστεί η ιχνηλασιμότητα μέσα στο μοντέλο της εγγραφής και όχι να ανακατασκευάζεται την ώρα της εμφάνισης. Μια παραπομπή που εξακολουθεί να επιλύεται αφού αναθεωρηθεί η αντιστοίχιση που την παρήγαγε είναι παραπομπή στην οποία μπορεί να στηριχτεί ένας εξεταστής μήνες αργότερα, όταν η υπόθεση φτάνει στο δικαστήριο και κανείς δεν θυμάται τις λεπτομέρειες.

Τι να ρωτήσετε έναν προμηθευτή

Αν αξιολογείτε οποιοδήποτε εργαλείο με βοηθό τεχνητής νοημοσύνης, τέσσερις ερωτήσεις χωρίζουν τα σοβαρά από τα υπόλοιπα.

Μπορείτε να πατήσετε οποιαδήποτε δήλωση και να φτάσετε στην εγγραφή πηγής; Όχι ένα έγγραφο, όχι μια σελίδα, την εγγραφή. Ζητήστε τους να το κάνουν ζωντανά, σε έναν ισχυρισμό που επιλέγετε εσείς, σε ένα νήμα που διαλέγετε εσείς.

Τι καταγράφεται; Κάθε ενέργεια που έκανε ο βοηθός και κάθε αποτέλεσμα που έλαβε πρέπει να γράφεται κάπου που ελέγχετε και μπορείτε να διαβάσετε. Αν το αρχείο καταγραφής μένει στον προμηθευτή, αυτό είναι διαφορετικό προϊόν με διαφορετικό προφίλ κινδύνου.

Πού πηγαίνουν τα δεδομένα; Αν η απάντηση περιλαμβάνει τρίτο πάροχο συμπερασμού, αυτή είναι απόφαση που η υπηρεσία σας πρέπει να πάρει σκόπιμα και όχι να την ανακαλύψει σε έναν έλεγχο ασφάλειας μετά την εγκατάσταση.

Τι κάνει όταν δεν γνωρίζει; Κάντε μια ερώτηση που τα δεδομένα δεν μπορούν να απαντήσουν και παρατηρήστε. Ένα σύστημα που παράγει μια παράγραφο με αυτοπεποίθηση, καλογραμμένη και εντελώς αστήριχτη σάς έχει πει ό,τι χρειάζεται να γνωρίζετε για το πώς θα συμπεριφερθεί σε μια πραγματική υπόθεση στις δύο τα ξημερώματα.

Η ειλικρινής θέση

Οι ανεξάρτητοι εγκληματολογικοί πραγματογνώμονες είναι συνεπείς σε αυτό: το αποτέλεσμα της τεχνητής νοημοσύνης πρέπει να επαληθεύεται έναντι των αρχικών δεδομένων πριν μπορέσει κανείς να στηριχτεί σε αυτό. Αυτό δεν είναι περιορισμός για να τον εξαφανίσει η μηχανική, είναι η σωστή σχέση ανάμεσα σε ένα αυτοματοποιημένο σύστημα και σε μια αποδεικτική διαδικασία.

Η αξία του να μπει ένα μοντέλο στην εγκληματολογική εργασία δεν είναι ότι αντικαθιστά την κρίση του εξεταστή. Είναι ότι κάνει δυνατή την άσκηση αυτής της κρίσης σε όγκο όπου αλλιώς σταματά αθόρυβα να συμβαίνει. Ένας εξεταστής που προηγουμένως μπορούσε να διαβάσει το πέντε τοις εκατό μιας συσκευής και τώρα διαβάζει το σχετικό μέρος όλης της, με κάθε συμπέρασμα ελέγξιμο με ένα κλικ, κάνει καλύτερη εγκληματολογική εργασία, όχι πιο αυτοματοποιημένη εγκληματολογική εργασία.

Αυτός είναι ο μόνος ισχυρισμός που αξίζει να γίνει, και είναι αυτός στον οποίο προτιμούμε να μας κρατήσουν.