Mediavolym i ärenden om skydd av barn: vad triage kan och inte kan

Det här är ett svårt ämne att skriva om från en leverantörs position, och det finns en version av det som inte bör skrivas alls: den version som behandlar lidandet i de här ärendena som en marknadsföringsmöjlighet, eller som påstår en detektionsnoggrannhet som ingen kan belägga.

Så det här stycket är avsiktligt smalt. Det handlar om aritmetiken i mediegranskning, vad automatiserad triage genuint ändrar, och vad den inte ändrar.

Aritmetiken

En enda beslagtagen enhet håller vanligen tiotusentals bilder och videofiler. Ett ärende med flera enheter når sexsiffrigt utan att vara ovanligt. Utredningar som rör distributionsnät kan omfatta betydligt mer.

Mänsklig granskning av den volymen är långsam av nödvändighet. Den är långsam eftersom den kräver uppmärksamhet, eftersom den kräver omdöme om material som ofta är tvetydigt i kanterna, och eftersom de människor som gör den inte kan hålla ut den under långa perioder. Välskötta enheter begränsar exponeringstiden med avsikt. Den gränsen är inte ineffektivitet, den är en arbetsmiljökontroll, och varje beräkning som behandlar granskartimmar som elastiska är fel innan den börjar.

Så begränsningen är inte volymen i sig. Det är volym mot ett utbud av granskningstimmar som med avsikt och med rätta är takbegränsat.

Vad automatisering faktiskt ändrar

Innehållsbaserad indexering av media gör att samlingen kan sökas efter vad den innehåller snarare än bara efter filnamn, tidsstämpel eller hash. Det ändrar tre saker konkret.

Ordning. En granskare som arbetar sig igenom material i en ordning som informeras av innehållet har större chans att hitta det som betyder något tidigt. I ärenden där att identifiera ett offer snabbt ändrar vad som händer sedan är ordning inte en effektivitetsvinst, det är ett utfall.

Eliminering. Stora delar av en mediesamling på vilken enhet som helst är bakgrundsbilder, applikationscache, memer, skärmdumpar och nedladdade tillgångar. Att ta bort dem från granskningskön är låg risk och det är en betydande andel av volymen.

Koppling. Bilagor knutna tillbaka till de konversationer som bar dem, och avduplicering mot material som redan setts, gör en platt hög av filer till något med struktur. Att veta vilken tråd en bild kom i är ofta mer informativt än bilden.

Två av de tre kräver inte att programvaran gör någon bedömning av materialets innehåll alls, vilket är värt att notera, eftersom de bär det mesta av den praktiska nyttan.

Vad automatisering inte ändrar

Den tar inte bort analytikern ur kedjan, och den sänker inte den standard som en domstol kräver.

Varje system som klassificerar material arbetar i ett område där kategorierna är juridiskt definierade, jurisdiktionsspecifika och omstridda i gränserna. Åldersuppskattning från en bild är inte tillförlitlig i det intervall som betyder mest. Sammanhanget avgör ofta karaktären hos en bild på sätt som ingenting i pixlarna visar.

En leverantör som påstår en noggrannhetssiffra för den här uppgiften gör ett påstående som inte kan överleva korsförhör, eftersom det riktmärke den kom från inte är populationen i ett verkligt ärende, och de kategorier den använde inte är dem som lagtexten använder.

Så den ärliga inramningen är att automatiserad triage ändrar ordningen och storleken på granskningskön. Avgörandet av vad materialet är förblir en mänsklig och en rättslig bedömning, och programvarans arbete är att göra människans arbete möjligt snarare än att föregripa det.

Hashmatchning, och dess gränser

Hashmatchning mot kända filer förblir det tillförlitligaste verktyget för det här arbetet och det minst diskuterade, troligen eftersom det är oglansigt. Där material matchar en känd mängd är identifieringen exakt och försvarbar på ett sätt som inget inlärt system är.

Dess begränsning är lika tydlig. Den hittar bara det som har setts förut och katalogiserats. Nytt material, omkodat material och allt som producerats lokalt matchar inte, och lokalt producerat material är ofta det mest brådskande, eftersom det kan tyda på pågående skada.

Det är det gap som innehållsbaserad hämtning tar sig an, och det är värt att vara precis med påståendet. Den identifierar inte material som olagligt. Den tar fram material som liknar en beskrivning, så att en människa tittar på det tidigare än de annars skulle.

Vad ni ska fråga en leverantör

Om ni utvärderar ett verktyg som påstår förmåga till medietriage är de användbara frågorna smala.

Fråga vad som händer med materialet: om något av det lämnar er infrastruktur vid någon punkt, även för indexering. För den här kategorin av ärende är ett svar som inbegriper en tredjepartstjänst vanligen slutet på samtalet, och det bör det vara.

Fråga vad systemet påstår sig avgöra, och vad det bara rangordnar. Det är olika saker, och leverantörer suddar ut dem.

Fråga vad granskaren ser. Ett verktyg som presenterar ett beslut inbjuder granskaren att bekräfta det. Ett verktyg som presenterar ordnat material och låter granskaren besluta gör samma aritmetik utan att låna granskarens auktoritet.

Fråga om exponering. Om gränssnittet kan presentera material på ett sätt som minskar onödig exponering och ändå räcker för den bedömning som görs är en verklig produktfråga, och en som enheter bryr sig mer om än de flesta leverantörer förväntar sig.

Åtagandet

VERA indexerar media så att de kan sökas efter innehåll, och assistenten kan ombes att leta efter bestämda element. Allt körs på kundens egen infrastruktur, offline, och inget material lämnar nätet vid någon punkt.

Vi publicerar inte en siffra för detektionsnoggrannhet, och vi kommer inte att göra det, eftersom vi inte kan belägga en framför er på era egna data. Om det är vad er utvärdering kräver säger vi hellre det i början än blir påkomna i mitten.