När ”jag ska hitta dig” inte är ett skämt

Så ser innehåll med verkligt våld egentligen ut

Det finns en kategori av YouTube-innehåll som inte ser våldsam ut på en miniatyrbild. En kille i sin lägenhet, lugn röst, med en rektangulär låda i händerna. Han öppnar lådan. Det är en AR-15. De följande arton minuterna går han igenom hur han fick tag på den, vad han betalade och vilka tillbehör han ska sätta på. Ditt barn tittar på hela videon. Miniatyrbilden visade en kille som höll i något som lika gärna kunde ha varit en surfplatta.

Eller: en roadtrip-vlogg. Kreatören är glad, klippningen är snabb, musiken energisk. Ungefär sex minuter in visar hastighetsmätaren 150 mph på en allmän motorväg. Kreatören skrattar och frågar kameran ”hur fort kan den här gå?”. Krascher klipps in som komik. Videon har åtta miljoner visningar. Ditt barn är tolv.

Eller: en kreatör med två miljoner prenumeranter gör ett poddklipp om en fejd med en annan kreatör. Repliken som citeras över hela TikTok är ”jag vet var du bor, jag kommer och hittar dig”. Kreatören säger att det inte är ett verkligt hot, ”så klart”. Men alla som lyssnar förstår hotfullheten. Två veckor senare får den utpekade kreatören en våg av meddelanden om att ”vi kommer hem till dig”. Ditt barn tittade på den ursprungliga podden.

Det här är inga undantagsfall. Vapenkanaler är en av de mest sedda genrerna på YouTube. Vårdslös körning från kreatörer med miljontals prenumeranter är en stadig del av algoritmens kost. Hot i gränslandet till doxxning i poddar och livestreams är vardag. Inget av det kräver det visuella kännetecken som YouTubes automatiska system är byggda för att fånga.

De svårare fallen är de som nästan känns oskyldiga. En kreatör beskriver ett slagsmål hen hamnade i förra helgen. Hen använder specifika fysiska detaljer. Hen låter stolt. Videon är monetiserad. Eller en ”true crime”-kanal som dröjer vid detaljer om vapen, hur kroppar görs sig av med och tillfredsställelsen i en avrättning. Inramat som information men känslomässigt som underhållning. Eller en ”självförsvarsguide” som i själva verket är en guide i att skada någon, med en tunn friskrivning i början.

Därför är det här en annan kategori än strider i spel

En rimlig fråga från en förälder som sett en flaggad video om svärdsstrider i Minecraft: ”Behandlar ni verkligen det likadant som en kille som visar upp ett gevär?” Nej. Det är helt separata teman, och du styr dem separat. Strider i spel, Fortnite, Call of Duty, Minecraft, ljussvärdsdueller, Nerf-krig, hör till ett separat tema för eget omdöme som heter Lekfullt våld och fantasyvåld. Vissa familjer lyfter fram det innehållet för insyn, andra bryr sig inte. Hur som helst är det oberoende av det här temat.

Gränsen går vid avsikt och verklighet. ”Jag dödade bossen i Elden Ring med ett +5-långsvärd” är gameplay-berättande. ”Jag högg honom i bröstet, det var blod överallt” sagt på allvar, om en verklig händelse eller ett allvarligt menat fiktivt scenario, är signalen vi fångar här. Samma ord. Döda. Helt olika innehåll.

När gränsen är oklar (en kreatör som skriker ”jag ska döda dig” mitt i en Fortnite-match, men med en ton som låter genuint arg) är Watchlys standard att flagga det här temat snarare än det lekfulla. Det försiktiga valet. Du kan göra undantag.

Samma logik gäller vapen. Ett diamantsvärd i Minecraft är något annat än en recension av en AR-15. En Nerf-pistol är något annat än en genomgång av en riktig Glock. Bildmodellen kan ibland se skillnaden, ibland inte. Signalen i transkriptionen, ”det här är ett riktigt vapen jag har köpt, så här fick jag tag på det, så här skjuter det”, är otvetydig för den som läser. Det är det Watchly läser.

Därför kan YouTubes filtreringssystem inte fånga det

YouTube har faktiskt vissa skydd mot våldsamt innehåll. Plattformens automatiska bildklassificerare är tränad på blod, gore, vapen i bild i uppenbara hotsituationer och fysiska handgemäng. När de snubbeltrådarna utlöses begränsas videon. Åldersbegränsad, demonetiserad, ibland borttagen.

Klassificeraren fungerar i tydliga fall. Ett slagsmål i bild utlöser den. Ett blodigt sår utlöser den. Ett vapen som riktas mot en annan person i bild utlöser den ofta. Det här är verkligt, och det är därför det allra värsta materialet faktiskt fångas.

Luckan är allt som handlar om ton, ord och sammanhang. En kreatör som beskriver en våldsam händelse utan bilder, bara berättande över klipp, ger bildmodellen inget att fånga. Ett vapen som hålls upp lugnt, medan resten av videon är en person som sitter i en stol och pratar, ser visuellt identiskt ut med vilken produktrecension som helst. Ett klipp som glorifierar körning i 150 mph ser inte ”våldsamt” ut för en bildrutanalys; det ser ut som en körvideo. Hotet i ”jag ska hitta dig” lämnar inget visuellt spår alls.

Textklassificeraren läser transkriptioner och metadata efter kända våldsord. Den fångar ”döda”, ”skjuta” och ”hugga” i uppenbara sammanhang och begränsar sedan videon eller inte beroende på tusen ogenomskinliga faktorer. Träffsäkerheten för just hot är dålig, eftersom språket i verklig hotfullhet ofta är lugnt och specifikt (”jag vet var du bor, jag har din adress”) snarare än explosivt (”jag ska mörda dig”). Och den lugna varianten finns inte i ordlistan.

Innehåll med vårdslös körning har sin egen nödutgång. Plattformen ser innehåll om körskicklighet som en legitim genre. En kreatör som filmar i 150 mph och ramar in videon som att ”visa bilens toppfart” befinner sig i en genre som YouTube aktivt tjänar pengar på. Samma innehåll inramat som ”nu ser vi hur fort vi kan ta oss genom stan” kanske får en varning. Samma beteende, annan inramning, annat utfall.

Innehåll om att skaffa vapen behandlas mest generöst. Vapenrecensionskanaler är en ekonomi med miljontals prenumeranter på YouTube. Plattformen har policyer mot ”instruktioner för att tillverka eller montera vapen” men tillåter nästan allt som inte går så långt. Recensionsvideor, ammunitionstester, innehåll av typen ”det här köpte jag i dag”. En 13-åring kan titta på timmar av detaljerade vapengenomgångar utan att plattformen höjer ett ögonbryn.

Watchlys transkriptionsläsare fångar mönstren som bildmodellen missar: den lugna rösten som beskriver ett verkligt slagsmål, den stolta tonen om det nya geväret, det hotfulla ”jag ska hitta dig” utan höjd röst, glorifieringen av motorvägsfart. Signalen finns i orden och i hur de sägs. Det är precis det ett filter som läser transkriptioner är byggt för.