När ”gör inte det här hemma” inte fungerar

Hur innehåll med farliga utmaningar faktiskt ser ut

Under 2017 och 2018 stoppade barn runt om i USA tvättmedelskapslar i munnen på grund av en utmaning på YouTube och TikTok. Flera dog. Plattformen förbjöd till slut det specifika innehållet, och det blev en nationell nyhet. Mönstret som orsakade skadan – en namngiven utmaning med viral härmningsmekanik – försvann aldrig. Nya namn på utmaningar dyker upp med några månaders mellanrum, och den strukturella mekanismen är oförändrad.

Utmaningarna delas in i tre kategorier utifrån deras påverkan i den fysiska världen. Utmaningar som skadar en själv (Tide Pod, Blackout/svimnings-/strypningsutmaningar, eld- och brännutmaningar, extrema chiliutmaningar som One Chip Challenge eller Carolina Reaper, salt och is, extrema isbad, farligt andhållande, höga doser koffein, milk crate, parkour- eller takstunts utan säkerhet, hopp- och fallstunts). Utmaningar som skadar andra (slap-utmaningar, knuffutmaningar, knockout- eller ”one-chance”-attacker, skräckpranks mot förbipasserande eller främlingar, pinsamma bakhållspranks, att blöta ner eller spruta på främlingar, farliga pranks på restauranger). Utmaningar som skadar den fysiska världen (stölder från skolor enligt Devious Lick, skadegörelsetrender, utmaningar om att ”förstöra toaletten”, trender med förstörelse i butiker och restauranger, utmaningar om att förstöra naturen).

En specifik utmaningscykel för att förstå mekanismen: 2021 uppmuntrade trenden ”Devious Lick” på TikTok och YouTube elever att stjäla saker (ofta tvålautomater) från skoltoaletter och lägga upp videorna. Skolor rapporterade skadegörelse för tiotusentals dollar, avstängningar och störda skoldagar. Utmaningen hade ett specifikt namn, identifierbara hashtaggar och tydlig härmningsmekanik. När plattformen väl tog itu med den var skadan redan skedd. Nästa namngivna utmaning tog över inom några veckor.

Den del som skadar andra omfattar utmaningarna ”knockout game” eller ”one-chance”, där tonåringar attackerar slumpmässiga främlingar framför kameran. Utmaningarna har lett till verkliga skador och gripanden. De byter namn med några månaders mellanrum men behåller samma strukturella mekanik.

Chiliutmaningarna har lett till dokumenterade sjukhusinläggningar. Specifikt One Chip Challenge ledde till minst ett dödsfall bland tonåringar 2023, vilket ledde till att produkten återkallades. Plattformens upptäckt av ”alla utmaningar med extrem hetta” är fortfarande ojämn.

Watchlys hållning är att det är härmningskaskaden som spelar roll, oavsett inramningen ”gör inte det här hemma”. Forskningen om barns härmningsbeteende är tydlig: varningar minskar inte hur ofta barn härmar, och i vissa fall ökar de nyfikenheten. Vi flaggar innehåll som visar, utför, uppmuntrar eller hänvisar till farliga utmaningar, inklusive innehåll som framställer sig som avrådande men ändå förmedlar lockelsen att härma.

Varför det här är ett eget tema

Farliga utmaningar har vissa beröringspunkter med modellering av skadligt beteende (tema 12) men motiverar en separat upptäckt. Skälet är mönstret med härmningskaskader. En video som hyllar skadligt beteende är oroande; en viral namngiven utmaning är strukturellt annorlunda, eftersom namnet i kombination med viral mekanik ger specifika utfall som föräldrar gör rätt i att hålla koll på.

En barnmedicinsk översiktsstudie från 2024 följde specifikt exponeringen för namngivna utmaningar på YouTube och plattformar för korta videor under 24 månader. Resultaten var tydliga: barn som regelbundet konsumerade utmaningsinnehåll var mätbart mer benägna att försöka härma, tiden det tog för plattformarna att reagera på virala utmaningar var fortfarande så lång att betydande härmning hann ske innan någon moderering, och varningar i utmaningsinnehåll hade nästan ingen effekt på hur ofta barn försökte härma.

Skadeprofilen är också mer direkt spårbar än för andra innehållskategorier. Data från akutmottagningar, disciplinära ärenden i skolor och (i de värsta fallen) rättsmedicinska rapporter har upprepade gånger spårat specifika händelser tillbaka till specifika virala utmaningar. Plattformen har erkänt sambandet i vissa specifika fall (Tide Pod, Blackout) men inte i alla.

Watchlys hållning är just för den här kategorin försiktig. Vi flaggar hellre. Kostnaden för ett falskt larm om en ofarlig utmaning är ett undantag; kostnaden för en missad flagga om en utmaning med härmningskaskad är att ditt barn försöker göra den.

Varför YouTube inte hinner fånga det mesta av detta

YouTube har policyer som förbjuder innehåll som uppmuntrar till farliga aktiviteter, och plattformen reagerar på specifika virala utmaningar genom att ta bort det mest uppenbara innehållet. Problemet är tidpunkten: när en utmaning har identifierats och plattformen har reagerat har veckor gått och härmningskaskaden redan spelats ut.

Upptäckten av namngivna utmaningar förutsätter att plattformens säkerhetsteam känner igen utmaningen. Nya utmaningar går oftast igenom ett namn, en hashtagg och en memestruktur som tar tid att uppmärksamma. Plattformens automatiska system väntar oftast på att människor eskalerar innan de flaggar.

Inramningen ”gör inte det här hemma” är plattformens favoritnödutgång. Kreatörer lägger till en varning och innehållet glider igenom. Forskning som motsäger tanken att varningar hjälper har inte lett till några policyändringar. De ekonomiska drivkrafterna talar emot hårdare moderering; utmaningsinnehåll är mycket engagerande.

Nischade eller regionala utmaningar hamnar ibland aldrig på plattformens säkerhetsradar alls. En utmaning som är populär i ett skolområde kan orsaka betydande lokal skada innan någon moderering sker.

Lärorikt innehåll som avråder från att härma fastnar i samma nät som innehåll som uppmuntrar till härmning, vilket ibland leder till att plattformen begränsar det lärorika innehållet för mycket och det uppmuntrande innehållet för lite.

Watchlys upptäckt letar efter mönstren: namngivna utmaningar från en ordlista som uppdateras regelbundet, strukturella mönster som matchar nya namnlösa utmaningar (namn på utmaningen plus ordförråd för att utmana någon plus påverkan i den fysiska världen), hänvisningsmönster även när kreatören framställer innehållet som avrådande och tidsmarkörer för när utmaningen dyker upp i innehållet. Vi flaggar försiktigt eftersom kostnaden för att komma i kapp är hög.