Därför visar YouTube Kids fortfarande olämpliga videor

Elsagate och vad det avslöjade om algoritmisk filtrering

Mellan slutet av 2017 och början av 2018 dokumenterade föräldrar och journalister ett storskaligt fenomen som kom att kallas Elsagate. Tusentals videor – många med tiotals miljoner visningar – hade använt välkända barnfigurer som Elsa, Spider-Man och Peppa Pig i miniatyrbilder och titlar, samtidigt som de dolde innehåll med våld, grov humor, kroppsskräck och sexualiserade scenarier. Videorna var formaterade för att se ut som barnvisor och tecknade filmer, och YouTubes automatiska system hade låtit dem frodas på Kids-plattformen.

YouTubes svar var omfattande. Företaget tog bort miljontals videor, anställde tusentals fler mänskliga granskare och skärpte kriterierna för vilket innehåll som får visas på YouTube Kids. I mitten av 2018 hade de mest uppenbara exemplen tagits bort och antalet anmälningar sjönk kraftigt. Många nyhetscykler förklarade problemet löst.

Det Elsagate faktiskt avslöjade var dock inte ett tillfälligt fel som gick att laga. Det blottlade den strukturella konflikten i hjärtat av varje algoritmiskt filtreringssystem: samma engagemangssignaler som gör att en video presterar bra bland barn – välkända figurer, starka färger, hög klickfrekvens – är också perfekt kamouflage för aktörer med onda avsikter som förstår hur de ska utnyttja dem. Så länge rekommendationsmotorn belönar engagemang och filtret arbetar reaktivt genom att flagga innehåll efter att det har dykt upp, förblir glappet mellan uppladdning och granskning öppet. Innehållsskapare som vill utnyttja det glappet har all anledning att fortsätta prova nya format.

Elsagate-metoden har utvecklats sedan 2018. Moderna varianter undviker ofta de mest uppenbara triggerorden i titlar och använder en långsammare, mer subtil upptrappning. De är svårare att fånga i automatisk granskning och tar längre tid för mänskliga granskare att identifiera. Kategorin ”innehåll som ser bra ut i miniatyrbilden och de första trettio sekunderna” är i princip obegränsad, och det finns inget automatiskt system som helt kan täppa till den.

Så skapar rekommendationsmotorn i YouTube Kids en ständig risk

YouTube Kids är inte ett statiskt bibliotek med förgodkända videor. Det är en del av YouTubes bredare katalog, filtrerad utifrån signaler som plattformen använder för att avgöra om något passar barn, med en rekommendationsmotor som körs under ytan. Motorn följer vad varje barn klickar på, hur länge hen tittar och vad hen tittar på härnäst, och anpassar det den visar därefter. Det är exakt så den vanliga YouTube-algoritmen fungerar – Kids-versionen har bara ett striktare filter ovanpå.

Problemet är att ”striktare filter ovanpå” och ”ingen rekommendationsdrift” inte är samma sak. Om ett barn tittar mycket på en viss typ av video lyfter algoritmen fram mer innehåll som liknar den. Om den driften leder barnet mot gränsfallsinnehåll – inte uppenbart olämpligt, men inte riktigt rätt heller – kanske filtret inte fångar det, och rekommendationerna fortsätter att förstärkas. Under en session på trettio eller fyrtio minuter kan innehållet ett barn ser i slutet likna väldigt lite det hen tittade på i början.

YouTube har erkänt att dess automatiska system är ofullkomliga. I sin egen kommunikation om Kids-appen skriver företaget att det inte kan garantera att allt innehåll är lämpligt och ber föräldrar att hålla koll på tittandet. Det är ingen kritik av YouTubes ingenjörer – det är en ärlig beskrivning av vad maskininlärning kan och inte kan göra. Att bedöma om en video är lämplig med full förståelse för sammanhanget kräver mänskligt omdöme, och det laddas upp alldeles för mycket innehåll varje dag för att varje video ska kunna granskas av en människa innan den publiceras.

Nya uppladdningar är särskilt sårbara. En kanal med ren historik kan publicera en video som klarar den automatiska granskningen och dyker upp i rekommendationerna innan någon människa har sett den. I en innehållskategori med hög volym som barnunderhållning, där kreatörer publicerar dagligen eller flera gånger om dagen, håller enbart mängden nya uppladdningar granskningskön betydande. Föräldrar som har ställt in YouTube Kids och sedan gått vidare arbetar med en ögonblicksbild av plattformen, inte ett stabilt kurerat bibliotek.

Sedan har vi sökningen. Om inte en förälder har ställt profilen i läget Endast godkänt innehåll kan barn söka efter vad som helst i YouTube Kids, och resultaten filtreras av samma automatiska signaler – inte av förälderns tidigare granskning. Ett barn som söker efter en favoritfigur kan hitta innehåll som har klarat de automatiska kontrollerna men som föräldrarna aldrig har sett.

Därför täpper modellen med godkänd lista till luckan som filtrering inte kan

Den strukturella begränsningen hos alla filtreringssystem är att de är reaktiva: innehållet måste finnas innan det kan bedömas, och något måste utlösa en granskning. En godkänd lista vänder helt på det. Ingenting kan dyka upp för ditt barn om du inte uttryckligen har lagt till det. Det finns inget rekommendationsflöde som lyfter fram ogranskat innehåll, ingen sökning som når ut i YouTubes bredare katalog och ingen algoritm som optimerar för engagemang i bakgrunden. Allt innehåll ditt barn kan nå är precis de videor och kanaler du har godkänt.

Watchly bygger på modellen med godkänd lista. När ditt barn öppnar appen ser hen ett bibliotek som du har byggt: kanaler du sökt upp, videor du förhandsgranskat och kurerade bibliotek du importerat efter ålder och ämne. När en video tar slut återgår spelaren till biblioteket i stället för att köa upp nästa video som en algoritm valt. Det finns ingen sidopanel som föreslår relaterat innehåll och ingen kedja av automatisk uppspelning som kan driva iväg till ogranskat territorium.

Utöver den godkända listan kör Watchly en AI-driven innehållsskanning mot 21 kategorier – bland annat svordomar, våld, sexuella referenser, skrämmande innehåll och drogreferenser – så om en kreatör du har godkänt senare publicerar något i fel ton kommer det upp för din granskning innan ditt barn kan se det. AI:n fungerar som ett andra lager av trygghet, inte som den främsta grindvakten. Den främsta grindvakten är att ingenting kommer in om du inte släpper in det först.

Att sätta upp ett bibliotek tar kortare tid än de flesta föräldrar tror. Du kan importera ett färdigt bibliotek för en viss åldersgrupp – till exempel pedagogiska vetenskapskanaler för 8-åringar – med ett enda klick och sedan lägga till eller ta bort enskilda kanaler från föräldraöversikten. När biblioteket väl är byggt är underhållet litet: du lägger till en ny kanal när ditt barn ber om en och tittar ibland på översikten över visningshistoriken för att se vad hen har tittat på. Det finns inget flöde att ständigt bevaka och ingen algoritm att hela tiden nollställa.