Pourquoi YouTube Kids montre encore des vidéos inappropriées

Elsagate et ce qu’il a révélé sur le filtrage algorithmique

Entre la fin de 2017 et le début de 2018, des parents et des journalistes ont documenté un phénomène de grande ampleur devenu connu sous le nom d’Elsagate. Des milliers de vidéos — dont plusieurs atteignaient des dizaines de millions de visionnements — utilisaient des personnages pour enfants bien connus, dont Elsa, Spider-Man et Peppa Pig, dans leurs miniatures et leurs titres, tout en dissimulant à l’intérieur du contenu mêlant violence, humour grossier, horreur corporelle et scénarios sexualisés. Les vidéos étaient présentées comme des comptines et des dessins animés, et les systèmes automatisés de YouTube les avaient laissées proliférer sur la plateforme Kids.

La réaction de YouTube a été majeure. L’entreprise a retiré des millions de vidéos, embauché des milliers de réviseurs humains supplémentaires et resserré les critères permettant à un contenu d’apparaître sur YouTube Kids. Au milieu de 2018, les exemples les plus flagrants avaient été retirés et le nombre de signalements avait chuté fortement. Bien des bulletins de nouvelles ont déclaré le problème réglé.

Ce qu’Elsagate a réellement révélé, cependant, ce n’était pas une défaillance temporaire qu’on pouvait corriger. L’épisode a exposé la tension structurelle au cœur de tout système de filtrage algorithmique : les signaux d’engagement qui font qu’une vidéo performe bien auprès des enfants — personnages familiers, couleurs vives, taux de clics élevés — sont aussi un camouflage parfait pour les mauvais acteurs qui savent comment les manipuler. Tant que le moteur de recommandations récompense l’engagement et que le filtre agit de façon réactive, en signalant le contenu après sa publication, l’écart entre la mise en ligne et la révision reste ouvert. Les créateurs qui veulent exploiter cet écart ont tout intérêt à essayer sans cesse de nouveaux formats.

La recette d’Elsagate a évolué depuis 2018. Les versions modernes évitent généralement les mots-clés les plus évidents dans les titres et misent sur une escalade plus lente et plus subtile. Elles sont plus difficiles à attraper en révision automatisée et prennent plus de temps à être repérées par des réviseurs humains. La catégorie du « contenu qui a l’air correct dans une miniature et pendant les trente premières secondes » est essentiellement sans limites, et aucun système automatisé existant ne peut la refermer complètement.

Comment le moteur de recommandations de YouTube Kids crée un risque constant

YouTube Kids n’est pas une bibliothèque figée de vidéos approuvées d’avance. C’est un sous-ensemble du catalogue plus large de YouTube, filtré par les signaux que la plateforme utilise pour juger si un contenu convient aux enfants, avec un moteur de recommandations qui tourne en dessous. Ce moteur observe ce que chaque enfant clique, combien de temps il regarde et ce qu’il regarde ensuite, puis ajuste ce qu’il lui présente. C’est exactement le fonctionnement de l’algorithme principal de YouTube — la version Kids a simplement un filtre plus serré par-dessus.

Le problème, c’est que « un filtre plus serré par-dessus » et « aucune dérive des recommandations » ne sont pas la même chose. Si un enfant regarde beaucoup de vidéos d’un même style, l’algorithme lui propose davantage de contenu qui y ressemble. Si cette dérive entraîne l’enfant vers du contenu limite — pas manifestement inapproprié, mais pas tout à fait correct non plus — le filtre risque de ne pas l’attraper, et les recommandations continuent de s’accumuler. Après une séance de trente ou quarante minutes, le contenu que l’enfant regarde à la fin peut n’avoir presque rien à voir avec celui du début.

YouTube a reconnu que ses systèmes automatisés sont imparfaits. Dans ses propres communications au sujet de l’application Kids, l’entreprise précise qu’elle ne peut pas garantir que tout le contenu est approprié et demande aux parents de surveiller le visionnement. Ce n’est pas une critique de l’équipe d’ingénierie de YouTube — c’est une description honnête de ce que l’apprentissage automatique peut et ne peut pas faire. Juger si une vidéo est appropriée en tenant compte de tout le contexte exige un jugement humain, et il se publie beaucoup trop de contenu chaque jour pour que chaque vidéo soit révisée par une personne avant sa mise en ligne.

Les nouvelles publications sont particulièrement vulnérables. Une chaîne au dossier impeccable peut publier une vidéo qui passe la révision automatisée et apparaît dans les recommandations avant qu’un humain l’ait regardée. Dans une catégorie à fort volume comme le divertissement pour enfants, où les créateurs publient chaque jour ou plusieurs fois par jour, le simple volume de nouvelles publications maintient un arriéré de révision important. Les parents qui ont configuré YouTube Kids puis sont passés à autre chose travaillent avec un instantané de la plateforme, pas avec une bibliothèque stable et vérifiée.

Il y a aussi la question de la recherche. À moins qu’un parent ait basculé un profil en mode Contenu approuvé seulement, les enfants peuvent chercher n’importe quoi dans YouTube Kids, et les résultats sont filtrés par les mêmes signaux automatisés — pas par une vérification faite au préalable par un parent. Un enfant qui cherche son personnage préféré peut tomber sur du contenu qui a passé les contrôles automatisés sans jamais avoir été vu par ses parents.

Pourquoi la liste d’approbation ferme la brèche que le filtrage ne peut pas fermer

La limite structurelle de tous les systèmes de filtrage, c’est qu’ils sont réactifs : le contenu doit exister avant d’être évalué, et quelque chose doit déclencher une révision. Une liste d’approbation renverse complètement cette logique. Rien ne peut apparaître chez votre enfant à moins que vous l’ayez ajouté explicitement. Aucun fil de recommandations ne remonte de contenu non vérifié, aucune recherche n’atteint le catalogue plus large de YouTube, et aucun algorithme n’optimise l’engagement en arrière-plan. L’univers de contenu que votre enfant peut atteindre est exactement l’ensemble des vidéos et des chaînes que vous avez approuvées.

Watchly est bâti sur le modèle de la liste d’approbation. Quand votre enfant ouvre l’application, il voit une bibliothèque que vous avez bâtie : des chaînes que vous avez cherchées, des vidéos que vous avez visionnées d’avance et des bibliothèques prêtes à l’emploi que vous avez importées selon l’âge et le sujet. Quand une vidéo se termine, le lecteur revient à la bibliothèque au lieu de mettre en file une suite choisie par un algorithme. Il n’y a pas de barre latérale qui suggère du contenu connexe, ni de chaîne de lecture automatique qui puisse dériver vers du contenu non vérifié.

Par-dessus la liste d’approbation, Watchly effectue une analyse de contenu par IA sur 21 catégories — dont le langage grossier, la violence, les références sexuelles, le contenu effrayant et les références aux drogues — de sorte que si un créateur que vous avez approuvé publie plus tard quelque chose de déplacé, la vidéo est soumise à votre vérification avant que votre enfant puisse la voir. L’IA agit comme une deuxième couche de confiance, pas comme le gardien principal. Le gardien principal, c’est le fait que rien n’entre à moins que vous l’ayez laissé passer.

Bâtir une bibliothèque prend moins de temps que la plupart des parents le croient. Vous pouvez importer une bibliothèque prête à l’emploi pour un groupe d’âge précis — par exemple des chaînes scientifiques éducatives pour les 8 ans — en un seul clic, puis ajouter ou retirer des chaînes une à une depuis le tableau de bord parent. Une fois la bibliothèque bâtie, l’entretien est minime : vous ajoutez une nouvelle chaîne quand votre enfant en demande une et vous jetez un coup d’œil de temps en temps à l’historique de visionnement pour voir ce qu’il a regardé. Il n’y a pas de fil à surveiller sans arrêt ni d’algorithme à réinitialiser continuellement.