Quand « Je vais te trouver » n’est pas une blague

À quoi ressemble vraiment le contenu de violence réelle

Il existe toute une catégorie de contenu YouTube qui n’a pas l’air violent sur une miniature. Un gars dans son appartement, la voix calme, tient une boîte rectangulaire. Il ouvre la boîte. C’est un AR-15. Il passe les dix-huit minutes suivantes à expliquer comment il l’a obtenu, combien il l’a payé et quels accessoires il compte y ajouter. Votre enfant regarde tout. La miniature montrait un gars qui tenait ce qui aurait pu être une tablette.

Ou encore : un vlogue de voyage en voiture. Le créateur est enjoué, le montage est rapide, la musique est entraînante. Vers la sixième minute, l’indicateur de vitesse atteint 150 mi/h sur une autoroute publique. Le créateur rit et demande à la caméra « jusqu’à quelle vitesse ce bolide-là peut aller? » Des images d’accidents sont insérées pour faire rire. La vidéo compte huit millions de vues. Votre enfant a douze ans.

Ou encore : un créateur qui compte deux millions d’abonnés publie un extrait de balado sur une querelle avec un autre créateur. La phrase reprise partout sur TikTok, c’est « Je sais où tu habites, je vais venir te trouver. » Le créateur affirme que ce n’est pas une vraie menace, « évidemment ». Mais tous ceux qui l’écoutent comprennent la menace. Deux semaines plus tard, le créateur visé reçoit une vague de messages du genre « on s’en vient chez vous ». Votre enfant regardait le balado d’origine.

Ce ne sont pas des cas marginaux. Le contenu des chaînes consacrées aux armes à feu est l’un des genres les plus regardés sur YouTube. Le contenu de conduite dangereuse de créateurs qui comptent des millions d’abonnés fait partie du menu habituel de l’algorithme. Les menaces qui frôlent le doxxing, lancées dans des balados et des diffusions en direct, sont monnaie courante. Rien de tout cela ne présente la signature visuelle que les systèmes automatisés de YouTube sont conçus pour repérer.

Les cas les plus difficiles sont ceux qui semblent presque innocents. Un créateur raconte une bagarre dans laquelle il s’est retrouvé la fin de semaine dernière. Il donne des détails physiques précis. Il a l’air fier. La vidéo est monétisée. Ou encore une chaîne de « true crime » qui s’attarde sur les détails des armes, la façon de se débarrasser d’un corps, la satisfaction d’une exécution. Présenté comme de l’information, mais vécu sur le plan émotif comme du divertissement. Ou un « tutoriel d’autodéfense » qui est en réalité un tutoriel pour blesser quelqu’un, avec un mince avertissement au début.

Pourquoi c’est une catégorie distincte des combats dans les jeux vidéo

Une question raisonnable de parent, après avoir vu une vidéo signalée sur des combats à l’épée dans Minecraft : « Vous traitez vraiment ça de la même façon qu’un gars qui exhibe une carabine? » Non. Ce sont deux thèmes entièrement distincts, et vous les contrôlez séparément. Les combats dans les jeux vidéo (Fortnite, Call of Duty, Minecraft, duels de sabres laser, batailles de Nerf) relèvent d’un thème « Discrétion » distinct, appelé Violence ludique et fantastique. Certaines familles affichent ce contenu pour rester informées, d’autres ne s’en préoccupent pas. Dans un cas comme dans l’autre, il est indépendant de ce thème-ci.

La ligne, c’est l’intention et la réalité. « J’ai tué le boss d’Elden Ring avec une épée longue +5 », c’est de la narration de partie. « Je l’ai poignardé dans la poitrine, il y avait du sang partout », dit sérieusement, à propos d’un événement réel ou d’un scénario fictif présenté comme sérieux, c’est le signal que nous repérons ici. Le même mot : tuer. Un contenu complètement différent.

Quand la ligne est floue (un créateur qui crie « Je vais te tuer » en pleine partie de Fortnite, mais sur un ton qui semble vraiment fâché), Watchly signale par défaut ce thème-ci plutôt que le thème ludique. C’est le choix prudent. Vous pouvez le modifier.

La même logique s’applique aux armes. Une épée de diamant dans Minecraft, ce n’est pas la même chose que la critique d’un AR-15. Un fusil Nerf, ce n’est pas la même chose que la présentation d’un vrai Glock. Le modèle visuel arrive parfois à faire la différence, parfois non. Le signal dans la transcription, lui (« c’est une vraie arme que j’ai achetée, voici comment je l’ai obtenue, voici comment elle tire »), ne laisse aucun doute à quiconque le lit. C’est ce que Watchly lit.

Pourquoi les systèmes de filtrage de YouTube ne le repèrent pas

YouTube dispose bel et bien de certaines défenses contre le contenu violent. Le classificateur visuel automatisé de la plateforme est entraîné à repérer le sang, la violence graphique, les armes à l’écran dans des scénarios de menace évidents et les altercations physiques. Quand ces déclencheurs s’activent, la vidéo fait l’objet de restrictions : limite d’âge, démonétisation, parfois retrait.

Le classificateur fonctionne dans les cas clairs. Une bagarre filmée le déclenche. Une blessure sanglante le déclenche. Une arme pointée vers une autre personne à l’écran le déclenche souvent. C’est bien réel, et c’est pourquoi le pire du pire finit effectivement par être repéré.

La faille, c’est tout ce qui relève du ton, de la parole et du contexte. Un créateur qui décrit un événement violent sans aucune image, simplement en narration par-dessus un montage, ne donne rien à repérer au modèle visuel. Une arme brandie calmement, dans une vidéo où le reste du temps une personne est assise sur une chaise à parler, ressemble visuellement à n’importe quelle autre critique de produit. Un extrait de rage au volant qui glorifie la conduite à 150 mi/h n’a pas l’air « violent » pour un outil qui analyse les images; il ressemble à une vidéo de conduite. La menace dans « Je vais te trouver » ne laisse absolument aucune signature visuelle.

Le classificateur de texte lit les transcriptions et les métadonnées à la recherche de termes violents connus. Il repère « tuer », « tirer », « poignarder » dans des contextes évidents, puis restreint la vidéo ou non selon un millier de facteurs opaques. Le taux de détection des menaces en particulier est faible, parce que le langage de la vraie menace est souvent calme et précis (« je sais où tu habites, j’ai ton adresse ») plutôt qu’explosif (« je vais t’assassiner »). Et la version calme ne figure pas dans le dictionnaire.

Le contenu de conduite dangereuse a sa propre porte de sortie. La plateforme considère le contenu sur les habiletés de conduite comme un genre légitime. Un créateur qui filme à 150 mi/h et présente la vidéo comme une démonstration de « la vitesse maximale de l’auto » se situe dans un genre que YouTube monétise activement. Le même contenu présenté comme « voyons à quelle vitesse on peut traverser la ville » pourrait valoir un avertissement. Le même comportement, une présentation différente, un résultat différent.

Le contenu sur l’acquisition d’armes bénéficie du traitement le plus généreux. Les chaînes de critiques d’armes à feu forment une économie de plusieurs millions d’abonnés sur YouTube. La plateforme a des règles contre les « instructions pour fabriquer ou assembler des armes », mais permet presque tout ce qui s’arrête juste avant : vidéos de critiques, tests de munitions, contenu du genre « ce que j’ai acheté aujourd’hui ». Un jeune de 13 ans peut regarder des heures de présentations détaillées d’armes sans que la plateforme sourcille.

Le lecteur de transcriptions de Watchly repère les schémas que le modèle visuel ne voit pas : la voix calme qui décrit une vraie bagarre, le ton fier au sujet de la nouvelle carabine, le « Je vais te trouver » menaçant sans hausser le ton, la glorification des vitesses d’autoroute. Le signal se trouve dans les mots et dans la façon de les dire. C’est exactement ce pour quoi un filtre qui lit les transcriptions est conçu.