Discord face aux dérives de la modération IA

En l’espace de deux mois, 8 400 comptes Discord ont été suspendus sans raison. Le système de modération par intelligence artificielle avait identifié des éléments inoffensifs comme des contenus constitutifs de délits.

En l’espace de deux mois, 8 400 comptes Discord ont été suspendus sans raison. Le coupable ? Un système de modération géré par l’intelligence artificielle qui a catégorisé des éléments inoffensifs comme des délits. L’origine du problème a de quoi soulever quelques questions. 

Our systems flag content by matching it against known harmful material. This kind of similarity matching can produce false positives, which is why a member of our Trust & Safety team always reviews flagged content before any action is taken.

The intended behavior is to…

— Discord Support (@discord_support) July 7, 2026

8 400 comptes Discord suspendus par erreur 

Entre mai et juillet 2026, 8 400 comptes Discord ont été suspendus sans raison. Les personnes concernées n’avaient transgressé aucune règle, ni adopté de comportement problématique. En réalité, le soucis se situait au niveau des systèmes de modération gérés par l’intelligence artificielle. En effet, comme l’explique le compte de support de Discord sur X, la plateforme a détecté deux dysfonctionnements au niveau de sa modération. D’une part, le système a catégorisé des éléments inoffensifs comme des violations du règlement.

La plateforme l’explique elle-même : « Nos systèmes signalent le contenu en le comparant à du matériel nuisible connu ». D’autre part, après la découverte de ce premier problème, un bug logiciel a empêché la réactivation des comptes concernés. Autrement dit, les équipes de Discord ne sont pas parvenues à réactiver manuellement les comptes suspendus à cause d’un problème technique. La plateforme a aujourd’hui annoncé avoir débloqué tous les comptes affectés par ces disfonctionnements. 

Quelle est l’origine de ces bannissements injustifiés ?

À première vue, on pourrait se dire qu’il s’agit d’une simple erreur de modération. Mais l’origine du problème soulève des questions qui méritent d’être examinées. Discord a clarifié la situation sur X en citant un message posté par un compte nommé Tall Cow. Ce dernier expliquait : « Il y a actuellement une vulnérabilité dans la modération IA de Discord qui détecte n’importe quelle et toutes les images de grille carrée, telles que les feuilles de calcul, les échiquiers, les inventaires Minecraft, les fonds transparents blancs et gris… comme du contenu pédopornographique et bannira définitivement votre compte ».

En citant ce message, Discord approuve donc en toute logique son contenu : la modération par l’IA de la plateforme a catégorisé des éléments totalement inoffensifs comme des contenus pédopornographiques. Il ne faut pas développer davantage pour comprendre l’ampleur du problème. De plus, cette situation a perduré deux mois, sans que les équipes de Discord ne détectent l’anomalie. Alors certes, l’intelligence artificielle peut aider à modérer des contenus à grande échelle, mais ses défaillances peuvent aussi avoir un impact significatif sur les internautes.

Et nous ne parlons pas ici de simples suspensions de comptes, mais de situations où des utilisateurs peuvent être injustement associés à des contenus criminels. Quoi qu’il en soit, Discord a promis de travailler « sur de meilleures protections pour que cela ne puisse plus se produire discrètement, et plus généralement, sur le fait de veiller à ce que nos systèmes de sécurité ne pénalisent pas les personnes qui n’ont rien fait de mal ».

👉🏻 Suivez l’actualité tech en temps réel : ajoutez 01net à vos sources sur Google, et abonnez-vous à notre canal WhatsApp.