Le compte du joueur croate Antonio Radić, également connu sous le nom d’« Agadmator », a été suspendu pour contenu « nuisible et dangereux » alors que celui-ci commentait une partie du grand maître international Hikaru Nakamura. Sa chaîne YouTube consacrée aux échecs a été bloquée par le programme d’intelligence artificielle (IA) de la plate-forme après que celui-ci a détecté une répétition des termes « noirs », « blancs » ou encore « attaque », des mots qui sont couramment utilisés aux échecs, en référence à la couleur des pions.
La filiale de Google a, par la suite, débloqué sa chaîne, suivie par plus d’un million d’abonnés, sans pour autant fournir d’explication au responsable de la chaîne.
Des informaticiens de l’université Carnegie-Mellon ont pu expliquer que l’algorithme de YouTube a tout simplement mal interprété les commentaires, car il n’est pas en mesure de prendre en compte le contexte, rapporte The Independent. « En s’appuyant sur l’intelligence artificielle pour détecter un langage raciste, ce type d’accident peut se produire », a déclaré le scientifique Ashiqur KhudaBukhsh. Le système de modération de YouTube repose à la fois sur les humains et sur des algorithmes d’IA.
Après avoir examiné plus de 1.000 commentaires, qui avaient été classés par l’IA comme étant des « discours de haine », ils ont pu voir que 82 % d’entre eux contenaient les mots « noirs », « blancs », « attaque » ou encore « menace ». Pour éviter que ce type d’incident ne se reproduise à l’avenir, les experts ont ainsi suggéré à YouTube d’intégrer le lexique des échecs dans leur algorithme.