Ne plus avoir peur sur les réseaux sociaux, grâce à une IA qui efface les insultes et le harcèlement

Difficile de s'exprimer sur les réseaux sociaux, lorsqu'on sait que l'on peut se faire attaquer voire harceler par n'importe qui. Pour que les utilisateurs aient moins peur des insultes gratuites, un jeune niçois a créé il y a quelques années l'application Bodyguard, pour aider à éliminer les commentaires agressifs et haineux.

Une intelligence artificielle capable de repérer le contenu haineux

Dans une situation avérée de cyberharcèlement, ou simplement lorsque l’on craint de s'exposer publiquement sur internet, l’application Bodyguard peut être très utile, car elle supprime la toxicité des conversations. Pour réussir cette prouesse, son algorithme a été entraîné à reconnaître les différents types de commentaires haineux: insultes, menaces, moqueries, homophobie, harcèlement sexuel ou moral. Même avec des fautes d'orthographe, abréviations ou astérisques qui insinuent le mot sans l'écrire peuvent être détectées par l’intelligence artificielle.
Concrètement, l’utilisateur doit donner à Bodyguard l’autorisation de se connecter à ses comptes de réseaux sociaux, pour pouvoir gérer les commentaires sous les vidéos Youtube par exemple, ou bloquer les utilisateurs insultants sur Twitter. Il est possible de régler plusieurs degrés de «tolérance», et de préciser par exemple si on ne veut voir passer aucun message raciste, homophobe ou de l'harcèlement sexuel. L’algorithme pourra donc laisser passer les blagues ou moqueries, mais censurer le contenu clairement haineaux.

Bodyguard respecte la liberté d’expression 

L’application peut cacher les commentaires dans une timeline, bloquer des utilisateurs, mais elle ne peut pas supprimer le compte d’un autre utilisateur, et ne le souhaite pas, car cela poserait des problèmes de liberté d’expression. La gestion des comptes des utilisateurs qui font une utilisation incorrecte de leur liberté d’expression, selon le créateur de Bodyguard, Charles Cohen, est la responsabilité totale des plateformes elles-mêmes.
L'application est pour l’instant compatible avec Twitch, Facebook, Youtube, et Twitter mais il faut que les plateformes soient ouvertes aux développeurs pour pouvoir gérer les commentaires. Ce n'est par exemple pas le cas de Snapchat ou TikTok. À l’avenir, une application familiale pourrait voir le jour pour envoyer des notifications aux parents en cas de détection de commentaires haineux dans la timeline de leurs enfants.

Les réseaux sociaux ont du mal à gérer eux mêmes les contenus haineux

Pour Charles Cohen, les réseaux sociaux ont du mal à gérer eux mêmes leurs contenus à cause de la technologie qu’ils utilisent pour cela. Alors qu’ils utilisent le machine learning, Bodyguard a un fonctionnement plus artisanal. Son filtre analyse les mots ou groupes de mots potentiellement agressifs, mais aussi le contexte autour du message, ainsi que les profils et la relation entre l'auteur et la ou le destinataire du commentaire. Il décide ensuite de le supprimer, masquer, bloquer ou non. L'entraînement de l’algorithme de façon manuelle a pris environ 2 ans, le temps nécessaire pour étudier et “tagger” précisément le plus de configurations possibles.
Ce manque de travail manuel et détaillé pour modérer les commentaires pourrait coûter cher aux réseaux sociaux, qui vivent une phase très difficile, en ce période de revendications contre le harcèlement et contre le racisme. Les marques (Coca-Cola, Disney ou Unilever), pour montrer leur désaccord face manque d’action de la part des plateformes numériques pour bloquer le contenu haineux, ont boycotté certaines plateformes, en retirant leurs publicités. Cela a affaibli considérablement Twitter, avec une perte de revenus de 19%, ce qui pousse l'entreprise à envisager un service payant. 
En France, la régulation de la haine en ligne, tout particulièrement concernant les mineurs, est au coeur des missions de l'observatoire lancé le 7 juillet 2020. 
Google, Facebook, Twitter, Twitch, Snapchat et TikTok, participeront à l’observatoire pour analyser et quantifier le phénomène de la haine en ligne, améliorer la compréhension des ressorts et des dynamiques, et favoriser le partage d'information et le retour d'expérience entre les parties prenantes.