OpenAI annonce avoir banni des comptes chinois et nord-coréens pour avoir utilisé son modèle ChatGPT à des fins de surveillance

Vendredi dernier, la société américaine OpenAI, éditrice de l’intelligence artificielle générative ChatGPT, a annoncé avoir banni des comptes d'utilisateurs en Chine et en Corée du Nord pour utilisation “malveillante” de son modèle. La décision, rendue publique dans un rapport de sécurité, évoque des campagnes de désinformation et de surveillance ciblant les réseaux sociaux Facebook, X ou encore YouTube, Telegram et Reddit. Son modèle ChatGPT servait également à créer un outil à ces mêmes fins-là.

OpenAI a expliqué avoir détecté plusieurs cas d'utilisation abusive de ses technologies. Dans son rapport, l’accent est mis sur une opération baptisée par la société “Peer Review", menée par des acteurs chinois, à se référer à la langue utilisée ainsi que les horaires d’activité. “Nous avons banni un groupe de comptes ChatGPT qui, sur la base de schémas comportementaux et d'autres éléments, provenaient probablement de Chine”, explique-t-on dans le rapport.

Campagnes d’influence, de surveillance et de fraude à l’emploi

“Ces comptes utilisaient nos modèles pour analyser des documents, générer des argumentaires de vente et des descriptions d’outils de surveillance des activités sur les réseaux sociaux alimentés par des modèles tiers, éditer et déboguer le code de ces outils, ainsi que rechercher des acteurs et sujets politiques”, poursuit OpenAI.

Concrètement, “Peer Review” visait à développer un outil de surveillance des médias sociaux, nommé "Qianyue Overseas Public Opinion AI Assistant", devant analyser en temps réel les publications et commentaires sur diverses plateformes comme X, Facebook, YouTube, Instagram, Telegram et Reddit. Le but, à se référer à la même source, était de collecter des informations sur les conversations portant sur des sujets politiques chinois, en mettant l'accent sur les appels à manifester, et de transmettre ces données aux autorités chinoises ainsi qu’à ses ambassades à l’étranger. 

Les États-Unis ne sont pas le seul pays surveillé. L’Allemagne et le Royaume-Uni figurent aussi dans la short-list des cibles de ces réseaux. Quant aux thématiques les plus monitorées se trouvent la question des Ouïghours ou encore la diplomatie dans la région Indo-Pacifique, arrière-cour de Pékin dans un contexte de fortes tensions avec Taïwan et l’Inde, pour ne citer que ces deux pays. 

Des réseaux ont également exploité ChatGPT à des fins de désinformation, renchérit OpenAI, évoquant dans son rapport un autre cas impliquant la génération d'articles de presse en espagnol critiquant les États-Unis, qui ont ensuite été publiés comme du contenu sponsorisé dans des médias latino-américains sous la signature d'une entreprise chinoise. Cette opération, baptisée "Sponsored Discontent" par OpenAI, serait une première selon la société américaine, qui précise qu’aucune campagne d'influence d'origine chinoise n’est parvenue auparavant à placer des articles longs dans les médias latino-américains pour critiquer les États-Unis.

OpenAI dévoile qu’une autre campagne de désinformation a été menée et cette fois-ci, il ne s’agissait pas d’articles de presse mais de posts sur les réseaux sociaux. Son chatbot était utilisé pour générer de courts messages publiés sur les réseaux sociaux, dénigrant notamment les publications sur X Cai Xia, ancienne professeure à l’école centrale du Parti communiste chinois (PCC), dissidente aux yeux de Pékin. 

Des schémas avancés

Au nord de cette superpuissance, c’est-à-dire en Corée du Nord, d’autres activités ont été détectées. Il est surtout question de fraude à l’emploi ciblant les sociétés occidentales. Un système bien rôdé et déjà documenté, qui consiste à se faire passer pour des employés occidentaux en se dotant d’une fausse identité, y compris sur Internet, avec un triple objectif, détourner des fonds à travers les salaires accumulés, obtenir des équipements comme des ordinateurs professionnels ainsi que des informations sur l’employeur.

La société américaine a ainsi banni les comptes impliqués, détectés à l’aide de plusieurs de ses outils IA. Dans son rapport, publié régulièrement pour “prévenir l’utilisation de ses technologies par des régimes autoritaires afin de renforcer leur pouvoir ou leur contrôle sur leurs citoyens”, OpenAI affirme que c’est la première fois qu'elle observe un système de surveillance IA aussi avancé.

Il ne s’agit pas du premier cas de “détournement” de ChatGPT selon Ben Nimmo, enquêteur principal chez la startup américaine, qui avait mentionné, lors du sommet à Paris début février, des cas similaires déjoués par ses équipes. 

Ce bannissement s'inscrit dans un contexte plus large de course à l'IA entre les grandes puissances mondiales. Les États-Unis, la Chine et l'Union européenne investissent massivement dans le développement de l'IA, cherchant à dominer un domaine qui s'entrecroise profondément avec les dynamiques de pouvoir mondial, la confidentialité des données et les préoccupations de sécurité nationale.

En début d’année, le chinois DeepSeek a été lancé par une entreprise chinoise d’IA, déstabilisant pendant quelques jours les cours en bourse en Occident. Dans la foulée, plusieurs pays occidentaux, dont des États américains, l'Italie et les Pays-Bas, ont interdit l'utilisation de cette IA, notamment à leurs hauts fonctionnaires, justifiant leur décision par les risques de sécurité nationale et de protection des données.