Intelligence artificielle et jeux vidéos : vers un excessif réalisme ?

DÉPÊCHE — Spécialiste des puces et cartes graphiques mondialement reconnue, Nvidia a dévoilé un projet basé sur l'intelligence artificielle pour permettre aux joueurs d'avoir de "vraies" interactions vocales avec les PNJ (personnages non-joueurs). Dans le même temps, des chercheurs utilisent des "agents autonomes" et de "l'auto-prompting" pour créer des jeux... sans joueurs.

Depuis la mise en service de ChatGPT, que l'on peut sans doute considérer comme la face émergée de l'iceberg, l'intelligence artificielle se développe à une vitesse folle dans de nombreux secteurs. Parmi eux, les chatbots, la création graphique... et les jeux vidéos.

Des PNJ bavards, mais pas toujours réactifs

Baptisé Nvidia ACE, le nouveau dispositif de l'entreprise américaine a été présenté lors de l'événement Computex 2023. En bref, il permet aux joueurs de parler directement avec un PNJ à travers son micro, et au PNJ de répondre grâce à l'IA. Comme le rapporte The Verge, Nvidia ACE fonctionne à partir du modèle de langage NeMo et de Riva, ce qui lui permet de transcrire un discours oral en texte et vice versa.

Dans la vidéo de présentation publiée par Nvidia, on découvre ce à quoi ces interactions peuvent ressembler, avec l'exemple de Kai. Le joueur entre dans une sorte de bar cyberpunk japonais, où il entame une discussion avec le barman (PNJ) de façon simple : "Salut Jin, comment ça va ?" Ce dernier, peu naturel mais réactif, lui répond qu'il est inquiet à cause de la criminalité grandissante dans le quartier. Kai continue de l'interroger : "Je peux aider ?" Là, Jin lui explique d'où peut venir le problème, à savoir d'un criminel qui se cacherait dans les souterrains à l'est de la ville.

Si les réponses sont rapides, la discussion ressemble à s'y méprendre à un début de quête tout à fait banal, que l'on trouverait dans n'importe quel jeu de rôle. D'autant que les questions posées par le joueur sont très simples. Difficile de savoir si l'IA répondrait avec la même aisance à des interrogations moins évidentes.

C'est d'ailleurs une expérience qu'un autre joueur a menée sur le jeu vidéo Skyrim, avec l'aide de ChatGPT. Comme le rapporte Numerama, après l'ajout de son dispositif, "les PNJ de Skyrim deviennent bavards et effrayants". Dans une vidéo qu'il a publiée sur YouTube, on peut observer des discussions plus recherchées et moins prévisibles, mais beaucoup moins fluides. En somme, il y a peut-être encore un peu de travail pour que les interactions soient vraiment naturelles, mais les progrès de l'IA sont rapides. Si bien qu'elle se passerait même des joueurs...

Des jeux sans joueurs

Dans une vidéo intitulée "Les jeux vidéos vont changer pour toujours", le Youtubeur "Underscore_" présente des expériences menées grâce à des "agents autonomes" et des "auto-prompting".

N.B : Dans le jargon, un "prompt" correspond à une consigne que l'on donne à l'IA, qu'elle garde en mémoire pour donner une réponse.

Il raconte : "[Les chercheurs] ont créé 25 agents de ce type-là, leur ont donné une personnalité, un but dans la vie, des relations, une capacité de mémoire, puis ils les ont mis dans une villa sans joueurs." Imaginez des petits personnages à la façon des SIMS, sur lesquels vous n'avez strictement aucun impact. Sur ce "jeu", vous n'êtes que spectateurs, et lesdits agents autonomes font leur vie. La seule chose que vous pouvez faire, c'est cliquer sur les personnages, pour savoir "ce qu'ils sont en train de penser, de faire, ainsi que les éventuelles conversations qu'ils ont avec les autres".

Avec l'aide de schémas, le Youtubeur explique le fonctionnement des personnages : "Ils ont des slots [emplacements] de mémoire, qu'ils remplissent au fur et à mesure de leurs actions. Une fois 100 slots remplis, ils s'arrêtent et réfléchissent à ce qu'ils ont vécu." Concrètement, l'IA se penche sur chaque donnée, et lui donne une note d'importance selon différents critères. Un peu comme nous réfléchirions à ce que nous avons fait, ou subi, dans notre journée. Ainsi, le personnage fait le tri dans ses pensées et recommence avec une base mémorielle qui a évolué, et de nouvelles idées.

Grâce à ce fonctionnement, "des comportements hallucinants émergent". Par exemple, "ils ont décidé tout seuls d'organiser une Saint-Valentin. Et fun fact, seulement cinq personnages sur les onze se sont pointés à la fête."

Bientôt, les PNJ que nous rencontrons dans les jeux vidéos pourront donc s'organiser entre eux de façon complètement inattendue, selon ce qui se produira autour d'eux et ce qu'on pourra leur raconter. Les actions du joueur, par essence imprévisibles, feront de son expérience de jeu une expérience... unique.