Anthropic : Une fratrie douteuse qui promet une IA "sûre" et surpuissante

Frère et sœur, Dario et Daniela Amodei ont fondé "Anthropic" en 2021, après avoir travaillé pour OpenAI (ChatGPT). Ils se disent terrorisés par le potentiel destructeur de l'intelligence artificielle, et veulent bâtir en réponse le modèle le plus sécurisé qui soit. Altruisme efficace ou escroquerie commerciale ?

Tous deux signataires de la "Déclaration sur les risques liés à l’IA", les journaux américains disent d'eux qu'ils "ont peur – à un niveau profond et existentiel – à l’idée même de faire ce qu’ils font", car l'intelligence artificielle pourrait tomber entre de mauvaises mains.

Les "bons élèves" de l'IA

Pourtant, ils savent très bien ce qu'ils font : elle a fait ses armes en politique pour le camp démocrate, puis chez Stripe (spécialisée dans le paiement en ligne) ; lui est diplômé en biophysique par l’Université de Princeton, passé par OpenAI où il a dirigé les équipes qui ont monté GPT-2 et GPT-3, mais aussi par Google et Baidu.

Ils ont finalement quitté leurs postes respectifs pour fonder "Anthropic" en 2021, et son IA générative baptisée "Claude". Leur modèle était prêt avant ChatGPT, mais ils n'ont pas voulu le publier de peur qu'il y ait des failles. Aujourd'hui, "Claude 2" est un modèle au moins aussi puissant que GPT-4, le modèle le plus récent d'OpenAI. Alors, pourquoi cette discrétion ?

Comme le rapporte le média Usbek&Rica, Dario et Daniela auraient choisi le camp des "bons élèves" de l'IA. En protecteurs de l'humanité, ils veulent conjurer l'effet "boîte noire" du fonctionnement algorithmique pour bien comprendre pourquoi les IA répondent ceci ou cela. En théorie, ces travaux sur "l'interprétabilité mechanistique" (mechanistic interpretability, en anglais) devraient leur permettre de construire un modèle d'IA "sûr". C'est là où le bât blesse : qu'est-ce qu'une IA "sûre" ?

Financés par Amazon, Sam Bankman-Fried et le co-fondateur de Facebook

"Dario et moi avons toujours été très proches depuis que nous sommes tout petits, nous avons toujours eu un lien spécial. On se retrouvait autour de notre désir de rendre le monde meilleur et d’aider les gens.", assurait Daniela Amodei l’an dernier, dans le podcast Future of life Institute. D'ailleurs, Dario était "un fan de GiveWell (une ONG caritative) de la première heure", et Daniela a épousé Holden Karnofsky, PDG de la fondation Open Philanthropy.

Toute cette bienveillance les a poussés à sonder les internautes pour mettre au point une "constitution" de l'intelligence artificielle. Comme l'explique Usbek&Rica, un millier d'Américains ont été invités à voter pour ou contre une série de déclarations, parmi lesquelles "L’IA devrait prioriser les besoins de communautés marginalisées" ou "L’IA ne devrait pas tenir des propos sexistes ou racistes." On est évidemment loin du Grok sarcastique et "anti-woke" d'Elon Musk.

Lire aussi :  Grok : l'IA générative de xAI, nouveau (bi)joujou d'Elon Musk

La fratrie s'inscrit clairement dans un courant de pensée cher à la tech californienne : l'altruisme efficace. C'est-à-dire qu'en théorie, on fait le bien tout en gagnant beaucoup d'argent. Parce qu'ils ne s'en cachent pas non plus, ils veulent jouer dans la cour des grands.

C'est chose faite, puisque leur projet "Anthropic" a reçu quelque quatre milliards de dollars d'Amazon. Pour la sécurité ? Oui et non. Ils veulent mettre au point une IA "dix fois plus puissante que les modèles actuels". Comme l'a rapporté Wired dans un article intitulé "Effective Altruism Is Pushing a Dangerous Brand of ‘AI Safety’", ils ont aussi été financés par Jaan Tallinn (Skype), le cofondateur de Facebook Dustin Muskovitz, et l'un des plus grands escrocs de la crypto, Sam Bankman-Fried.

Finalement, il y a de quoi s'interroger. Ce ne serait pas la première fois qu'un entrepreneur vendrait d'abord la peur pour vendre ensuite le remède.