L’automatisation des discriminations raciales : les algorithmes sont-ils racistes ?

Au beau milieu de la préoccupation mondiale et des mouvements de protestation contre le racisme suite à la mort choquante de George Floyd, le débat se porte maintenant sur la question des discriminations de la part des algorithmes. Les GAFAM mais aussi Twitter et autres plateformes se manifestent et montrent une nouvelle “solidarité” et un “intérêt” pour ce mouvement mondial d'une ampleur inédite. Mais comment les algorithmes peuvent-ils être racistes? À qui la responsabilité et comment combattre ce racisme 2.0? Nous essayons d'apporter quelques réponses ici.

Les algorithmes, loin d'être neutres, reproduisent les stéréotypes de leurs créateurs

Une Intelligence artificielle est aujourd'hui capable d'accorder un prêt bancaire en sélectionnant les profils les plus rentables et moins risqués, de sélectionner qui sera admis en urgence à l'hôpital en évaluant la gravité de l'état du patient, ou d'identifier directement sur leur visage les besoins en tant que consommateurs. Des données personnelles (âge, sexe, sentiment ou origine ethnique) peuvent être prises en compte pour élaborer des recommandations ou diagnostics automatiques.
Des recherches confirment que les bases de données et les stéréotypes des humains qui les conçoivent, peuvent engendrer des discriminations et la CNIL a averti récemment du besoin de faire attention aux dangers de discrimination des algorithmes.

Des entreprises comme IBM ou Amazon: des facilitateurs de technologies racistes?

Des entreprises comme Amazon, Apple, Facebook, Google, Microsoft et Twitter affirment souvent qu'elles font du monde un endroit meilleur grâce à leurs outils technologiques. Une affirmation très bancale, si l’on découvre que certaines de leurs technologies véhiculent la discrimination raciale.
En 2015, Google Photos avait fait scandale en confondant une personne noire avec un gorille. Mais ce n'est pas le seul danger de la reconnaissance faciale. IBM offre sa technologie de reconnaissance faciale pour la surveillance de masse ou le profilage racial. Suite au mouvement #blacklivesmatter, Arvind Krishna, PDG d'IBM, a publiquement exprimé ses réticences à continuer à développer cette technologie de pointe pour la police américaine. Dans une lettre au Congrès, il affirme que le temps est venu de remettre en question le déploiement de la reconnaissance faciale et d'entamer un dialogue national sur la question pour savoir si et comment la technologie de reconnaissance faciale doit servir aux “services répressifs nationaux”. IBM demande aussi un cadre juridique précis pour l’usage de ces technologies.
Amazon, de son côté, a annoncé mercredi 10 juin que son logiciel de reconnaissance faciale Rekognition sera interdit pendant un an pour que la police ne puisse pas s'en servir dans le cadre des manifestations anti-racistes aux Etats Unis.
En signe de solidarité avec le mouvement anti-racisme, Facebook a annoncé des améliorations pour la modération de contenu haineux. D'autres, comme Grindr, prévoient aussi de supprimer un filtre ethnique dans la prochaine version de leur application de rencontres LGBT. "Nous ne resterons pas silencieux et nous ne serons pas inactifs", a déclaré Grindr dans un message publié par son compte Twitter officiel.

Le positionnement des GAFAM, enfin une bonne nouvelle?

Outre quelques décisions stratégiques en soutien au mouvement, les géants du net et leurs CEOs se sont montrés solidaires des manifestations anti-racistes sur les réseaux sociaux et en profitent pour rappeler leur engagement en faveur de la diversité au sein de leurs entreprises.
Cependant, pourquoi agissent-ils seulement maintenant et n’ont rien dit pour des cas de violences raciales qui ont déjà frappé l'opinion publique auparavant? Le cas de George Floyd n'est pas une première. Avant lui, en 2014 les injustices contre Eric Garner et Michael Brown avaient aussi fait le tour du monde, mais, la réponse des leaders de l'Internet s'est faite attendre.
Ces entreprises ne se sont peut-être pas manifestées en 2014, mais, le fait qu’elles l’aient fait en 2020 est un signe encourageant de progrès. Pourtant, une déclaration de solidarité et quelques dons ne devraient être qu'un début. Selon Jay Peters, journaliste de The Verge, l'antiracisme de la part de la Sillicon Valley n'est qu'un premier pas, il reste encore du chemin à parcourir: “Il y a la reconnaissance du racisme et puis il y a le travail continu pour être antiraciste.”

Changer les algorithmes est plus facile que changer les gens

Selon Sendhil Mullainathan, professeur d'économie à l'Université Harvard, la discrimination par algorithme peut-être plus facilement découverte et plus facilement corrigée que la discrimination des humains. En effet, avec une réglementation appropriée, les algorithmes peuvent même aider à réduire la discrimination.
Une agence de réglementation avec des auditeurs hautement qualifiés pourraient traiter les ensembles de données pour certifier qu'ils ne vont pas provoquer des bias.

De l’open data pour faire face aux bias algorithmiques

L’UE  s’est aussi prononcée dans un rapport récent pour alerter que les données biaisées peuvent créer des algorithmes biaisés. Par exemple, des algorithmes de reconnaissance faciale, formés sur des ensembles de données contenant plus de visages occidentaux que des personnes d'origine ethnique plus diversifiée, pourraient donner des analyses biaisées. Pour faire face aux discriminations algorithmiques il est essentiel d'utiliser des données représentatives.
Pour cela, l'ouverture des données peut jouer un rôle très important. En outre, l'UE rappelle que l'open data peut aussi, au contraire, effacer toute forme de préjugé sexiste ou racial.