C’est l’un des enjeux éthiques fondamentaux de l’intelligence artificielle. Entrainés sur des bases de données de photos à tendances caucasiennes par des ingénieurs eux aussi à tendances caucasiennes, les biais racistes de la société sont intégrés dans les intelligences artificielles, voire exacerbés. Où en sommes nous et quelles sont les réponses du milieu de la tech ? On fait le point.
Les preuves s’accumulent. Ici, une personne noire fait 10 jours de prison et se lance dans un combat judiciaire couteux et épuisant après avoir été identifié à tord par un algorithme. Là, c’est une étudiante noire qui doit passer le barreau une lampe braquée sur le visage pour que son logiciel d’examen reconnaisse son visage. Là encore, un distributeur de savon ne reconnaît que les peaux claires. Un algorithme utilisé pour cadrer les aperçus d’images sur Twitter semble préférer les hommes blancs. Ou encore un algorithme conçu pour restaurer des images flous rend un Obama pixelisé en une version plus nette mais surtout plus blanche de lui même.
En 2016 déjà, une enquête de l’organisme de journalisme d’investigation ProPublica dévoilait qu’un programme informatique utilisé pour évaluer les risques de récidives signalait quasiment deux fois plus les personnes noires que blanches (45 % contre 24%). On pourra aussi citer le programme PredPol, crée par un professeur de l’université californienne UCLA en collaboration avec la police de Los Angels LAPD et utilisé depuis 2015 pour prédire les lieux et heures de crimes jusqu’à 12 heures à l’avance grâce à l’analyse de dix ans de procès verbaux (Minority Report, bonjour). Problème : le programme prédisaient deux fois plus de risques dans les quartiers noirs et hispaniques que les quartiers blancs, rapportait en 2017 The Guardian. Si les policiers suivaient les recommandations de l’algorithme, cela engendrait plus d’arrestations et donc des taux de crimes supérieurs. Un cercle vicieux, démontrait la chercheuse Kristian Lum, à la tête de Human Rights Data Analysis Group. En 2020, le programme est abandonné. La police de Los Angeles a avancé des raisons budgétaires mais la décision fait suite à une pression des communautés et activistes, souligne le Los Angeles Times.
Des dizaines d’exemples qui démontrent ce que plus personne ne conteste désormais : bon nombre d’algorithmes sont construits avec des biais inhérents. Alors que l’usage de l’intelligence artificielle s’accélère dans tous les pans de notre vie (justice, santé, entretiens d’embauche, examens, etc.), le sujet est des plus sérieux.
La base de données raciste du MIT
« La technologie n’est ni bonne, ni mauvaise. Elle n’est pas neutre non plus », a dit l’historien de la technologie Melvin Kranzberg (1917-1995). Afin d’acquérir cette intelligence, les algorithmes et réseaux de neurones sont entrainés sur des bases de données. Or, celles-ci sont souvent assez peu représentatives voire carrément racistes et misogynes. Exemple parlant : en juin 2020, le MIT a retiré une base de données, appelée 80 Million Tiny Images et développée depuis 2008, après avoir été alerté de descriptions offensantes attachées aux images.
« Le problème fondamental est que la base de données inclut, par exemple, des images de personnes noires et des singes étiquetés sous le mot-en-N, des femmes en bikinis ou portant leurs enfants étiquetées sous le mot « putes », des parties de leur anatomie taguées avec des termes crus, etc. De ce fait, des imageries quotidiennes sont inutilement liées à des insultes et des mots offensants, introduisant des préjugés et des biais dans les modèles d’IA futurs », rapportait alors The Register.
La laboratoire de science de l’informatique et d’intelligence artificielle (CSAIL) du MIT, l’une des meilleurs universités au monde et à l’avant-garde des disciplines technologiques, a affirmé ignorer l’existence de ces insultes jusqu’à cette alerte – les données ont été obtenues à partir d’Internet, explique un professeur du CSAIL au journal, et personne n’aurait vérifié la présence de propos injurieux.
Une autre base de données massive, ImageNet, créditée pour avoir révolutionné la recherche en IA, souffrirait des mêmes biais, rapporte le journal. « Une expérience appelée ImageNet Roulette proposait aux gens de soumettre leurs photos à un réseau de neurones entrainé sur ImageNet et qui décrirait l’image à partir d’étiquettes présentes dans la base de données. (…) Certaines personnes ont été choquées lorsque le logiciel les a décrites en utilisants des étiquettes racistes et offensantes. »
Si ces deux bases de données ont reçu un examen minutieux, on peut s’interroger sur l’état des ensembles plus confidentiels mais utilisés quotidiennement pour entrainer des algorithmes qui façonnent notre réalité.
Présentation du Gender Shades Project, par la chercheuse et activiste Joy Buolamwini (2018) :
La résurrection de la phrénologie
Il y a les algorithmes racistes ou sexistes « par négligence » et il y a ceux qui reposent sur des idéologies carrément bancales. Ainsi dans son excellent article « le passé sombre des algorithmes qui associent l’apparence et la criminalité », la chercheuse Catherine Stinson revient aux racines de la phrénologie, une théorie selon laquelle les bosses d’un crane reflète le caractère d’une personne, et à ses implications eugénistes. Ceux qui sont passés par les amphithéâtres de droit se rappellent sans doute du sinistre Cesare Lombroso, criminologue italien du 19 ème siècle pour qui il existait des caractéristiques faciales typiques du criminel.
Catherine Stinson rappelle le « gaydar » développé par des chercheurs de Stanford à partir d’une affirmation scientifiquement douteuse selon laquelle l’exposition aux « hormones prénatales » résulterait en un visage atypique et permettrait d’établir si un homme aime les hommes. Elle prend aussi l’exemple de start-up dont le programme consiste à juger de « l’employabilité » d’une personne selon ses expressions faciales. On rappelle au passage que si les chercheurs en reconnaissance faciale adorent disséquer les émotions, leur approche est loin de refléter la complexité du mécanisme émotionnel humain. Comme soulignent les auteurs de cette étude sur l’éthique des émotions dans l’IA, sous la loupe des entreprises, les émotions sont traitées comme des « informations numérisables », basées sur des signaux biologiques quantifiables tels que le rythme cardiaque, le ton de la voix, etc.
Stinson évoque également le programme de deux chercheurs de l’Université de Shanghai, créé en 2016 et capable selon eux d’identifier des criminels à partir de leurs visages avec une précision de 89,5 %. Cinq ans plus tard, l’industrie tombe toujours à pieds joints dans l’écueil d’un récit facile et d’une société classifiable à volonté : en janvier dernier, la compagnie japonaise DeepScore présentait une solution permettant de « déterminer si une personne est digne de confiance en seulement une minute ».
Mais alors, quel est le problème, s’interroge Catherine Stinson. « Est-ce que la phrénologie est scientifiquement viciée ? Ou est-ce immoral de l’utiliser, même si elle pourrait marcher ? » « Lorsque le projet mort-né que vous essayez de ressusciter a été inventé pour renforcer les structures coloniales et de classes – et quand la seule chose qu’il est capable de mesurer est le racisme inhérent à ces structures – il est difficile de vouloir l’essayer une fois de plus, juste pour le plaisir de la curiosité », tranche-t-elle.
Très blanche Silicon Valley
Si de telles dérives sont rendues possibles, c’est aussi que dans les laboratoires où éclosent ces intelligences artificielles, la diversité est encore loin. Selon le magazine Wired et l’institut de recherche Element AI, au niveau mondial, 12 % des chercheurs en machine learning ayant participé aux conférences majeures sont des femmes. En France, elles représentent 14,88 %. Selon la fondation britannique Nesta, 13,83 % des auteurs de papier sur l’IA sont des auteures.
Qu’en est-il de l’origine ethnique ? En 2020, l’ingénieur en vision par ordinateur Richmond Alake, posait la question : « Y’a-t-il des personnes noires en IA ? ». Pour répondre à cette question, il a examiné les rapports de diversités des principales entreprises du secteur. Résultat : en 2019, 3,8 % des employés de Facebook étaient noirs/Afro-Américains – seulement 1,5 % dans des emplois techniques ; environ 4,4 % pour Microsoft ; 3,7 % pour Google en 2020.
Un score loin d’être flamboyant auquel s’ajoutent quelques scandales retentissants. En décembre 2020, Google se séparait d’une informaticienne spécialisée dans les biais algorithmiques, Timnit Gebru, née en Éthiopie et co-fondatrice de Black in AI. Si les motifs sont flous (il est question d’un article scientifique et de sa publication ou non), le licenciement brutal d’une des rares spécialistes noires en IA a soulevé de nombreuses contestations, y compris en interne : une lettre ouverte signée par 2695 « googlers » et 4302 universitaires a été publiée en soutien de la chercheuse et deux ingénieurs ont démissionné en protestation.
L’évènement a également été l’occasion pour d’autres femmes noires de revenir sur leurs propres expériences. Ainsi de April Christina Curley, femme noire et queer, licenciée de son post de « recruteuse diversité » à Google en septembre 2020. Dans un long thread sur Twitter, elle explique l’absence de recrutement de la firme dans les universités américaines historiquement noires, les méthodes et comportements contestables face aux candidats noirs et les discriminations dont elle a elle-même été victime.
Des chartes éthiques à gogo
Fin du game ? Pas tout à fait. Il est désormais communément accepté que le secteur a un problème de diversité et de biais. Dans la lignée, des chartes éthiques se mettent en place de toutes parts. En 2015, la problématique fait une entrée fracassante et médiatique avec la Lettre ouverte sur l’intelligence artificielle dans laquelle des chercheurs et des personnalités comme Elon Musk ou Stephen Hawking alertent sur l’importance d’étudier les impacts sociétaux de l’intelligence artificielle. En juin 2018, c’est au tour de Google de publier ses sept principes éthiques en matière d’IA, dont le second est d’« empêcher de créer ou de renforcer des biais injustes ». Des ONG ou institutions publiques publient également leurs chartes, déroule la chercheuse Anna Jobin dans une conférence organisée par la Gaîté Lyrique, « Vers une convergence de l’éthique de l’IA ». Ainsi de la Déclaration de Toronto, adoptée par la communauté des droits humains, de la CNIL, ou encore de la république de Corée du Sud. Avec ses co-auteurs, la chercheuse a trouvé et cartographié 84 documents – principalement en Amérique du Nord et en Europe – qui mentionnent des principes éthiques. Dans cette jungle de règlements, difficile de définir un tronc et une vision commune. Peut-être faudrait-il, suggère Anna Jobin, « parler d’éthique de l’éthique de l’IA, ce qui poserait la question de qui a le droit de la définir, pourquoi cet engouement (…) et quels risques nous sommes d’accord de prendre ou pas ».
Diversion
Et si tout cela n’était qu’un tour de passe-passe ? C’est ce que suggère Yaël Benayoun et Irénée Régnauld, dans leur excellent livre « Technologies partout, démocratie nulle part » (FYP, 2020). « L’essor soudain des chartes et des règles éthiques est en réalité une diversion orchestrée par les grandes entreprises technologiques dominant le marché, afin d’échapper aux régulations », écrivent les auteurs : on ne se demande donc plus si une technologie devrait-être développée et appliquée, mais comment la rendre plus juste et « inclusive ». « Facebook a dépensé 7,5 millions de dollars pour créé le AI Ethics Center à Munich quand Amazon a cofinancé à hauteur de 20 millions de dollars un programme de « justice dans l’intelligence artificielle » », illustrent-ils. De quoi mettre la puce à l’oreille.
L’une des réponses à ce dilemme sera de politiser les ingénieurs et de les sensibiliser à ces questions éthiques, avancent les auteurs. Et de citer le prêtre et théologien Maurice Zundel : « le monde serait meilleur si vous étiez meilleur ». Challenge accepté ?
