Une minute pour comprendre ce qu’est un biais en Machine Learning

À l’heure où l’utilisation de l’Intelligence Artificielle explose, avec notamment l’essor des algorithmes d’apprentissage automatique, il devient très important de comprendre ce qu’on entend par “biais” lorsqu’on parle de Machine Learning. En effet, lorsque des algorithmes d’apprentissage affichent de trop beaux résultats trop facilement, c’est souvent qu’il y a anguille sous roche… Et encore faut-il pouvoir s’en rendre compte !

Premier exemple…

Admettons que je souhaite entraîner mon propre algorithme de reconnaissance d’images, qui serait capable de reconnaitre deux amis, Alice et Bob, à partir de photos d’eux.

Qui dit “Machine Learning” dit “données”. Je me rends donc d’abord chez Alice, puis chez Bob, armé de mon appareil photo, afin de leur tirer le portrait une bonne centaine de fois chacun.

De retour chez moi, je prend le temps d’annoter chaque photo et de mettre une partie de mes données de côté pour évaluer mon modèle lorsque celui-ci aura été entraîné. J’utilise ensuite un réseau de neurones pour commencer l’apprentissage, en utilisant tout d’abord uniquement les images brutes.

Après quelques minutes seulement d’entraînement, j’obtiens mes premiers résultats. Et il va sans dire que ceux-ci sont excellents : près de 99% de précision sur le jeu de validation ! Pourtant, même si la méthodologie d’apprentissage semble bonne, il est encore trop tôt pour crier victoire.

Premier biais !

En fait, en ayant pris en photo Alice puis Bob dans leurs logements respectifs, j’ai introduit un biais dans les données. En effet, chacun des portraits d’Alice a été pris devant le mur bleu de son salon, et de même pour Bob, avec le mur vert de sa cuisine. Il y a fort à parier que mon algorithme n’identifie pas du tout les portraits de mes amis, mais uniquement la couleur de l’arrière plan sur chacune de leurs photos. Cela peut facilement se vérifier en fournissant à l’algorithme entraîné une photo d’Alice sur fond vert, ou une photo de Bob sur fond bleu.

Il est important de noter qu’ici la métrique de précision ne suffit pas à juger de la pertinence du modèle entrainé. Celui affiche un score quasi parfait, et à juste titre : le modèle ne se trompe pas lors de sa prise de décision. En revanche, la décision n’est pas prise sur ce qui nous importe vraiment (à savoir les caractéristiques des visages). Il faut donc prendre du recul et faire preuve d’esprit critique pour régler ce type de problème.

Deuxième exemple…

Conscient de mon erreur, je décide d’inviter mes deux amis chez moi pour une nouvelle séance photo. Cette fois-ci j’ai bien compris, toutes les photos seront prises devant le même mur blanc de mon salon. Au total, je prends 282 photos. 141 d’Alice et 141 de Bob.

Après avoir réservé une partie des données pour l’évaluation du modèle, je reprends mon apprentissage depuis le début, toujours sur la base des images brutes. Cette fois-ci l’exercice semble plus compliqué, la précision chute à 67%. C’est mieux qu’un algorithme qui prendrait sa décision de manière complètement aléatoire, mais c’est encore insuffisant.

Pour gagner en précision, je cherche à modifier mon modèle. Ainsi je lance un nouvel apprentissage en fournissant une donnée supplémentaire à mon réseau de neurones pour l’aider à prendre ses décisions. Dorénavant, en plus des images brutes, mon modèle aura accès aux heures précises auxquelles celles-ci ont été prises.

Une fois l’entraînement terminé, j’évalue à nouveau mon modèle à l’aide du jeu de validation prévu à cet effet. Bonne nouvelle, cette astuce efficace me permet d’atteindre 96% de précision. Mais encore une fois, je vais vite me faire rattraper par la réalité…

Deuxième biais !

Si l’on regarde plus précisément la façon dont ces photos ont été prises, on peut en effet constater qu’Alice et Bob se sont placés devant mon mur blanc tour à tour, pour être photographiés de 29 à 112 fois consécutives pendant près d’une dizaine de minutes à chaque fois. Le schéma ci-dessous illustre la façon dont la séance photo s’est déroulée.

Au cours de l’apprentissage, le modèle va apprendre à séparer les photos d’Alice et Bob à partir des données fournies. Pour ce faire, celui-ci va placer des frontières et les ajuster de manière à pouvoir trier les photos en faisant le moins d’erreur possible. S’il existe un moyen simple de parvenir au résultat, le modèle va se focaliser dessus.

Si l’analyse d’image est une tâche complexe qui nécessite d’identifier des motifs récurrents dans des images à travers un grand nombre d’exemples, séparer des données sur la base d’un nombre ou d’une date est en revanche beaucoup plus simple pour un réseau de neurones. Ainsi, sans même observer les photos, le modèle va ici rapidement fournir de bons résultats rien qu’en s’appuyant sur les heures où les photos ont été prises.

Conçu comme tel, mon modèle va être difficile à utiliser en dehors de cette expérience. En effet, si une fois l’entraînement terminé je présente à mon modèle une nouvelle photo d’Alice prise un autre jour vers 15h00, il y a de forte chances pour que celui-ci la confonde avec une photo de Bob. Tout simplement parce que c’était son créneau lors de la séance photo qui a permis de constituer le jeu de données d’apprentissage.

Pour éviter ce type de problème, la question à se poser est donc “sur quelles données souhaite-t-on vraiment que le modèle s’appuie pour prendre une décision ?”.

En conclusion…

Pour conclure, il vaut mieux un modèle exploitable affichant de moins bonnes performances qu’un modèle affichant d’excellents résultats mais entraîné sur des données biaisées. Il est important de comprendre que les algorithmes biaisés sont difficilement utilisables en situation opérationnelle, car les données utilisées in fine ne souffriront pas forcément des mêmes biais que les données d’entraînements.

Les biais dans un jeu de données peuvent être plus ou moins faciles à identifier, et peuvent aussi bien faire l’objet de consensus que de discussions. Pour donner d’autres exemples de biais, on pourra se demander s’il est pertinent d’utiliser les données de poids (en kilo octets) de fichiers informatiques pour une analyse antivirale à base d’apprentissage. L’information pertinente ne se trouve-t-elle pas plutôt au sein même du code qui définit les programmes ?

Parfois, ces considérations vont au delà des simples problématiques de performances, et soulèvent même des questions éthiques. C’est notamment le cas lorsque des algorithmes reproduisent des comportements racistes ou sexistes présents dans les données qui lui sont fournies. A titre d’exemple, en 2017 Amazon a dû désactiver une I.A. qui discriminait des femmes à l’embauche.

Il existe bien évidemment des solutions à tous ces problèmes, et celles-ci peuvent aussi bien être techniques que juridiques. Mais quoi qu’il en soit, comprendre et maîtriser ces notions reste aujourd’hui indispensable si l’on souhaite produire des solutions à base d’Intelligence Artificielle qui soient à la fois juste et de qualité.