De la discrimination dans les Algorithmes ? Le Fair Learning va prendre sa place dans les entreprises.

Interview d’Anna Choury, Fondatrice et CEO de Maathics, www.maathics.com

Entretien réalisé le Le 12/03/2018 par Philippe DALLE & Benoit GOUZI, consultant Esprit-RH, spécialistes du recrutement dans le digital.

Esprit-RH : Anna, quel est le point de départ de Maathics?

Anna CHOURY : Quand le phénomène du Big Data s’est répandu dans le milieu industriel, beaucoup de questions ont été soulevées car il y avait très peu de maturité sur le sujet à ce moment-là.

Le point de départ de Maathics remonte à la grande époque des statistiques pour l’industrie pharmaceutique et des questions d’éthique dans l’analyse de données. 
On crée des méthodologies et des algorithmes de plus en plus puissants et performants, qui permettent de prendre des décisions automatisées. Mais dans quel but? 
Aujourd’hui si on fait une voiture qui roule toute seule, est-ce qu’on le fait pour désenclaver des territoires? Pour donner de la mobilité ? Pour surveiller les façons de conduire ? Pour optimiser les polices d’assurances? 

A chaque fois, des questions d’équité dans les traitements donnés se posent : les algorithmes que nous développons depuis des années sont-ils justes? 
Quand on développe un algorithme on va prédire si oui ou non une personne va être éligible à un prêt immobilier. Notre algorithme, aussi élégant soit-il, est-il juste ?  Va-t-il reproduire une réalité juste et équitable?

La réponse est : pas toujours. 

Pour répondre aux problématiques posées, j’ai décidé de créer Maathics. Cette startup prône un usage responsable et équitable de l'Intelligence Artificielle et invite les acteurs de l’analyse de données personnelles à entamer une démarche de responsabilisation et de réflexion d'éthique dans leur vision et la réalisation de leurs objectifs.

Le produit phare de Maathics est le label FDU – Fair Data Use – qui assure un usage équitable de l’Intelligence Artificielle.

ERH : Quel est le modèle de Maathics?

AC : Nous sommes dans un modèle de startup, sans être des startuppers experts, nous apprenons au fur et à mesure...
Nous restons avant tout des chercheurs en mathématiques, qui travaillons sur l’apprentissage équitable des données dans l’IA. Nous avons créé un outil pour une société que nous voulons plus juste, et qui va permettre à nos clients de s’assurer que leurs traitements ne sont pas source de discrimination.

Nous sommes 4 membres fondateurs appuyé par une comité d’experts. Je porte le projet et m’occupe de toute la partie opérationnelle. Mon rôle consiste à faire travailler toutes ces personnes ensemble pour créer une synergie à partir de ce qui n’était perçu, pendant des années, que comme des élucubrations de chercheurs un peu en avance, presque de l’ordre de la science-fiction…

ERH : Big data et machine learning, what else? 

AC : Le Big Data est un terme qui est apparu de façon très répandue à partir de 2011, pour désigner le traitement d’un grand volume de données, souvent très complexes. Le but est d’en tirer de la valeur, de l’information et, à partir de cette information, en tirer de l’innovation. 
Le machine learning est une branche de l’analyse de données. C’est un ensemble de méthodologies qui consiste à faire apprendre des données à un modèle. Ce modèle est une « boîte noire » c’est à dire qu’il n’a pas de réalité physique mais plutôt une réalité mathématique. Par la déformation de ces données, l’algorithme va pouvoir reproduire le monde qu’il a observé. 
Le Machine Learning et le Big Data font tous deux partie de l’Intelligence Artificielle. 

ERH : Comment peut-on évaluer un algorithme et avec quel moyen?

AC : On évalue un algorithme sur les décisions qu’il prend, sur la justesse de celles-ci. Par exemple : est-ce que les décisions prises par l’algorithme desservent une catégorie de personnes?
Les moyens sont de plusieurs formes. Par exemple on peut évaluer les données que l'algorithme prend en entrée et la façon dont il réagit aux données sensibles. Est-ce que l’algorithme prend des décisions qui reproduisent un biais social ? On peut également faire du testing, c’est à dire créer artificiellement des individus « vulnérables » et voir si l’algorithme les traite différemment.

L’algorithme est un outil mathématique, donc pour l’évaluer de façon concrète on utilise des mathématiques. On a une science particulière qui s’appelle le fair learning (l’apprentissage équitable), qui est très nouvelle. Encore une fois, c’est assez récent d’évaluer un algorithme sur ce sujet-là.

Nous, nous aimons travailler de façon à expliquer pourquoi l’algorithme a pris cette décision-là.
Pour cela, il faut définir ce qui est juste et injuste. On définit dans un premier temps les variables sensibles, au sens de la loi : origine ethnique, sexe, validité, appartenance religieuse, etc ... Dans ces catégories il y a toujours une population minoritaire sujette à la discrimination. Il y a rupture d’équité si le traitement est différent pour ces variables sensibles. La rupture d’équité est une discrimination si l’algorithme pénalise la minorité. 

ERH : On parle toujours d’entrées et de sorties? C’est la seule chose qu’on peut faire aujourd’hui?

AC : Un algorithme est neutre par définition. Ce qu’il fait c’est qu’il apprend à reproduire ce qu’il a observé. Le principe du machine learning c’est qu’il apprend « tout seul », on ne lui donne pas de règles prédéfinies. Donc il va se construire ses propres règles et si il observe par exemple du sexisme il va se construire sa règle « sexisme » mais presque jamais de façon si directe et naïve ! Un algorithme de machine learning est une boîte noire, c’est à dire qu’il n’a pas de règles physiques interprétables. Donc pour comprendre la façon dont il a choisi, il faut regarder ses entrées et sorties.

ERH :Votre service est-il une sorte de première barrière intelligente au transhumanisme, une voie vers l’hyperhumanisme?
« Transhumanisme : c’est l’extension de l’humain par la machine. A l’extrême une extension systématique pour ceux qui en ont les moyens»
« Hyperhumanisme : Transhumanisme « éthique » c’est à dire qui se concentre non pas sur une amélioration des capacités individuelles de certains mais sur un bien-être collectif et met l’accent sur la justice sociale, au détriment s’il le faut de la technologie. »

AC : Ma première réponse est qu’on essaye de ne pas se lancer dans ces débats-là, pour pouvoir faire comprendre aux gens que l’on n’est pas dans de la science-fiction : il y a beaucoup d’applications d’intelligence artificielle aujourd’hui, on possède des aides à la décision pour de toutes petites choses, qui ne sont pas forcément dans la recréation de la société dans son ensemble.

Maintenant pour répondre à la question nous ne sommes pas contre le transhumanisme car le but n’est pas de freiner la numérisation du monde. Mais nous sommes tout de même plutôt dans le courant de l’hyperhumanisme : nous pensons que quitte à créer une société automatisée, il faut en créer une qui soit juste.

ERH : Quelle place faites-vous à l’éthique au-delà du légal dans votre service?

AC : Nous, on travaille déjà au-delà du légal. Ce qui va être régulé par le RGPD (le règlement général des protections des données) c’est entre autres le type de variables qui ont le droit d’être utilisées. Or ne pas fournir la variable sensible à l’algorithme ne fait pas disparaître les biais sociaux. D’autre part que ce soit le RGPD ou le code pénal la Loi se concentre plus facilement sur les discriminations individuelles. Nous pouvons faire mieux et prévenir les discriminations de groupe, généralisées et cristallisées par l’Intelligence Artificielle.

Pour le moment on se concentre sur le caractère équitable des traitements, pas sur leur finalité. En théorie si un robot tueur était parfaitement équitable dans le choix de ses cibles il serait éligible au label ! 
Mais nous avons créé Maathics pour  encourager  un usage responsable de l'Intelligence Artificielle.  Nous travaillons à des solutions pour mettre en avant les projets éthiques.

ERH : Travaillez-vous sur l’aspect correctif des méthodologies qui n’ont pas répondu aux critères du label? 

AC : Nous sommes en effet en train de travailler sur une correction. On ne corrige pas l’algorithme à proprement parler, on corrige les données, on retire la discrimination en amont pour que l’algorithme ne l’apprenne pas. 

Une autre méthode existante consiste à pénaliser l’algorithme pour lui interdire la discrimination, ou de l’obliger à faire de la discrimination positive pour contrebalancer les effets mais cela nécessite que l’entreprise accepte que l’on modifie son algorithme.

Il faut être conscient qu’en retirant la discrimination on modélise moins bien la majorité, au profit d’une minorité. Donc en rétablissant l’équilibre l’erreur globale de l’algorithme peut augmenter. Nous travaillons à des méthodes les moins impactantes possibles pour la performance moyenne tout en ayant un maximum d’effet sur les erreurs des populations minoritaires. Il y a un curseur à placer entre équité pour tous et précision sur la majorité ; cet équilibre est défini par la communauté scientifique internationale, qui se base sur une loi américaine de... 1971 ! [Fair Employment Practice] 

ERH : Quels marchés, quels clients, quels besoins adressez-vous?

AC : Les premiers à nous avoir approché sont de grosses sociétés de ventes e-commerce car leur milieu est très concurrentiel. Il y a un enjeu commercial qui est la différenciation des entreprises entre elles sur l’utilisation des données personnelles. Aujourd’hui, le consommateur est de plus en plus conscient de la valeur de ses données.

Mais la discrimination dans le e-commerce est plus délicate à définir, nous nous focalisons dans un premier temps sur des domaines où la discrimination est plus impactante : l’accès au crédit, les assurances et les ressources humaines.

Nous avons beaucoup travaillé avec des données RH américaines au moment de développer notre méthodologie car les discriminations telles que le racisme ou le sexisme sont profondément ancrées dans la société américaine.

ERH : Et Toulouse, quelle est sa place sur le marché des compétences en IA?

AC : Toulouse est une ville très étonnante, elle est portée par l’ingénierie. La ville est très à la pointe sur certains sujets d’IA, tiré par le CNES et par des sociétés qui font beaucoup de télédétection. 

Toutes ces sociétés d’observation de la Terre et d’observation de l’espace sont les premières à avoir eu à traiter des données très volumineuses. Il y a donc une avance intellectuelle à Toulouse concernant l’exploitation des données. Plusieurs labos comme celui de l’Institut de Mathématiques et le LAAS sont des laboratoires d’exception en recherche sur ces thématiques-là.  
En plus des dynamiques d’Airbus et du CNES on voit également apparaître des projets très prometteurs en matière de véhicule connecté ou autonome.

A Toulouse on  a aussi beaucoup de startups qui se créent, autour de l’IOT par exemple. Ces créateurs, très curieux, développent de l’innovation, basent la valeur de leurs entreprises sur la data et sont très concernés par ce que l’on fait : pour les données d’usage, de tracking, ce que l’on en fait, pour qui et pour quoi.

ERH : Les profils toulousains s’exportent-ils bien, où et dans quels secteurs?

AC : Je vais vous parler de ceux que je connais bien : les jeunes ingénieurs qui sont formés à l’INSA de Toulouse en statistiques par exemple. Ce sont des profils recommandés partout en France depuis 2011 suite à l’explosion du Big Data.

Il y a eu une forte demande de « data scientists ». Un data scientist c’est, idéalement, une personne qui sait faire de tout : autant en mathématiques qu’en informatique, qu’en business intelligence... Ils sont vus comme les magiciens des données. Mais, il est rare de rencontrer quelqu’un ayant réellement autant de qualifications et la plupart du temps, plusieurs profils s’allient pour créer un data scientist. On a aussi vu une émergence des data analysts, plus orientés analyse de données, extraction d’information et Statistique.

Mais il faut toujours garder en tête que la transversalité dans ces métiers-là est très importante. 

Maathics a été fondée en Mars 2018 à Toulouse par des chercheurs et des professionnels des mathématiques et du Big Data.

Tous les details sur le label, l'équipe, l'approche et la méthode: www.maathics.com

Twitter: @maathics

Linkedin