L’IA génère de nouvelles formes d’inégalités entre les femmes et les hommes

LE DÉCRYPTAGE DE L’ACTU

Chaque semaine, on essaye de comprendre pour vous un sujet qui fait l’actu, mais qui peut paraître un peu ardu…

L’IA génère de nouvelles formes d’inégalités entre les femmes et les hommes

L’Union européenne (UE) est fondée sur les valeurs de respect de la dignité humaine, de non-discrimination et d’égalité entre les femmes et les hommes. Si le droit communautaire tend à prohiber les discriminations contre les individus, ou groupes d’individus, fondées sur une caractéristique particulière telle que le sexe, les pratiques de certains systèmes d’intelligence artificielle (IA) ont mis en lumière de nouvelles formes d’inégalité entre les femmes et les hommes, plus difficiles à appréhender.

Dans la mesure où la question des biais de l’IA renouvelle les termes dans lesquels le principe d’égalité doit être formulé (1), il est donc urgent, pour l’UE, de se doter de nouveaux outils pour lutter contre ces nouvelles formes de discrimination (2).

Les biais de l’IA

Les groupes vulnérables englobent notamment les femmes et les groupes ethniques, le sexe/genre et la race/l’origine ethnique étant des caractéristiques protégées par le droit de l’UE. Au regard de ces deux variables sensibles, les femmes noires sont particulièrement exposées aux erreurs et biais de l’IA, comme l’ont montré les mauvaises performances des systèmes de reconnaissance faciale.

En effet, les algorithmes d’apprentissage machine, de plus en plus utilisés dans la prise de décisions, se basent sur des données souvent lacunaires ou biaisées. Des problèmes peuvent survenir au cours du processus de collecte de données ou de développement des modèles, lesquels peuvent entraîner des préjudices.

Par exemple, en médecine, la construction d’un modèle permettant de détecter un risque implique d’entraîner ledit modèle sur les dossiers de patients. Or, il se peut que le taux de faux négatifs (patients malades mais non diagnostiqués comme tels), donc non detectés par l’IA, soit supérieur chez les femmes que chez les hommes. Si le modèle n’a pas été en mesure d’apprendre efficacement le risque chez les femmes, c’est en raison d’un manque d’exemples. Il faut en conséquence rechercher des données supplémentaires sur les femmes et réentraîner l’algorithme.

Les biais peuvent aussi avoir pour origine l’évaluation humaine, comme en matière de recrutement : un algorithme prédisant l’aptitude des candidats en évaluant les CV se fonde sur des notes antérieurement attribuées par des humains qui peuvent avoir des comportements discriminatoires.

Une réglementation insuffisante

En Europe, l’interdiction des discriminations – directes (sexe, origine, etc.) et indirectes (pratique prétendument neutre qui conduit, en pratique, à traiter différemment les personnes possédant une caractéristique protégée) – trouve sa source dans les droits nationaux et supranationaux (Conseil de l’Europe et UE).

Comme la plupart des biais générés par l’IA n’impliquent pas une intention discriminatoire mais sont involontaires ou accidentels, il est plus aisé de mobiliser le concept de discrimination indirecte. Pour autant, malgré sa souplesse, cette dernière notion présente des limites en matière de décisions algorithmiques.

En effet, ladite interdiction repose sur un standard général qui s’avère difficile à mettre en œuvre en pratique car il faut pouvoir démontrer qu’une règle, neutre en apparence, affecte de façon disproportionnée un groupe protégé.

Une présomption de discrimination peut être établie grâce à des preuves statistiques. Pour autant, en matière d’IA, la principale difficulté réside dans le fait que les discriminations sont difficiles à identifier dans la mesure où les motifs des décisions défavorables (par exemple, un crédit refusé à une femme) n’apparaissent pas au grand jour. En l’absence de transparence, la preuve statistique n’est donc pas aisée à établir.

Débiaiser les algorithmes

En avril 2019, le groupe d’experts constitué par la Commission européenne affirmait, dans ses « lignes directrices en matière d’éthique pour une IA digne de confiance », que le principe d’égalité devait aller « au-delà de la non-discrimination » qui tolère le fait d’établir des distinctions entre des situations différentes sur la base de justifications objectives.

Dans sa proposition de règlement sur l’IA (AI Act), formulée deux ans plus tard, la Commission a prévu un ensemble d’exigences pour une IA digne de confiance parmi lesquelles la non-discrimination et l’égalité entre les femmes. Elle a également rappelé que « les systèmes d’IA peuvent perpétuer des schémas historiques de discrimination » à l’égard des femmes.

Dans un contexte d’IA, l’égalité implique donc que le fonctionnement du système ne produise pas de résultats fondés sur des biais injustes, ce qui requiert un respect approprié des groupes vulnérables, tels que les femmes.

Définit des métriques d’équité

Pour cela, il existe des méthodes pour débiaiser les algorithmes. Il est possible, par exemple, d’introduire une forme de discrimination positive via la parité statistique : après avoir évalué l’effet disproportionné en estimant le rapport de deux probabilités (probabilité d’une décision favorable pour une femme sur probabilité d’une décision favorable pour un homme).

Aux États-Unis, les logiciels anticipent le risque juridique en intégrant ces méthodes de fair learning. Loin d’être un problème technique, la question du débiaisement requiert une réflexion axiologique et un débat démocratique. Définir des métriques d’équité pour lutter contre les discriminations algorithmiques implique en effet de soulever la question de la discrimination positive, dont on sait qu’elle est plus controversée en Europe qu’aux États-Unis (entorse au principe d’égalité formelle).

Anaëlle Martin, Docteur en droit public, Université de Strasbourg

Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.