Omniprésents dans notre quotidien, les algorithmes nous gouvernent-ils ? Depuis plus de 15 ans, la docteure en sciences juridiques belge Antoinette Rouvroy s’intéresse de près à ce « tournant algorithmique » qui transforme en profondeur notre société. Comment cette mutation transforme-t-elle la relation entre gouvernants et gouvernés ? Les machines sont-elles imperfectibles ? Est-il possible de critiquer notre condition numérique ?
Par Geoffrey Comte
Homo numericus
Rattachée au Fond National de la Recherche Scientifique (FNRS) à l’Université de Namur en Belgique, Antoinette Rouvroy observe les effets de la numérisation sur les pratiques gouvernementales, la Justice et le monde social. Aucun secteur d’activité n’échappe à cette mutation totale. Ce « tournant algorithmique touche une multitude de domaines et pratiques que le seul point de vue du droit et de la régulation rend inepte au regard de la complexité des enjeux » affirme-t-elle. Les technologies digitales permettent le calcul de produits dérivés pour les investissements financiers à l’instar de l’équation Black-Scholes, au cœur de la crise des Subprimes de 20081. Les risques liés à la digitalisation ravivent les imaginaires dystopiques, basés sur l’incitation chez Aldous Huxley ou la surveillance coercitive du Big Brother de George Orwell. Aux Etats-Unis, l’intelligence artificielle est devenue un outil de choix pour la justice criminelle et entrâîne de vifs débats. Les algorithmes y analysent le parcours de l’individu puis produisent des schémas prédictifs déterminant la possibilité de récidive2. Ces derniers remplacent une force de travail humaine moins productive dont le jugement serait biaisé et la cognition imparfaite. Pourtant, la rationalité algorithmique est-elle imperfectible ? Souvent opaques, la programmation et l’apprentissage des machines ne laissent que peu de droit de regard sur leur effets délétères. Un algorithme pourrait reconnaitre la couleur de peau ou le sexe comme un facteur discriminant. Sans toutefois en interroger la cause, ces biais algorithmiques« naturalisent les inégalités, les reproduisent de façon exponentielle en les rendant moins facilement contestables ». En 2019, l’IA derrière la carte de crédit d’Apple a considéré les femmes comme plus dépensières que leur mari et a donc réduit leur plafond de dépenses sans leur consentement3. Les gouvernements européens sont également rattrapés par les contradictions de l’ère digitale, où ces outils accompagnent les politiques publiques. Ils fabriquent des classements qui « vont déterminer notre employabilité ou assurabilité » dénonce Rouvroy, donnant l’impression de vivre une « data science-fiction ». « Surtout dans le contexte du machine learning, les algorithmes se désintéressent totalement de qui nous sommes, de la cause de nos comportements, de nos intentions mais aussi de ce qui nous relie aux collectifs identifiables subjectivement pour opérer des préemptions entres ces fragments très infimes de nos existences, aussi insignifiants que quantifiables, et des modèles hyper-plastiques pour établir des classements décontextualisés qui prolifèrent en temps réel dans le monde connecté » souligne la docteure belge.
Une écologie de l’incertitude
Antoinette Rouvroy est une philosophe au travail qui emploie le doute pour « démystifier les machines ». S’inspirant de Michel Foucault et des maîtres du soupçon, elle cherche à comprendre « les transformations de la rationalité gouvernementale [dans laquelle] la notion même de personne est ignorée par cette logique purement spéculative et statistique ». La docteure lui oppose une hypothèse toujours en construction, celle de la gouvernementalité algorithmique4. Elle le définit comme « un système d’ordonnancement du monde nourrit essentiellement de données numériques et qui génère une rationalité gouvernementale anormative et apolitique reposant sur l’analyse automatique de quantités massives de data, pour modéliser et anticiper les comportements possibles ». Le profilage des individus forme le centre de gravité de cette « machine à gouverner », selon l’expression du père de la cybernétique Norbert Wiener. Sa finalité est de permettre aux autorités publiques de gérer l’« incertitude radicale »du monde et d’individualiser les charges des risques sociaux. « L’idée que nous serions plus objectifs grâce au Big Data repose sur la croyance selon laquelle nous serions enfin à même de produire des représentations parfaitement adéquates du monde lui-même » analyse-t-elle. Les données numériques deviennent alors« les nouvelles coordonnées privilégiées de modélisation du social ». Cette « écologie de l’incertitude » use du Big Data afin « d’adapter le comportement [des autorités publiques] en fonction de la contingence. Ce n’est donc pas un pouvoir qui s’exerce sur les personnes ou les prive de leur propre expérience mais un système qui permet au pouvoir de devenir hyper-agile »souligne-t-elle. Ce sont donc les corps qui disciplinent la norme, ce qui permet de gouverner sur le « mode du reflex ». Les statistiques décisionnelles « immunisent les responsables des conséquences de leurs décisions qui n’ont plus à se justifier car ce système transforme toute émergence en urgence afin de pouvoir réagir en temps réel ».
Un enfer pavé de bonnes abstractions
En France, les algorithmes de Parcoursup sont perçus comme des outils d’aide à la décision supposés plus neutres qu’une épreuve d’admission. Cette médiation technique répond à un double problème : la réduction du temps de traitement des dossiers et l’absence de main d’œuvre. Cependant, la sélection digitale est opaque, ce qui dilue la responsabilité publique, alors qu’elle est centrale pour l’avenir des étudiants. Ce phénomène d’anomie s’éloigne de la vision de Turing de l’IA, censée « garder la responsabilité de l’action sans perdre d’information »au sein de la chaine de commandement durant la guerre. Dans la gouvernementalité algorithmique, les informations produites « ont une dimension éminemment contingente et réductrice », ne cherchant plus à produire de savoirs nouveaux mais à « capitaliser sur l’incertitude ». « Tout n’est pas transcriptible sous forme de données numériques, en particulier l’intrication complexe de multiples composantes sémiotiques qui sont faites de gestuels, de mimiques, d’affects qui comptent pour nous » critique Rouvroy. Si l’on réduit« le biologique, le social et le symbolique à de purs flux de données susceptibles d’être captés par un capitalisme prédateur, [alors] on court-circuite la fonction anthropologique du droit ». Les algorithmes ne peuvent agir comme médiateur entre les Hommes et la société pour prévenir et trancher les conflits, par essence imprévisibles et singuliers. Ces derniers « diminuent le faisceau des possibilités en une seule solution optimale, en y soustrayant leur caractère contingent », dont le corollaire est la « dissolution de tous les collectifs signifiants et des sujets eux-mêmes ».
Loin d’une critique technophobe, Antoinette Rouvroy souhaite « casser les prétentions de l’ordre […] à produire un monde aux joints étanches pour maitriser l’incertitude et prévenir les antagonismes ». La chercheuse dénonce cette « manière de concéder tout l’espace de la potentialité et du virtuel aux acteurs de marchés ». Elle nous invite alors à nous « gouverner nous-mêmes » et à imaginer les espaces délibératifs de demain.
1 Ian Stewart, « The mathematical equation that caused the banks to crash », The Observer, 12 févr. 2012p.
2 The Need for Transparency and Interpretability at the Intersection of AI and Criminal Justice, https://governmentrelations.duke.edu/2021/11/22/the-need-for-transparency-and-interpretability-at-the-intersection-of-ai-and-criminal-justice/ , 22 novembre 2021.
3 L’algorithme derrière l’Apple Card serait sexiste, https://www.usine-digitale.fr/article/l-algorithme-derriere-l-apple-card-serait-sexiste.N902509.
4 Data et algorithmes ; gouvernementalité algorithmique et idéologie des big data – Antoinette Rouvroy | April, https://www.april.org/data-et-algorithmes-gouvernementalite-algorithmique-et-ideologie-des-big-data-antoinette-rouvroy#:~:text=Antoinette%20Rouvroy%20docteur%20en%20sciences%20juridiques%20et%20chercheuse,individus.%20Un%20entretien%20film%C3%A9%20par%20Thomas%20Gouritin%20.