Type : Livre
Pays : Etats Unis
Edition : Les arènes
ISBN : 9782352049807
Date de sortie : 2018-11-07 00:00:00
Nbr pages : 340
Traducteur(s) : Sébastien Marty

Cathy O'Neil

Algorithmes : la bombe à retardement


Theme(s) : Société, Science, Algorithmes, Data

Catherine (« Cathy ») Helen O'Neil (née en 1972) est une mathématicienne, « data scientist » et militante américaine, vivant à New York. Elle est militante au sein du mouvement citoyen Occupy Wall Street. Elle met en garde contre les dangers et les impacts des algorithmes comme outils de domination sociale, aussi bien par les pouvoirs publics, dans les domaines de la justice, l’éducation, l’accès à l’emploi ou au crédit, que par les géants du Net à travers la collecte, l'utilisation, voire le commerce des données personnelles.

Notes personnelles
Les données que nous laissons chaque jour sur Internet nourrissent des modèles mathématiques. Éducation, emploi, crédit, vie amoureuse, nos habitudes sont codées. De nombreux algorithmes ont même modélisé nos préjugés ! Ces algorithmes contrôlent de plus en plus d'aspects de notre existence sans que nous le sachions. Les fondations de notre société sont insensiblement modifiées. Et cela ne fait que commencer !

Notes

Le krach financier a révélé avec la plus grande clarté que les mathématiques, mon refuge de toujours, étaient non seulement intimement mêlées aux problèmes du monde, mais alimentaient également nombre d’entre eux. En récitant leurs formules magiques, les mathématiciens s’étaient rendus complices de la crise de l’immobilier, de la chute d’institutions financières majeures, de la montée du chômage. Grâce aux extraordinaires pouvoirs que je vénérais tant, les mathématiques s'étaient associées associées à la technologie pour décupler le chaos et le malheur, conférant une ampleur et une efficacité redoutables à des systèmes que je savais désormais défectueux.

14

0


Si nous avions fait preuve de lucidité à ce stade, nous aurions tous pris un peu de recul pour comprendre le mauvais usage qui en avait été fait, et comment empêcher à l’avenir une catastrophe similaire. Au lieu de cela, dans le sillage de la crise, les nouvelles techniques mathématiques suscitèrent plus d’engouement que jamais, gagnant davantage de secteurs. Vingt-quatre heures sur vingt-quatre et sept jours sur sept, elles brassaient des pétaoctets d’informations, extraites pour l’essentiel des médias sociaux ou des sites de commerce en ligne» Et elles cessèrent de se focaliser uniquement sur les mouvements, des marchés financiers mondiaux, pour s’intéresser de plus en plus aux individus. Les mathématiciens et les statisticiens étudiaient nos désirs, nos déplacements et notre pouvoir d achat. Ils prédisaient le niveau de confiance que Ion pouvait nous accorder et calculaient notre potentiel en tant qu'étudiants, travailleurs, amants ou criminels.

14-15


Les applications mathématiques qui alimentaient l'économie des données reposaient sur des choix, eux-mêmes faits par des personnes faillibles. Certains de ces choix procédaient sans nul doute des meilleures intentions possible. Pour autant, nombre des modèles utilisés encodaient justement les préjugés, les malentendus et les partis pris humains au cœur des systèmes informatiques qui régissaient de plus en plus nos vies. Telles des divinités mystérieuses, ces modèles mathématiques étaient opaques, leurs rouages, invisibles de tous, sauf des plus grands prêtres en la matière : les mathématiciens et les informaticiens. Leurs verdicts, fussent-ils nuisibles ou erronés, étaient sans appel et ne souffraient aucune discussion. Et ils avaient à punir les plus défavorisés et les opprimés, tout en rendant les riches encore plus riches.

15-16


Nombre des ADM dont je parlerai dans ce livre, y compris le modèle de valeur ajoutée en vigueur dans le district de Washington, se comportent de la sorte. Elles définissent leur propre réalité et l’utilisent ensuite pour justifier leurs résultats. Ce type de modèle s’autojustifie s’autoperpétue ; il est extrêmement destructeur, mais surtout très courant

21


Voyez-vous le paradoxe ? Un algorithme analyse une multitude de statistiques et en tire la probabilité que telle ou telle personne pourrait être une mauvaise recrue, un emprunteur à risque, un terroriste ou un enseignant déplorable. De cette probabilité, on extrait un score qui peut bouleverser l’existence d’un individu. Or, quand l’individu en question cherche à se défendre, les indices qu'il présente « suggérant » un problème ne suffisent pas. Ses arguments doivent être imparables. Alors que l’on n’exige pas de justifications de la part des ADM lorsque leur verdict tombe, les individus qui en sont victimes doivent en revanche fournir des preuves infaillibles de leur dysfonctionnement : le niveau d’exigence est donc très déséquilibre.

26


Des modèles mathématiques mal conçus contrôlent aujourd’hui les moindres aspects de l’économie, depuis la publicité jusqu’à la gestion des établissements pénitentiaires. Ces ADM partagent de nombreuses caractéristiques avec le modèle de valeur ajoutée qui a fait dérailler la carrière de Sarah Wysocki dans les écoles publiques de Washington. Opaques, jamais remises en cause et comptables de rien, elles opèrent sur une échelle qui leur permet de trier, de cibler ou d’« optimiser » des millions de personnes. En confondant leurs conclusions avec la réalité du terrain, la plupart génèrent des boudes de rétroaction néfastes.

28-29


Aussi évident que cela puisse paraître, nous tout au long de ce livre que les créateurs d’ADM manquent en revanche souvent d’informations relatives aux comportements qui les intéressent directement. Ils leur substituent alors des données indirectes, ou supplétives3. Ils établissent des corrélations statistiques entre le code postal ou les caractéristiques linguistiques d’un individu, et la probabilité qu’il rembourse un emprunt ou fasse correctement son travail. Ces corrélations sont discriminatoires, et pour certaines illégales.

3 On appelle ces données de rechange, ou données supplétives, des "Proxy datas"

34-35

Les mécanismes d'une bombe

Qu'est-ce qu’un modèle?


Lorsqu’on crée un modèle, il faut tout d’abord choisir les données que l'on juge pertinentes pour l’alimenter. Ce faisant, nous simplifions donc le monde réel à une sorte de modèle réduit facile à comprendre, et dont on déduit des actions et des faits essentiels. Nous attendons de ce modèle qu’il accomplisse une seule et unique tâche et nous résignons au fait qu’il puisse agir de temps à autre comme une machine désorientée, comportant d’importants angles morts.

39


On voit ici que les modèles, malgré leur réputation d’impartialité, sont le reflet d’une idéologie et d’objectifs bien précis. En supprimant la possibilité de consommer des friandises à chaque repas, j'ai imposé mon idéologie au modèle culinaire. On le fait sans hésiter, sans même réfléchir. Nos propres valeurs et nos propres désirs influencent nos choix, des données que nous décidons de recueillir jusqu’aux questions que nous posons.
Les modèles sont un ensemble d’opinions inséré dans un système mathématique.

40


Cela ne veut pas dire qu’un modèle rudimentaire est nécessairement un mauvais modèle. Il en existe de très efficaces qui ne s’appuient que sur une seule variable. Le modèle le plus courant pour détecter un incendie dans un logement ou un bureau se borne à évaluer une seule variable : la présence de fumée. C’est en général suffisant. Les concepteurs de modèles rencontrent en revanche des problèmes - ou nous les font subir ! - lorsqu’ils appliquent aux êtres humains des schémas aussi simples que celui d’un détecteur de fumée.

41


La question raciale constitue de longue date un facteur majeur dans la détermination des peines. Une étude de l’université du Maryland a montré que dans le comté de Harris, dont fait partie la ville de Houston, les procureurs étaient trois fois plus à réclamer la peine de mort pour des prévenus afro-américains, et quatre fois plus pour des Hispaniques, que pour des Blancs déclarés coupables des mêmes faits. Cette tendance n’est pas propre au Texas. D’après l'American Civil Liberties Union (Union américaine pour les libertés civiles), les peines infligées aux hommes noirs dans le système fédéral sont près de 20% plus longues que pour les Blancs convaincus de crimes similaires. Et bien qu’ils représente seulement 13% de la population, les Noirs représentent aux États-Unis 40% de la population carcérale.

44


On pourrait donc penser que des outils de calcul de risque entièrement informatisés et alimentés par des données pourraient réduire l’influence des préjugés et favoriser un traitement plus équitable en matière de condamnation pénale. C’est dans cet espoir que les tribunaux de vingt-quatre États se sont tournés vers ce qu'on appelle des «modélisations du récidivisme». Elles aident les juges à évaluer le danger posé par chaque condamné, et sont synonymes de progrès à bien des égards. Elles assurent une plus grande cohérence des peines, qui sont moins impactées par les humeurs et partis pris des magistrats. Elles permettent également de réaliser des économies, en réduisant légèrement la durée moyenne d incarcération (l’hébergement d’un détenu coûte en moyenne 31OOO dollars par an, et deux fois plus dans des États dispendieux comme le Connecticut ou celui de New York).

45


La question est cependant de savoir si l’on a bien éliminé les préjugés humains ou si on les a simplement camouflés sous la technologie. Les nouveaux modèles de prédiction du récidivisme sont complexes et fondés sur les mathématiques, mais ils renferment tout un tas d’hypothèses dont certaines sont chargées d'a priori.

45


L’un des modèles les plus prisés, baptisé LSI-R comporte un long questionnaire que l’on fait remplir au prisonnier. L’une des questions - «De combien de condamnations avez-vous déjà fait l’objet ? » se rapporte directement au risque de récidive. D’autres présentent elles aussi un lien évident : « Quel rôle d’autres personnes ont-elles joué dans le crime commis ? Drogues et alcool y ont-ils été pour quelque chose ? »

Mais à mesure que le questionnaire se poursuit fouillant de plus en plus profondément dans la vie de l'individu, on imagine sans mal que les détenus issus d’un milieu privilégié répondront d’une certaine manière et ceux des quartiers défavorisés d’une autre. Demandez un criminel ayant grandi dans une banlieue aisée « Quelle est la première fois où vous avez eu affaire à la police ? » et il pourrait bien n’avoir aucun incident à signaler, hormis celui qui la mené en prison. Les jeunes hommes noirs, en revanche, auront sans doute été arrêtés des dizaines de fois, même quand ils n'avaient rien à se reprocher. Alors que les hommes blancs et d’origine latino-américaine âgés de 14 à 24 ans représentaient seulement 4,7 % de la population de la ville, une étude réalisée en 2013 par I'Union pour les libertés civiles de New York a montré qu’ils totalisaient 40,6 % des contrôles avec fouille spontanée. Plus de 90 % des individus interpellés étaient innocents. Les autres avaient peut-être consommé de l’alcool avant l’âge autorise ou s'étaient fait prendre avec un joint de cannabis. Et contrairement à la plupart des enfants de familles fortunées, cela leur avait valu des problèmes. Si des « relations » précoces avec la police constituent un indice de récidivisme, les pauvres et les minorités ethniques semblent donc présenter bien plus de risques.

Les questions sont loin de s’arrêter là. On demande également aux détenus si leurs amis et leurs proches ont un casier judiciaire. Là encore, posez cette question à un condamné élevé au sein de la classe moyenne, et la réponse aura nettement plus de chances d'être négative. Certes,le questionnaire évite de demander I'origine ethnique des gens, puisque la loi l’interdit. Mais compte tenu de la masse de détails fournie par chaque prisonnier, la seule question illégale devient presque superflue.

45-46-47


Depuis son invention en 1995, des milliers de détenus ont été soumis au questionnaire LSI-R. Les statisticiens en ont exploité les résultats pour concevoir un système dans lequel les réponses fortement corrélées au récidivisme pèsent davantage et comptent pour plus de points. Une fois qu’ils ont répondu au questionnaire, les détenus sont classés selon trois niveaux de risque - élevé, moyen ou faible -, en fonction du nombre de points accumulés. Dans certains États, comme celui de Rhode Island, ces tests servent uniquement à cibler ceux qui obtiennent un score élevé, afin qu’ils suivent un programme de lutte contre la récidive durant l’incarcération. Mais ailleurs, notamment dans l'Idaho et le Colorado, les magistrats utilisent ces scores pour décider de la peine prononcé. C’est injuste. Le questionnaire révèle dans quel environnement l’individu inculpé est venu au monde et a été éduqué, et comporte aussi des renseignements sur sa famille, son quartier et ses amis. Ces détails ne devraient pas intervenir dans une procédure criminelle, ni dans la détermination d’une peine. De fait, si un procureur cherchait à nuire à un prévenu en mentionnant le casier judiciaire de son frère ou le taux de criminalité élevé de son quartier, un avocat digne de ce nom s’écrierait: « Objection, votre honneur ! » Et un juge sérieux la lui accorderait. C’est la base de notre système juridique. Nous sommes jugés pour ce que nous faisons, pas pour ce que nous sommes. Et bien que l'on ignore l’importance exacte attachée à ces paramètres dans le test, il n'est pas normal qu’ils aient le moindre poids.

47-48


Beaucoup feraient remarquer que les systèmes statistiques comme le LSI-R sont efficaces pour jauger du risque de récidive - ou du moins plus précis que les suppositions aléatoires d’un juge. Mais même en mettant de côté, ne serait-ce qu'une seconde, la question cruciale de l’équité, on se trouve néanmoins entraîné dans la pernicieuse boucle de rétroaction propre aux ADM. Un individu classé, de par son score, dans la catégorie « à haut risque » aura de grandes chances d’être au chômage et de venir d’un quartier où nombre de ses amis et de ses proches auront eu des démêlés avec la justice. À cause en partie de ce score élevé, il écope d’une peine plus longue et passe davantage d’années en prison entouré d’autres criminels - ce qui augmente la probabilité d’une nouvelle condamnation. On le relâche finalement au cœur du même quartier défavorisé, lesté désormais d’un casier judiciaire qui rend d’autant plus difficile l’obtention d’un emploi. S’il commet un autre crime, la modélisation du récidivisme pourra se prévaloir d’un nouveau succès. Mais c’est en réalité le modèle lui-même qui alimente un cycle malsain et qui contribue à entretenir cette réalité. Cette caractéristique constitue la signature d’une ADM6. 6 L'utilisation de ces modèles de prévention de la récidive a depuis été largement critiquée, notamment via la publication par le média ProPublica d’un rapport à charge contre la systématisation de la justice prédictive.

48


Si un ouvreur vous annonçait, à l’entrée d’un concert en plein air, que les dix premières rangées de sièges vous sont interdites, vous trouveriez peut-être cela insensé. En revanche, si on vous expliquait que ces dix premières rangées sont réservées aux spectateurs en fauteuil roulant, cela changerait la donne. La transparence est un élément déterminant.

Pourtant, beaucoup d'entreprises s'efforcent par tous les moyens de dissimuler les résultats de leurs modèles, voire le fait même qu’ils existent. Elles se justifient souvent en objectant que l’algorithme utilisé relève d’une «recette, secrète » vitale pour leur activité. C'est leur propriété intellectuelle et elle doit être défendue, mobilisant au besoin des légions d avocats et de lobbyistes. Dans le cas de géants du Web comme Google, Amazon et Facebook, ces algorithmes sur mesure et ajustés avec précision valent eux seuls des centaines de milliards de dollars. Les ADM constituent par principe d’impénétrables boîtes noires.

51


Les ADM qui se développent aujourd’hui dans les secteurs des ressources humaines, de la santé et de la banque, pour ne citer que ceux-là, sont rapidement en train d'établir des normes généralisées qui exercent une autorité proche de celle de la loi. Si l’algorithme d’une banque vous attribue par exemple le profil d’un emprunteur à haut risque, le monde entier vous traitera comme un mauvais payeur. Et quand ce modèle change d'échelle, à l’instar de celui des scores de crédit, toute votre vie sen trouve alors affectée - qu’il s’agisse d’obtenir un appartement, un emploi, ou une voiture...

52


Une chose encore à propos des algorithmes : ils peuvent appliqués d’un domaine à un autre, et c’est souvent le cas. Les recherches en épidémiologie sont ainsi susceptibles d’éclairer les prédictions d’entrées dans les cinémas, tandis qu'on recycle les filtres antispam afin d’identifier le virus du Sida. C’est tout aussi vrai pour les ADM. Si les modèles mathématiques utilisés dans les prisons donnent l’impression de réussir dans leur tâche - qui se résume en réalité à gérer des individus au mieux -, ils pourraient par conséquent se propager au reste de l'économie avec d’autres ADM, dont nous serions les dommages collatéraux. C'est précisément là où je veux en venir. Cette menace est de plus en plus concrète. Et l’univers de la finance nous en apporte un exemple édifiant.

54-55


J’étais fière d’entrer chez Shaw, connu comme le Harvard des fonds spéculatifs. Au départ, j’avais de quoi être comblée. les mathématiques étaient souveraines.

Au sein de ce fonds spéculatif, j'eus l’occasion pour la première fois d'observer de près une ADM.

Pour éviter des fuites à grande échelle, susceptibles de mettre la firme en péril, Shaw nous interdisait presque de parler de ce que nous faisions avec des confrères issus d’autres groupes - et parfois même avec nos propres collègues de bureau. L’information était en quelque sorte cloisonnée à laide d’un réseau de cellules individuelles qui n'était pas sans rappeler la structure d’Al-Qaïda. De cette façon, si jamais une cellule tombait - si l’un de nous s'en allait chez Bridgewater ou J.P. Morgan, ou se lançait à son compte-nous n'emportions que ce que nous savions. Le fonds pouvait poursuivie le reste de son activité sans être affecté. Comme on l'imagine, cela ne favorisait pas tellement la camaraderie.

59-60

Sous le Choc

Comment j'ai perdu mes illusions ?


Un sentiment désagréable commençait à me nouer le ventre. Je m'étais habituée à jouer avec ces montagnes de devises, d'actions et d’obligations, avec les milliers de milliards de dollars qui circulaient sur les marchés internationaux. Or, contrairement aux nombres utilisés dans mes modèles universitaires, les chiffres qui alimentaient ceux du fonds spéculatif représentaient quelque chose de concret. Il s’agissait de l’épargne retraite et des hypothèques d’individus bien réels. Rétrospectivement, cela paraît d’une évidence flagrante. Et je l’ai certainement toujours su, mais n'avais pas véritablement mesuré la nature de chacune des petites sommes que nous extirpions à l'aide de nos outils mathématiques. Ce n’était pas de l’argent trouvé, comme des pépites extraites d’une mine d’or ou des pièces de monnaie remontées d’un galion espagnol englouti. Cette richesse sortait de la poche des gens. Pour les fonds spéculatifs, qui sont les acteurs les plus prétentieux de Wall Street, c'était de la « dumb money » (de l’argent «stupide», celui des investisseurs inexpérimentés, les particuliers). C’est en 2008, au moment où les marchés se sont effondrés, que l’horrible vérité ma happée de plein fouet. Plus grave même que de s’emparer de l’argent «stupide» des particuliers, l’industrie de la finance œuvrait à la création d’ADM, et j’y contribuais un peu.

61-62


Je me souviens d’un gala organisé en l’honneur des architectes de ce système qui allait bientôt s’écrouler. L’entreprise accueillait Alan Greenspan, l’ancien président de la Réserve fédérale3, et Robert Rubin, ancien secrétaire au Trésor et cadre dirigeant de la banque d’investissement Goldman Sachs. En 1999, Rubin avait fait campagne pour une révision de la loi Glass-Steagall (qui remontait à la Grande Dépression des années 1930). La cloison entre les activités bancaires et d’investissement était donc tombée, facilitant l’orgie spéculative de la décennie suivante. Les banques étaient auparavant libres de monter des prêts (pour beaucoup frauduleux) et de les vendre aux clients sous forme de titres financiers. Cela n’avait rien d’inhabituel, et pouvait même être considéré comme un service rendu à leur clientèle. Mais avec l’abrogation de la loi Glass-Steagall, elles avaient désormais la possibilité – et le faisaient parfois – de parier contre ces titres qu’elles avaient elles-mêmes vendus aux clients. Les risques engendrés étaient astronomiques, et il en résultait pour les fonds spéculatifs un potentiel d’investissement infini. Car nous pariions en définitive sur les mouvements de marché, à la hausse comme à la baisse, et ces marchés-là connaissaient des fluctuations frénétiques.

3La banque centrale des États-Unis.

64-65


Lors de la soirée chez D. E. Shaw, Greenspan nous alerta sur les problèmes des titres adossés à des créances hypothécaires. Ce souvenir reviendrait me hanter quand je me rendrais compte, quelques années plus tard, que Rubin (alors en poste chez Citigroup) avait joué un rôle déterminant dans l’assemblage d’un gigantesque portefeuille composé précisément de contrats toxiques de ce genre – l’une des principales raisons pour lesquelles il avait ensuite fallu renflouer Citigroup aux frais du contribuable.

65


Mais qu’adviendrait-il si l’effrayant lendemain qui pointait à l’horizon ne ressemblait en rien à ce que nous avions connu hier ? Si nous étions confrontés à quelque chose d’entièrement nouveau et de complètement différent ? C’était une vraie inquiétude, car les modèles mathématiques s’appuient par nature sur le passé, et sur l’hypothèse de la répétition de certains schémas.

66


Paradoxalement, les algorithmes prétendument puissants qui avaient créé le marché, ceux-là mêmes qui analysaient le risque des tranches de créances et les structuraient sous forme de titres financiers, se révélèrent incapables le moment venu de faire le ménage, et de calculer ce que valaient réellement tous ces bouts de papier. Les mathématiques pouvaient multiplier les inepties, mais pas les déchiffrer. Cette tâche revenait aux hommes. Eux seuls pouvaient passer les emprunts au crible, repérer les fausses promesses et les illusions, et attribuer aux prêts leur vraie valeur financière. C’était un processus fastidieux, car à l’inverse des ADM, les êtres humains n’ont pas les moyens d’étendre de façon exponentielle leur capacité de travail, et la plupart des entreprises du secteur n’en faisaient pas une priorité.

73


Dès 2009, il devint évident que les leçons de l’effondrement du marché n’avaient imprimé aucun changement de cap dans le monde de la finance, et ne lui avaient pas non plus insufflé de nouvelles valeurs. Les lobbyistes avaient pour l’essentiel atteint leur but, et le jeu restait le même : capter cet argent que l’on qualifiait de « stupide ». Hormis quelques mesures en matière de régulation, qui n’ajoutaient que de minimes contraintes, la vie suivit son cours.

74-75


Je décelais en réalité toutes sortes de parallèles entre la finance et le Big Data. Ces deux industries exploitent avidement le même vivier de talents, issus pour la plupart d’universités d’élite telles que MIT, Princeton ou Stanford. Ces jeunes recrues sont assoiffées de succès et se sont focalisées toute leur vie sur des indicateurs externes – comme les scores au SAT5 ou les taux d’admission dans les établissements d’enseignement supérieur. Que ce soit dans le secteur de la finance ou des technologies, on a fait comprendre à ces jeunes prometteurs qu’ils deviendraient riches et qu’ils dirigeraient le monde. En outre, leur productivité montre qu’ils sont sur la bonne voie, et se traduit en dollars. D’où la conclusion – si fallacieuse qu’elle soit – que tout ce qui peut rapporter davantage d’argent est forcément bon, et « ajoute de la valeur ». Sinon, pourquoi le marché récompenserait-il ce genre de comportements ?

5 Scholastic Assessment Test, test d'aptitude qui détermine l'entrée dans les universités américaines.

79-80


Dans l’une et l’autre de ces deux cultures, la richesse ne constitue plus un moyen d’assurer son train de vie. Elle devient directement liée à l’estime de soi. Un jeune citadin ayant bénéficié de tous les avantages – les études en lycée privé, la préparation approfondie aux tests d’entrée à l’université, le semestre à l’étranger, à Paris ou Shanghai – imaginera malgré tout qu’il s’est hissé parmi les privilégiés grâce à son talent, à son travail assidu et à ses prodigieuses capacités à résoudre les problèmes. L’argent dissipe tous les doutes. Et les autres membres de son cercle social se prêtent au même jeu, formant de la sorte un club fondé sur une admiration mutuelle. Ils tiennent à nous convaincre tous que le darwinisme est ici à l’œuvre, alors qu’on a bien l’impression, vu de l’extérieur, qu’ils ont à la fois profité du système et d’un simple coup de chance.

80


Dans ces deux secteurs, le monde réel, avec tout son désordre, est mis à l’écart. La tendance consiste à remplacer les gens par des flux de données, et à en faire des acheteurs, des électeurs ou des employés plus efficaces afin de remplir de manière optimale un objectif quelconque. C’est aussi simple à faire qu’à justifier, dès l’instant où la réussite de l’opération vous revient sous la forme d’un score anonyme, et où les individus concernés restent tout aussi abstraits que les chiffres qui s’agitent sur un écran.

80


Les algorithmes s’assureraient que les gens désignés comme des « ratés » le restent. Une minorité de chanceux acquerrait toujours plus d’emprise sur l’économie des données et amasserait des fortunes scandaleuses tout en se persuadant de l’avoir mérité.
Après deux ans à travailler et à m’instruire dans la sphère du Big Data, j’avais plus ou moins perdu toutes mes illusions, et le mauvais usage des mathématiques s’amplifiait. Même en bloguant presque tous les jours, j’arrivais à peine à me tenir au fait de toutes les méthodes dont j’entendais parler, visant à manipuler, à contrôler et à intimider les gens au moyen d’algorithmes.

81

La course à l'armement

Entrer à l'université


Dans certaines villes – à San Francisco ou à Portland, pour ne citer que ces deux-là –, si vous dînez avec des amis, vous découvrirez sans doute qu’il est impossible de partager une assiette. Il n’y a pas deux personnes qui mangent la même chose. Tout le monde suit un régime différent, allant du véganisme à diverses variantes du « régime paléo », et chacun ne jure que par le sien (même si ce n’est que pour un mois ou deux). Imaginez à présent que l’un d’entre eux, disons le « régime Cro-Magnon », devienne aux États-Unis la norme nationale – et que 330 millions de personnes se mettent toutes à suivre ses préceptes.
Les conséquences seraient dramatiques. Tout d’abord, un régime national unique mettrait l’économie agricole à rude épreuve. La demande pour les viandes et les fromages approuvés par ce régime grimperait en flèche, entraînant une hausse des prix. Dans le même temps, les nourritures proscrites, comme le soja et les pommes de terre, ne trouveraient plus preneur. La diversité déclinerait. Les producteurs de légumineuses, en crise, convertiraient leurs champs à l’élevage bovin et porcin, même sur des terres impropres à cet usage. Ce bétail supplémentaire consommerait d’immenses quantités d’eau. En outre, inutile de dire qu’un régime unique rendrait beaucoup d’entre nous extrêmement malheureux.
Quel rapport avec les ADM ? L’échelle. Qu’il s’agisse d’un régime alimentaire ou d’une législation fiscale, toute formule présente en théorie un caractère parfaitement inoffensif. Mais si elle acquiert la dimension d’une norme nationale ou mondiale, elle crée alors sa propre économie, dystopique et dénaturée. C’est ce qui s’est passé dans l’enseignement supérieur.
L’histoire commence en 1983. Cette année-là, un magazine d’information en difficulté, U.S. News & World Report, avait décidé d’entreprendre un ambitieux projet. Il allait évaluer 1 800 facultés et universités dans tous les États-Unis, et les classer selon leur degré d’excellence. Ce serait un outil très utile qui aiderait en cas de succès des millions de jeunes à prendre la première grande décision de leur existence.

83-84


Les journalistes d’U.S. News, eux, se débattaient avec l’« excellence universitaire », une valeur bien plus difficile à appréhender que le coût du maïs ou la teneur protéinique en microgrammes de chaque épi. Ils n’avaient aucun moyen direct de quantifier l’impact d’un cursus de quatre ans sur un étudiant en particulier, et encore moins sur des dizaines de millions d’entre eux. Impossible de mesurer ce que l’on apprenait, l’assurance acquise, le bonheur éprouvé, les amitiés nouées, ni aucun autre aspect d’une expérience estudiantine de quatre années. L’idéal du président Lyndon Johnson en matière d’enseignement supérieur – « le moyen de s’accomplir davantage, de devenir plus productif pour soi-même et de s’enrichir sur le plan personnel » – ne rentrait pas dans leur modèle.
Ils sélectionnèrent à défaut des données indirectes qui semblaient corrélées avec la réussite. Ils examinèrent les scores au test d’aptitude SAT, les ratios étudiants-professeurs et les taux d’admission. Ils analysèrent le pourcentage de nouveaux inscrits qui franchissaient le cap de la deuxième année et le pourcentage de ceux qui décrochaient leur diplôme. Ils calculèrent la proportion d’anciens élèves qui versaient une contribution financière à leur université 1, présumant qu’ils avaient une bonne chance dans ce cas d’avoir apprécié la formation reçue. Les trois quarts du score utilisé pour classer l’établissement seraient générés par un algorithme – une opinion formalisée en un code informatique –, intégrant ces données de substitution. Le dernier quart tiendrait compte de l’appréciation subjective des responsables d’université à travers tout le pays.
U.S. News publia un premier classement fondé sur l’analyse de données en 1988, dont les résultats paraissaient tout à fait sensés. Mais en devenant une référence nationale, il créa une boucle de rétroaction particulièrement néfaste. Le problème venait du fait que le classement s’auto-renforçait. Si une université était mal notée dans U.S. News, sa réputation en pâtissait, et sa situation se dégradait. Les meilleurs étudiants, de même que les meilleurs professeurs, faisaient en sorte de l’éviter. Ses anciens élèves, indignés, réduisaient leurs contributions. Elle dégringolait par suite d’autant plus bas dans le classement. La place qu’elle y occupait décidait en somme de son sort.

86-87