Distinguer l’intelligence de l’artificiel

L’intelligence artificielle (IA) fait l’objet d’une médiatisation sensationnaliste. Chez les techno-solutionnistes de la Silicon Valley, on y voit la promesse d’une « humanité augmentée ». Chez leurs opposants, on redoute parfois la concurrence entre intelligence humaine et artificielle. Ces mythes sont battus en brèche par Anne Alombert, maîtresse de conférences à l’Université Paris 8, dans Schizophrénie numérique : La crise de l’esprit à l’ère des nouvelles technologies (Allia, 2023). Elle rappelle l’irréductibilité de l’intelligence humaine à un système de traitement de données. Selon elle, la crainte d’un remplacement des hommes par les machines détourne des vrais problèmes politiques. Recension.

« Rien ne nous caractérise davantage, nous, les hommes d’aujourd’hui, que notre incapacité à rester spirituellement up to date par rapport au progrès de notre production. » En 1956, Günther Anders faisait du progrès technologique une nouvelle manière de se rapporter au monde, marquée par une « obsolescence » proprement humaine, une « a-synchronicité chaque jour croissante entre l’homme et le monde qu’il a produit ».

Un tel « décalage prométhéen » n’aura pas manqué d’interpeller l’observateur contemporain. À l’heure du développement des large langage models (dont ChatGPT), il est devenu commun, notamment dans les discours des magnats de la Silicon Valley, de mettre en concurrence intelligences humaine et artificielle. Un discours que les médias s’empressent souvent de reprendre sans distance critique suffisante.

C’est à Friedrich Hayek et Herbert Simon que l’on doit la popularité de l’analogie trompeuse entre le cerveau et la machine dans les sciences économiques et sociales, faisant de l’intelligence une simple affaire de traitement de données.

Or tel est justement le constat que tente de nuancer la philosophe Anne Alombert dans son ouvrage Schizophrénie numérique. Il ne fait pas de doute que les promesses des nouvelles technologies semblent coïncider avec la « destruction progressive des facultés de penser, par une industrie numérique qui fait des énergies psychiques sa première source de profit économique ». En témoigne la parution simultanée en 2019 des ouvrages du chercheur en intelligence artificielle Yann Le Cun Quand la machine apprend. La révolution des neurones artificiels et de l’apprentissage profond et du neuroscientifique Michel Desmurget, La Fabrique du crétin digital. Les dangers des écrans pour nos enfants.

Mais selon la maîtresse de conférences à l’Université Paris 8, cet état schizophrénique – dont l’ambiguïté réside en particulier dans le terme « d’intelligence artificielle » – procède en réalité d’une idéologie solidement ancrée et incorporée à ces outils numériques, qui suggère que la notion de progrès suivrait le seul récit prôné par les entreprises américaines qui dominent aujourd’hui le secteur du numérique.

Les technologies numériques sont ainsi le produit d’un courant cognitiviste et comportementaliste, inspiré par les œuvres de Friedrich Hayek, économiste pionnier du néolibéralisme et d’Herbert Simon, théoricien de l’IA et inspirateur de l’économie comportementale. C’est à ces auteurs que l’on doit la popularité de l’analogie trompeuse entre le cerveau et la machine dans les sciences sociales et économiques modernes, faisant ainsi de l’intelligence une simple affaire de traitement de données. Or, s’appuyant en cela sur la philosophie de Bernard Stiegler et d’André Leroi-Gourhan, Anne Alombert rappelle que l’esprit est bien davantage une construction collective qu’une substance individuelle. L’intelligence procède ainsi d’une activité qui « suppose toujours des corps vivants et un milieu technique pour s’exercer ».

Bien plus, la circulation des esprits suppose « un double processus d’intériorisation psychique et d’extériorisation technique : les expériences se sédimentent dans les supports de mémoire, se conservent dans l’espace et dans le temps et resurgissent dans le présent à travers leur réactivation par les individus vivants ». Les supports techniques sont ainsi porteurs d’une « fonction télépathique », que Bernard Stiegler appelait « rétentions tertiaires », entendues comme sédimentations conscientes et inconscientes accumulées dans l’histoire et qui vont servir de support à la constitution des savoirs, des expériences individuelles et des institutions qui forment le corps social dans son ensemble.

Une fois ce constat effectué, la question n’est donc plus de savoir si les machines sont en mesure ou non de surpasser l’intelligence humaine, mais bien plutôt de déterminer comment les nouvelles technologies du numériques surdéterminent le rapport de notre génération à la connaissance et à la perception du monde dans lequel nous vivons. En tant que « supports de mémoire et de symboles », les technologies numériques « supportent le patrimoine culturel dont les individus héritent, qu’ils interprètent et à partir duquel ils pensent, réfléchissent, imaginent et se projettent ».

Or en incorporant des règles comportementales dans le design et dans la diffusion de l’information, ces nouvelles technologiques de l’information ne s’adressent plus à des citoyens conscients. En réduisant le numérique à des techniques persuasives (la « captologie » de B.J. Fogg par exemple) qui tendent à capter l’attention pour mieux la commercialiser ou en facilitant la diffusion à grande échelle de fausses informations, ces technologies débouchent tout droit vers une « industrialisation des esprits ».

La schizophrénie numérique dénoncée par Anne Alombert ne doit cependant pas conduire à diaboliser toute forme de technologie. En tant que supports de notre mémoire collective, les outils techniques et singulièrement les outils numériques ne sont pas seulement des moyens mais aussi le milieu perceptif et social dans lequel nous vivons en tant que tel, milieu que nous devons nous donner pour tâche de transformer. En guise de proposition, elle se réfère par exemple aux initiatives de recherche-action, dont l’une des illustrations actuelles se trouve dans le cadre de la clinique contributive de Plaine Commune qui vise à placer les populations d’un territoire donné au cœur de la production des savoirs (ici les pédopsychiatres, les parents et les enfants face aux écrans).

Antonio Casilli : « La menace d’un grand remplacement par les robots est une manière d’assurer la discipline »

© Malena Reali pour LVSL

Le récent engouement autour de ChatGPT a de nouveau ravivé l’éternel débat sur la fin à venir du travail humain, remplacé par des intelligences artificielles et des robots. Pour le sociologue Antonio Casilli, auteur de En attendant les robots : Enquête sur le travail du clic (Seuil, 2019), ces annonces relèvent surtout d’un discours téléologique vénérant excessivement le progrès et de slogans marketing. Ayant étudié finement le fonctionnement concret de ces outils digitaux, il montre combien ceux-ci s’appuient sur du travail humain, généralement gratuit ou très mal rémunéré et reconnu. Plus qu’une disparition du travail, nous devons selon lui craindre, une plus grande précarisation et atomisation de celui-ci.

LVSL : Les médias spéculent régulièrement sur une fin à venir, sans cesse repoussée, du travail humain. Par exemple, en relayant l’étude The future of employment: how susceptible are jobs to computerization qui voudrait que 47% des emplois soient susceptibles d’être automatisés. Comme le titre de votre ouvrage semble l’indiquer (En attendant les robots), vous ne partagez pas cette analyse. Pourquoi ?

A. Casilli : Pour commencer, le titre n’est pas de moi. Ce n’était censé être à la base qu’un des chapitres de cet ouvrage, en l’occurrence le dernier. Cette référence renvoie à deux ouvrages majeurs : d’une part la poésie de Kavafys « En attendant les barbares » et de l’autre la pièce de Beckett « En attendant Godot », deux œuvres majeures du XXe siècle dans lesquelles on évoque une menace qui n’arrive jamais. Il s’agit d’une présence transcendante expliquant l’ambiguïté qui demeure aujourd’hui sur ce type d’automatisation qu’on attend tantôt avec impatience, tantôt avec crainte, mais qui finit toujours par être repoussée.

Moi-même, dans ma jeunesse j’ai eu droit aux vagues de rhétorique sur la fin du travail, à travers notamment l’ouvrage « La fin du travail » de Jeremy Rifkin (1995), qui annonçait la même chose que l’étude de Frey et Osborne dans « The future of employment ». Le message revenait à dire que l’automatisation anticipée allait être telle qu’un nombre important d’emplois disparaitrait sous peu, selon une logique de substitution. Mais si l’on avait face à nous une personne qui aurait vécu par exemple depuis le début du XIXe siècle, elle aurait pu témoigner de rhétoriques et de prophéties comparables parce qu’il n’a pas fallu attendre les intelligences artificielles pour se retrouver face ce type d’annonces.

Ce type de communication s’adresse avant tout aux investisseurs, dotés de ressources matérielles et d’un imaginaire constamment sollicité. L’investisseur est une personne qui doit, comme disait Keynes, se soumettre aux esprits animaux, se démarquer et les suivre dans une espèce de quête chamanique. De l’autre côté, ce discours s’adresse aussi à une force de travail qui a besoin d’être disciplinée. Dans ce contexte-là, la menace d’un grand remplacement par les robots est une manière d’assurer la discipline en les ramenant à une condition purement machinique, à un travail sans qualité, sans talent, sans compétences. C’est donc une manière de déprécier ce travail et de démontrer son inutilité alors qu’il s’agit bien d’un travail nécessaire.

« La menace d’un grand remplacement par les robots est une manière d’assurer la discipline ».

C’est en me concentrant sur ce travail vivant nécessaire qui nourrit la nouvelle vague d’innovation qui émerge avec les intelligences artificielles au début du XXIe siècle, en montrant « l’essentialité » (c’est-à-dire le fait qu’ils requièrent du travail humain, ndlr) de ces métiers de la donnée, que je m’efforce de montrer que l’innovation n’est pas forcément destructrice de travail. Plutôt elle déstructure l’emploi – ou en tous cas la version formalisée et protégée du travail, qui cesse alors d’être un travail encadré selon des principes établis par de grandes institutions internationales comme l’OIT. Ces avancées technologiques rendent le travail de plus en plus informel, précaire, sujet à un ensemble de variabilité et de fluctuations qui répondent autant au marché classique qu’à un nouveau type de marché, celui des plateformes, qui ont leurs propres fluctuations, dues à des logiques moins économiques qu’algorithmiques.

LVSL : Dans ce que vous évoquez justement de déstructuration du travail, en parlant de « travail numérique » nous désignons souvent les travailleurs ubérisés soumis au capitalisme de plateforme, mais vous rappelez aussi dans votre livre qu’il existe d’autres types de « travailleurs du clic ». Lesquels ?

A. Casilli : Ce que je cherche à faire dans cet ouvrage, c’est prendre comme point de départ le travail de plateforme visible qui concerne les métiers de la logistique, des passeports, des mobilités en général. Cela concerne parfois les métiers des services personnels comme ceux du « care » qui soignent des personnes ou s’occupent de tâches domestiques, etc. Tout cela fait partie de la première famille de métiers qu’on qualifie parfois d’« ubérisés ». C’est un terme qu’un industrialiste français, Maurice Levy, a choisi et que l’on a imposé à tout, en « brandisant » c’est-à-dire en attribuant une marque à un phénomène social.

Mais je m’efforce de dire : « Regardons aussi ailleurs ». Le travail plateformisé visible, les nouveaux métiers du clic ou de l’algorithme ne sont que la partie émergée de l’iceberg. Tout le reste est composé de travailleurs qui sont sous la surface de l’automatisation. Il existe deux grandes familles sur lesquelles se concentre la partie centrale de cet ouvrage : d’une part le nombre vraiment important de personnes qui, partout dans le monde, préparent, vérifient et parfois imitent les intelligences artificielles – ce sont les annotateurs de données, les personnes qui génèrent des informations pour entraîner les algorithmes ou pour conduire l’intelligence artificielle.

Dans la continuité de cela, il y a un travail de moins en moins vu, connu, reconnu et payé, tellement informel qu’il devient presque un travail de bénévole voire d’utilisateurs-amateurs, comme chacun et chacune d’entre nous l’est à un moment ou à un autre de sa vie et de sa journée. Par exemple le fait de se servir d’un moteur de recherche en améliorant la qualité des résultats, comme cela arrive à chaque fois qu’on utilise Google, ou de s’insurger contre une intelligence artificielle comme ChatGPT en améliorant par la même occasion la qualité de ses réponses. Il y a donc une continuité entre les personnes qui ne sont pas payées pour réaliser du clic, pour réaliser de l’amélioration de contenu et de service algorithmique, et les travailleurs du clic des pays émergents ou à faible revenu, généralement payés 0,001 centime la tâche. Sur le papier, la différence est vraiment minuscule mais c’est important de la souligner.

« Afin de rendre les travailleurs interchangeables, il faut faire en sorte que l’activité humaine soit standardisée et réduite à son minimum, son unité minimale est alors le clic. »

© Marielisa Ramirez

LVSL : Pour reprendre les termes que vous utilisez dans le livre, vous distinguez trois formes de « travail digital ». Le travail des petites mains du numérique, c’est-à-dire le travail à la demande (prestation de petites interventions comme Uber, Deliveroo, etc.) ; le micro-travail qui fournit le soutien aux algorithmes par des tâches standardisées de mise en relation de données et le travail social en réseau qui est la participation des usagers à la production de valeur. Dans la droite lignée du taylorisme, ces nouvelles tâches témoignent-elles d’une nouvelle organisation du travail qui n’est pas aboli par le numérique mais simplement fractionné et décentralisé à un degré supérieur ?

A. Casilli : Oui, vous avez bien résumé les trois familles de travail, mais on peut encore faire un effort supplémentaire pour caractériser cette activité dont on parle. Pour qualifier ce « travail numérique », on peut aussi bien employer deux autres adjectifs. C’est un travail qui est « datafié » et « tâcheronisé ». « Datafié » signifie qu’il produit de la donnée et qu’il est lui-même produit par la donnée. « Tâcheronisé » c’est-à-dire atomisé, segmenté en petites tâches. Afin de rendre les travailleurs interchangeables, il faut faire en sorte que l’activité humaine soit standardisée et réduite à son minimum, son unité minimale est alors le clic.

Sommes-nous là face à une continuation du taylorisme ? La réponse est un peu compliquée dans la mesure où le taylorisme, tel qu’on le connaît historiquement, était synthétiquement dû à la gestion scientifique et non à la gestion algorithmique. Il y a une différence importante entre ces deux conceptions parce que la définition de Taylor était celle d’un travail sur plan, avec un cahier des charges pour des personnes intermédiaires puis des exécutants et des ouvriers. Il y avait une chaîne hiérarchique et une manière d’organiser ce travail par des échéances précises : chaque semaine, chaque jour, chaque mois, chaque année. Il s’agissait donc d’un travail de plan tandis que le travail de plateformes qui sert à produire ces intelligences artificielles est un travail à flux tendu. Cela signifie que les manières d’associer un exécutant et une tâche passe plutôt par un modèle mathématique qu’est l’algorithme qui apparie un être humain et un contenu (ex : quel chauffeur va s’occuper de quelle course). Dans la mesure où cette logique est différente, elle bouleverse également l’équilibre politique auquel le taylorisme avait conduit, que l’on résume parfois par l’économie du fordisme-taylorisme qui repose sur une production de masse, qui, à son tour, produit des marchés de consommation de masse.

Là, on est face à une organisation plus compliquée et à des micro-marchés, des marchés de niche qui sont réalisés ad hoc, créés par l’algorithme même. Pour terminer, le type de protection sociale qui allait de pair avec le fordisme-taylorisme a été complètement abandonné pour la raison qu’on ne se trouve pas dans une situation dans laquelle il faut assurer un salaire stable afin que ces employés puissent se permettre de consommer la production même de leur propre usine ou de leur entreprise. Aujourd’hui, ce n’est pas à Uber de s’occuper de donner suffisamment d’argent à une personne pour qu’elle puisse s’offrir des produits ou des services Uber. Il y a effectivement une séparation totale entre ces deux aspects, ce qui débouche sur un travail beaucoup moins protégé, qui offre beaucoup moins de certitudes quant à son existence même et à son activité, donc à sa rémunération. En outre, cela génère moins de protection sociale du point de vue de l’assurance, de la carrière, de la formation, de la retraite, et ainsi de suite. Tout ce qui faisait l’équilibre sociopolitique dans la deuxième moitié du XXe siècle – du moins dans les pays du Nord – est aujourd’hui laissé de côté et les plateformes qui produisent l’intelligence artificielle et qui se basent sur ce concept de « digital labour » sont finalement la réalisation et l’achèvement ultime de l’idéal néolibéral du chacun pour soi et du travail pour personne.

« Moi j’ai jamais rencontré les gens avec lesquels je travaille et encore moins les gens pour lesquels je travaille parce que, tout simplement, je me connecte sur un site et je coche des cases »

LVSL : Vous évoquez dans votre livre des tâches comme l’incorporation de données dans les IA, le tri des doublons, la mise en lien de recommandations, etc. Il s’agit d’un travail qui ne met pas directement en jeu les forces du travailleur mais plutôt des qualités cognitives comme la faculté de discernement, de jugement ou encore de discrimination. En outre, nous avons affaire à des personnes qui sont individualisées du simple fait qu’il s’agisse d’un travail qui s’effectue la plupart du temps seul, face à un écran. Par conséquent, face à la fois à ce changement de lieu de travail, à cette atomisation du travail et au fait que les facultés qui sont mobilisées sont d’ordre cognitives, est-ce pour vous le signe d’un nouveau prolétariat de type cognitif ou digital ?

A. Casilli : Je dirais qu’il y a clairement la formation d’une nouvelle subjectivité politique, qu’on peut appeler « nouveau prolétariat ». À la fin du livre, je fais d’ailleurs tout un effort pour étudier dans quelle mesure on peut parler de classe mais ma réponse est assez dubitative. Pour l’instant, j’insiste beaucoup sur le fait que la nouveauté présentée, par exemple par le microtravail plateformisé, c’est-à-dire des personnes qui se connectent sur des applications spécialisées où elles réalisent des micro-tâches rémunérées à la pièce, est un cas de freelancing extrême, parce qu’extrêmement fragmenté. Selon des estimations de nos collègues d’Oxford à peine en moyenne deux dollars par heure ; même si par ailleurs ils n’ont pas un contrat horaire mais sont payés à la pièce.

Vous ne travaillez plus par projet, même s’il demeure certaines caractéristiques du freelancing qui s’est imposé depuis l’arrivée du télétravail dans les années 90. Il s’agit alors d’un aboutissement, d’une version poussée à l’extrême de cette tendance. Il subsiste toutefois un autre élément important qui nous permet de complexifier ce qu’on peut dire aujourd’hui à propos de ce microtravail. Je le caractérise comme un travail en solitaire, où les personnes travaillent chacune depuis [leur] foyer, et nous avons par ailleurs réalisé avec France Télévisions un documentaire nommé Invisibles dans lequel nous avons interviewé des microtravailleuses. La première chose qu’une d’entre elles nous a dite est : « Moi j’ai jamais rencontré les gens avec lesquels je travaille et encore moins les gens pour lesquels je travaille parce que, tout simplement, je me connecte sur un site et je coche des cases ».

Quelle est l’autre caractéristique de ce freelancing extrême ? Et bien, c’est tout simplement que le travail se déplace vers les pays dans lesquels la main d’œuvre est moins chère. Comme les rémunérations sont à la baisse et que cela se transforme en une espèce de foire d’empoigne, les pays dans lesquels on rencontre un nombre plus important de microtravailleurs ne sont pas forcément les pays du Nord mais ceux de l’hémisphère Sud. On a beaucoup parlé de la Chine et de l’Inde mais ce sont des cas complexes dans lesquels vous avez autant de grandes startups qui font de la valeur ajoutée que des microtravailleurs. Il y a aussi des pays qui sont dans des situations d’extraction néocoloniale poussées à l’extrême.

Les pays sur lesquels nous avons travaillé avec mon équipe de recherche DiPLab sont des pays d’Afrique francophones et des pays d’Amérique latine. Dans les deux dernières années et dans la foulée de cet ouvrage, nous avons réalisé plusieurs milliers d’entretiens et de questionnaires avec des travailleurs dans des pays comme Madagascar, l’Égypte, le Venezuela, le Mexique, la Colombie et le Brésil. Dans ce dernier cas, on rencontre souvent de véritables fermes à clics responsables des faux followers sur Instagram ou des visionnages YouTube ou TikTok. C’est une manière de tricher avec les algorithmes bien qu’il s’agisse du bas de la pyramide, et ces personnes peuvent travailler depuis chez elles. Dans d’autres contextes par contre, à Madagascar ou en Égypte, de gros marchés de l’offshoring (externalisation ndlr) se sont créés. Là-bas, les microtravailleurs ne travaillent pas depuis chez eux, mais depuis des structures variées : certains travaillent depuis chez eux, certains depuis un cybercafé, d’autres vont taxer le wifi de l’université et certains ont de véritables bureaux avec des open spaces plus ou moins structurés. Il y a donc des situations très différentes, avec parfois des petits jeunes de banlieue d’Antananarivo qui organisaient une espèce d’usine à clics avec d’autres copains du quartier et d’autres personnes qui utilisaient une maison avec 120 personnes, vingt dans chaque pièce, réalisant des microtravaux. Cette atomisation semble donc concerner principalement les pays à plus hauts revenus. Dans les pays à plus faibles revenus, les formes de travail du clic sont très variées, du bureau classique à la plateforme.

LVSL : Cette diversité des travailleurs du clic semble assez symptomatique d’un milieu du numérique qui serait encore relativement une zone de non-droit du travail dans la mesure où il s’agit d’un domaine relativement récent et décentralisé. Le travail y est mal reconnu, souvent ingrat, organisé de manière nébuleuse, etc. Est-ce en raison de ce flou que le capitalisme y prospère ou est-ce que ce flou est lui-même un produit de la dérégulation capitaliste ?

A. Casilli : La question de la dérégulation a une longue histoire, c’est la doctrine du laisser-faire du XVIIe siècle dont la doctrine capitaliste hérite. Elle concerne principalement le fait d’enlever un nombre important de dépenses, de cotisations et d’impôts qui pèsent sur les entreprises et ensuite de laisser ces entreprises faire des profits et les redistribuer à leurs investisseurs. Ici, le problème se pose en termes très classiques selon la différence en économie politique entre profits et salaires. Grosso modo, cette dérégulation s’est soldée par un déplacement important de ressources qui faisaient partie des salaires, ce qu’on appelle le « wage share », la part des salaires vers les profits. Toute la rhétorique actuelle sur les superprofits porte aussi sur cela ; la montée en flèche lors des dernières décennies, des profits et des dividendes pour les investisseurs et les chefs d’entreprise. A contrario, on a vu une diminution drastique du salaire réel, du pouvoir d’achat et en général de la masse salariale. Pour réduire cette masse salariale, soit on vire des personnes – mais on ne peut pas virer tout le monde –, soit on remplace des personnes bien payées par des personnes moins bien payées. De cette manière-là, à parité des effectifs et de quantité de travail, on se retrouve à payer moins pour la masse salariale.

« On n’a pas vu une diminution drastique du travail en termes de temps de travail mais plutôt une diminution drastique du travail payé et une augmentation du travail non payé. Là est la base de cette économie des plateformes. »

Ce que je m’efforce de montrer, avec d’autres, c’est qu’on n’a pas vu une diminution drastique du travail en termes de temps de travail mais plutôt une diminution drastique du travail payé et une augmentation du travail non payé. Là est la base de cette économie des plateformes qui crée une concurrence entre les travailleurs pour revoir à la baisse leur rémunération, parce que l’algorithme va favoriser celui qui va réaliser la même tâche à un prix moindre, comme on le voit avec les livreurs express. C’est vrai notamment depuis le Covid, avec un nombre important de nouveaux inscrits sur ces plateformes et une baisse drastique des rémunérations en plus d’une réaction interne de conflictualité syndicale. La même chose se passe évidemment aussi sur les plateformes dites « de contenu », qui se disent « gratuites » mais ne le sont pas vraiment : parfois il faut payer pour y être et souvent elles payent les personnes qui sont actives d’une manière ou d’une autre. Le cas classique est celui de la monétisation des contenus qui est devenue un geste désormais banal pour pouvoir exister sur certaines plateformes comme Instagram, TikTok ou YouTube et y avoir une présence véritable. Cela signifie que l’on a une coexistence dans les mêmes espaces d’un travail non rémunéré, d’un travail faiblement rémunéré, d’un travail micro-rémunéré et tout ça crée une baisse progressive de la masse salariale pour une équivalence voire une augmentation de la production en termes de contenu, d’informations, de service, etc.

LVSL : Pour vous, la dérégulation est donc le produit de la structure et de son fonctionnement, elle n’est pas seulement le terreau dans lequel elle s’épanouit même si de fait elle crée un terrain qui est propice à sa propre perpétuation.

A. Casilli : Tout à fait. Si on regarde du côté des entreprises, on remarque qu’elles tendent à favoriser de plus en plus la redistribution de dividendes importants plutôt que le réinvestissement pour créer de nouvelles ressources, etc. Si l’on regarde ensuite comment les entreprises fonctionnent, on a des surprises qui sont parfois amères : durant nos recherches sur le travail de plateforme, on s’est rendu compte du chaos qui domine au niveau de la gestion de cette force de travail dans la mesure où les plateformes ne reconnaissent pas que ces microtravailleurs effectuent des tâches importantes pour la production de valeur de l’entreprise et donc ne les encadrent pas. Il n’y a donc pas de « ressources humaines ». Ce sont par exemple le responsable des achats ou les ingénieurs qui s’occupent d’organiser le pipeline pour la mise en place du machine learning.

Or, ce ne sont pas des personnes formées pour gérer des êtres humains donc ils engendrent des désastres parce qu’ils ne savent pas entendre les problématiques, ils ne comprennent pas que ces personnes-là sont habituées à une certaine protection de leur travail, en connaissance de leurs droits, ce qui est tout à fait normal. On a donc une forte conflictualité dans ces entreprises qui ne sont pas capables de gérer la transition vers la plateformisation totale.

Mobilisation des livreurs © Marion Beauvalet
Mobilisation de livreurs Deliveroo
© Marion Beauvalet

LVSL : Toutefois, il n’y a pas que les travailleurs du clic rémunérés : dans notre présence virtuelle, nous fournissons régulièrement des matériaux à des systèmes dits « collaboratifs » (cookies, avis, évaluations, etc.) qui mettent en place des systèmes de gratification affective (ce que vous appelez des « produsagers », contraction de « producteur » et « usager »). Le fonctionnement des plateformes numériques abolit-il la séparation entre travail et loisir ?

A. Casilli : C’est un peu plus complexe que cela car c’est comme si les plateformes cherchaient constamment à monter au maximum le volume tant du travail que du plaisir. L’exemple récent qui me vient à l’esprit, c’est ChatGPT. ChatGPT est une intelligence artificielle qui n’a rien d’extraordinaire sauf qu’elle fait bien semblant d’entendre et de répondre à des questions. C’est un système assez classique qu’on appelle « question answering » comme modèle de machine learning, mais entouré d’une espèce d’aura de grande innovation, voire de révolution. Cela oblige tout un tas de personnes à se connecter à ChatGPT, à interagir avec elle et par la même occasion à l’améliorer, puisque chaque réponse négative ou à côté de la plaque de ChatGPT est systématiquement dénoncée par la personne qui la reçoit, ce qui améliore l’IA.

« Tout ça n’est une opération de marketing de OpenIA, qui est arrivée à créer un engouement lui offrant une main d’œuvre non rémunérée massive pour tester ChatpGPT. »

Il y a là une espèce de joie perverse de jouer à ce jeu, de se faire mener un bateau par un système qui est seulement dominé par une logique de marketing. Tout ça, en effet, n’est qu’une opération de marketing de OpenIA, qui est arrivée à créer un engouement lui offrant une main d’œuvre non rémunérée massive pour tester ChatpGPT.

La dimension de travail se comprend bien si on voit la continuité entre les utilisateurs lambda et non rémunérés de ChatGPT et de l’autre côté les personnes qui sont dans le back office de ChatGPT : un mois et quelques après le lancement de cette intelligence artificielle, on a découvert que ça fait des années qu’OpenIA recrute systématiquement des microtravailleurs kenyans payés 1$ de l’heure pour sélectionner les réponses, taguer des contenus etc. À côté de cela, puisque ChatGPT est aussi un outil utilisé pour produire du code informatique, il y a eu un recrutement de personnes qui sont des tâcherons du code pendant l’année 2020. Ces tâcherons du code devaient produire des bouts de code, débuguer des codes alors qu’elles n’avaient parfois pas une compétence informatique très élevée. C’étaient parfois des petits étudiants en première année ou des personnes qui savaient à peine reconnaître que dans cette ligne de code il y avait une parenthèse qui ouvrait mais il n’y en avait pas qui fermait et c’était suffisant pour débuguer la ligne. Il y a un continuum entre ces tâcherons du clic et nous-mêmes, qui fait bien de ChatGPT avant tout une entreprise de travail humain vivant. J’aurais pu dire la même chose du moteur de recherche de Google mais il est là depuis un quart de siècle donc c’est un peu moins d’actualité.

LVSL : Avec cet entrelacs du producteur à l’usager qui s’est formé, l’outil numérique ne semble plus être une extension de la main de l’homme. Le travail humain tend au contraire à devenir une extension de l’outil. Identifiez-vous le travail digital comme une nouvelle forme d’aliénation double car le travailleur n’est plus seulement soumis à la machine (comme c’est déjà le cas depuis le taylorisme) mais disparaît derrière elle parce que l’aliénation ne concerne plus seulement le travailleur mais aussi le « produsager » qui n’est même pas reconnu comme travailleur ?

A. Casilli : Pour résumer, les deux types d’aliénation dont vous parlez sont une aliénation de la visibilité et une aliénation du statut pour faire court. La question de la visibilité est un problème important mais en même temps c’est aussi un problème qui nous permet d’identifier où est le nœud problématique. Ça fait longtemps qu’en sciences sociales, on s’occupe de reconnaître des formes de travail non visibles : on l’appelle shadow work, ghost work, virtual work, etc., chaque auteur a sa propre définition. Moi j’ai cherché à mon tour à parler de ce travail non ostensible, « unconspicuous labor », qui est une manière de jouer sur la notion de consommation ostentatoire. C’est une manière de dire que si notre consommation se fait visible, on s’affiche en train de consommer, on ne s’affiche pas en train de produire et on a presque honte de ce qu’on produit quand on le produit. C’est pour ça que nous-mêmes nous adhérons à la rhétorique du « C’est pas un travail, c’est un plaisir : je ne suis pas un journaliste précaire, je suis un blogueur », « Je ne suis pas une animatrice télé qui ne trouve pas d’emploi, je suis une influenceuse Twitch ».

C’est une [façon] de se raconter d’une manière ou d’une autre que la précarité est moins grave que ce qu’elle est. Il ne faut pas sous-estimer le côté aliénant de cela, surtout un terme de désencastrement des individus de leur réseau de solidarité et d’amitié qui est normalement assuré par les activités de travail formel. Je ne veux pas dire que la vie avec les collègues est un paradis, mais que le travail formel crée un cadre qui permet de situer un individu au sein d’un réseau de relations. Ce qui devient beaucoup moins simple à faire pour le travail du clic. Il y a un vaste débat dans ma discipline sur l’encastrement ou le désencastrement social des travailleurs des plateformes, qui porte sur cette confusion énorme qui existe entre le côté productif et le côté reproductif des plateformes. Le côté productif, on le voit à chaque fois qu’on nous demande de produire une donnée, mais parfois cette injonction est là pour stimuler notre plaisir, nos attitudes, nos désirs, nos envies de se mettre en valeur, de se mettre en visibilité, et ainsi de suite. Cela peut se transformer en loisir, dans une activité sociale, et qui est alors plutôt du côté de la reproduction. Là c’est effectivement une aliénation qui renforce cette confusion.

De cela découle directement la deuxième aliénation qui est l’aliénation de statut, c’est-à-dire la difficulté à obtenir un statut de travailleur de la reproduction sociale. Mais ce n’est pas impossible : regardons par exemple les combats féministes, qui ont fait en sorte que tout un tas d’activités auparavant considérées comme purement reproductives soit inscrites dans la sphère du travail socialement reconnu, avec des rémunérations et des protections sociales : le travail domestique, le travail de care, etc. Toutefois, cette rupture de l’aliénation n’arrive pas de manière spontanée, par simple progression du capitalisme vers des formes plus douces et sociales-démocrates, mais cela arrive au fil et au bout des luttes sociales.

LVSL : Puisque votre ouvrage critique une conception téléologique du progrès technologique où l’on avance vers la fin du travail, comment envisagez-vous l’avenir du travail numérique, surtout avec l’explosion récente des plateformes d’intelligence artificielle ?

A. Casilli : Pour ma part je pense qu’il faut se méfier des effets d’annonce médiatiques. Je suis assez bien placé pour savoir comment la fabrique médiatique de ces phénomènes sociotechnologiques est structurée à coups de communiqués de presse d’entreprises qui produisent un nouveau service, une nouvelle application, une nouvelle intelligence artificielle et de rédactions de journaux ou de presse qui, pour chercher à produire du contenu, cèdent au plaisir de se faire porte-voix de ce type d’allégations.

Je ne pense pas qu’il y ait une explosion de l’intelligence artificielle. Au contraire, je remarque que l’intelligence artificielle rame, qu’il y a des échecs de l’intelligence artificielle, il y a des domaines de l’intelligence artificielle qui se sont cassé la gueule, par exemple l’intelligence artificielle des machine learnings non supervisés dont on annonce toujours des trucs merveilleux qui n’arrivent jamais. Ou alors on a des effets de mode durant quelques temps, comme la blockchain récemment, qui est sujette à des échecs répétés tous les quelques mois. Je ne suis pas technophobe, mais plutôt dans une forme de scepticisme qui permet de voir l’innovation là où elle est vraiment. Or, l’innovation n’est pas dans l’intelligence artificielle, qui ne fait pas de progrès par pas de géants.

« Certains métiers du clic se sont aussi imposés comme des métiers essentiels, par exemple la livraison ou la modération de contenus. »

En revanche il y a eu des chocs exogènes, par exemple le Covid, la crise sanitaire, la crise économique et la crise géopolitique qui ont suivi. Ces enchaînements de catastrophes ont fait en sorte que le marché du travail de 2023 soit assez différent par rapport aux marchés du travail des années précédentes : en 2019, le nombre de personnes employées formellement était supérieur à toutes les époques précédentes de l’humanité, ce qui est évident parce qu’il y a aussi un nombre plus important d’êtres humains. Avec le Covid, on a eu d’abord un moment d’arrêt généralisé des échanges internationaux et parfois des croissances importantes de certains pays en termes de performances industrielles et d’autre part on a vu aussi ce prétendu « triomphe du télétravail », qui ne s’est pas soldé dans une espèce de dématérialisation de toutes les activités mais qui nous a aidés à identifier certaines activités qu’on appelle aujourd’hui « essentielles » (logistique, commerce, agroalimentaire, santé…).

Mais certains métiers du clic se sont aussi imposés comme des métiers essentiels, par exemple la livraison ou la modération de contenus, tous des travailleurs qui ont été classifiés comme « essentiels » par de grandes entreprises telles que Facebook et YouTube comme prioritaires pour revenir au travail en présentiel, alors que les autres ont été tranquillement mis au télétravail pendant deux ans et demi, avant d’être licenciés. C’est quelque chose d’important car on peut difficilement se passer du travail de modération, qui est d’ailleurs difficile à faire à distance, parce qu’il est difficile de modérer des vidéos de décapitation quand derrière vous il y a vos enfants qui jouent, ou de regarder des contenus vraiment problématiques, violents, déplacés alors qu’on passe à table. À moyen terme, je ne vois pas ce travail disparaître, je le vois devenir de plus en plus central, mais malheureusement je ne le vois pas non plus devenir plus digne et reconnu pour autant.

« Les microtravailleurs ne sortent pas dans la rue mais on les voit beaucoup dans les tribunaux, lors d’actions de recours collectif ou d’actions pour la reconnaissance de leur travail. »

C’est là le nœud conflictuel des prochaines années, celui de la reconnaissance de ces travailleurs. Plusieurs signes indiquent qu’on est face à de nouveaux conflits sociaux au niveau international, car on commence à avoir une structuration précise et cohérente des travailleurs et de nouvelles luttes sociales émergent. On voit notamment apparaître beaucoup de revendications qui passent par les cours de justice. Les microtravailleurs ne sortent pas dans la rue mais on les voit beaucoup dans les tribunaux, lors d’actions de recours collectif ou d’actions pour la reconnaissance de leur travail. Au Brésil, on a eu une victoire importante contre une plateforme de microtravail qui a été obligée de requalifier comme « salariés » quelques milliers de travailleurs.

LVSL : Au fondement de toutes ces activités, les algorithmes reposent essentiellement sur une approche positiviste du monde où tout est classable, identifiable et mesurable. En mettant en lumière le travail des tâcherons du numérique qui trient et jugent en support des algorithmes, ne révélez-vous pas l’insuffisance de cette vision positiviste ?

A. Casilli : J’ai, si l’on veut, une approche un peu plus « irrationnaliste » du tissu social. Je pense que la mise en données est une entreprise qui a une longue histoire : elle puise ses racines dans le positivisme historique à la fin du XVIIIe siècle, début XIXe, au niveau de la création d’une attitude positiviste et en même temps des ancêtres de ce qu’on appelle aujourd’hui les intelligences artificielles. Dans le nouveau livre sur lequel je travaille, je m’intéresse aux origines du travail du clic, par exemple le fait qu’en France et dans d’autres pays d’Europe, on avait créé à cette époque des ateliers de calcul dans lesquels des centaines de personnes, souvent pas des mathématiciens du tout, des personnes qui avaient d’autres formations (des ouvriers, des instituteurs ou institutrices souvent), qui calculaient un peu tout : des tables trigonométriques pour le cadastre de Paris, les positions du Soleil pour l’observatoire de Greenwich, etc. On pourrait l’interpréter comme une mise en chiffres du réel, mais celle-ci est d’un type particulier car il ne s’agit pas seulement d’une quantification faite par le biais des grandes institutions statistiques étatiques : recensements, mesures, etc. Ce ne sont pas des géomètres ou des statisticiens qui ont opéré cette mise en donnée du monde, ce sont souvent des personnes dont on n’a pas conservé le nom ou les coordonnées, qui ont calculé pendant des années et des années des entités mathématiques qui ont été nécessaires pour créer un type particulier de machines, par exemple les machines à calculer ou pour observer certains phénomènes astronomiques, des machines balistiques pour l’armement, etc. Ce fut un grand élan de mise en données qui ne fut pas seulement de la quantification, mais une manière de créer de la connaissance précalculée qui est ensuite utilisée pour produire des machines qui calculent.

C’est le même principe que celui des intelligences artificielles d’aujourd’hui. ChatGPT s’appelle « GPT » parce que le « P » signifie « pretrained », tout ce que la machine sait faire a été précalculé par des êtres humains. On voit là réapparaître ce type de positivisme un peu particulier parce que ce n’est pas un positivisme de grands idéaux, de grands systèmes, mais un positivisme de la microdonnée, de la microtâche, du microtravail, quelque chose de beaucoup plus terre à terre et de beaucoup plus intéressé à un résultat économique assez immédiat. Si l’on veut, malgré les grands discours de colonisation de l’espace et de réforme de l’esprit humain par certains milliardaires de la Silicon Valley, on est en face de personnes qui cherchent à gratter un peu d’argent pour arriver à la fin du mois, même du côté des milliardaires.

ChatGPT : derrière le mythe de l’intelligence artificielle, les dangers des automates computationnels

intelligence artificielle
crédits Jr-korpa

Le 14 mars 2023, OpenAI, entreprise américaine fondée entre autres par Elon Musk, Sam Altman et Peter Thiel, annonçait le lancement de son nouveau modèle de langage artificiel, GPT-4, faisant passer une étape supplémentaire aux technologies de génération automatique de textes. Cette nouvelle innovation poursuit la stratégie industrielle de l’entreprise américaine, qui ne cesse de faire parler d’elle depuis quatre mois. Derrière la fascination, il convient de mettre au jour les fantasmes et les dangers : ces technologies ne risquent-elles pas de réduire l’avenir du web à l’extractivisme de la donnée, et les capacités expressives humaines à des calculs automatisés ? Par Anne Alombert, maître de conférences en philosophie française contemporaine à l’université Paris 8, Vincennes – Saint-Denis, autrice de Schizophrénie numérique à paraître en avril 2023 aux éditions Allia.

Le 30 novembre 2022, OpenAI réalisait l’un des plus grands « coup médiatique » de l’histoire de l’intelligence artificielle, en rendant accessible au grand public un nouvel outil, dénommé ChatGPT. Ce dispositif, souvent décrit sous les noms d’ « intelligence artificielle » ou d’ « agent conversationnel », repose en fait sur l’association entre deux types de technologies : un modèle de langage (il s’agissait alors de GPT-3, et désormais, possiblement, de GPT-4), qui permet de générer toutes sortes de textes grâce à des calculs probabilistes appliqués à des quantités massives de données, et une messagerie instantanée, qui permet aux utilisateurs de poser des « questions » ou de donner des « consignes » à la machine, afin d’obtenir des productions textuelles variées (de la recette de cuisine aux poèmes, en passant par les articles scientifiques ou le code informatique).

ChatGPT, entre fantasmes et réalités

Comme souvent, le fait de rendre accessible ce type de dispositifs, au fonctionnement opaque mais à l’usage très intuitif, engendre un effet de fascination généralisée : la machine, semblant répondre par magie aux questionnements les plus insolites, devient l’objet de toutes sortes de projections anthropomorphiques nourries par les discours transhumanistes. La machine serait-elle capable d’écrire ou de parler ? Serait-elle capable de penser ? Serait-elle consciente d’elle-même ? Pourrait-elle se substituer aux activités humaines qu’elle semble si bien simuler ?

Le lancement de ChatGPT (d’abord gratuit mais dont une version payante a déjà émergé) a ainsi constitué une énorme opération de communication pour OpenAI, qui en a aussi profité pour exploiter le travail gratuit de ses millions d’utilisateurs (cent millions de comptes enregistrés en janvier 2023), convaincus d’expérimenter un nouveau gadget, alors que c’est le système qui se nourrissait de leurs requêtes pour améliorer les performances de ses algorithmes. Si bien qu’au moment où tout un chacun commençait à se demander comment faire un bon usage de ChatGPT, le dispositif technologique avait déjà largement utilisé ses soi-disant usagers pour se perfectionner, conformément au célèbre adage selon lequel « si c’est gratuit, c’est vous le produit ! ».

« Au moment où tout un chacun commençait à se demander comment faire un bon usage de ChatGPT, le dispositif technologique avait déjà largement utilisé ses soi-disant usagers pour se perfectionner, conformément au célèbre adage selon lequel “si c’est gratuit, c’est vous le produit !” ».

Grâce à ChatGPT, OpenAI, qui avait bénéficié d’un investissement initial d’un milliard de dollars de la part de Microsoft, a ainsi vu sa valeur boursière augmenter de manière exponentielle : désormais valorisée à 29 milliards de dollars, elle devrait faire l’objet d’un investissement pluriannuel de plusieurs milliards de dollars de la part de Microsoft, qui entend intégrer ChatGPT à ses services (notamment à son moteur de recherche Bing, dans le but de concurrencer Google en ce domaine, et à la suite bureautique Microsoft Office). Le 23 janvier 2023, Microsoft annonçait ainsi le renforcement de son partenariat avec OpenAI « pour accélérer les percées de l’IA afin de garantir que ces avantages soient largement partagés avec le monde ».

Trois jours plus tôt, le 19 janvier, Microsoft avait annoncé le licenciement de dix mille salariés (près de 5 % de ses effectifs). La veille, le 18 janvier, le journal Time avait révélé le partenariat entre OpenAI et la société Sama, qui a permis à l’entreprise d’employer des travailleurs kenyans rémunérés à moins de deux dollars de l’heure pour indexer d’immenses quantités de contenus toxiques circulant sur Internet, afin de « nettoyer » les données d’entraînement de ChatGPT. Les calculs des algorithmes, indifférents à toute signification, sont en effet incapables de reconnaître un texte à caractère haineux, violent, raciste ou pornographique : pour éviter que la machine ne génère automatiquement et massivement des contenus de ce type, ce sont donc des humains qui doivent les visionner et les indexer, au prix de nombreux traumatismes. Contrairement aux IA qui effectuent des calculs sur de l’information numérique, les humains se laissent affecter par le sens des textes qu’ils lisent : l’exposition constante à des contenus nuisibles engendre donc des troubles psychiques.

Plutôt que les machines conscientes ou les avantages de l’IA « largement partagés avec le monde », ce sont donc les craintes associées à l’industrie numérique et à l’économie des données qui semblent s’affirmer derrière les prouesses de ChatGPT : disparition des emplois et exploitation des « travailleurs du clic », sans compter la concentration des capitaux et la consommation énergétique nécessaires à l’entraînement de ce type de modèles, qui rend le coût de ces technologies prohibitif.

« Il faut en effet distinguer un dispositif comme Wikipédia et un dispositif comme ChatGPT : les deux outils symbolisent en fait deux visions antithétiques du Web, la première fondée sur l’ouverture et l’intelligence collective, et la seconde sur l’extractivisme et le calcul automatisé ».

Des agents conversationnels aux automates computationnels

Comme souvent, les enjeux écologiques, politiques et sociaux des innovations technologiques sont subrepticement refoulés par des discours au sujet des « intelligences artificielles » ou des « agents conversationnels ». Or, comme cela a été souligné par divers spécialistes, un dispositif comme ChatGPT n’a rien d’intelligent : il s’agit d’un ensemble complexe d’algorithmes (très performants) effectuant des calculs statistiques sur des quantités massives de données afin de déterminer des suites de mots probables par rapport aux données d’entrée (sur le modèle des logiciels d’autocomplétion, qui permettent de générer automatiquement la suite la plus probable d’un sms ou d’un e-mail).

Ce n’est évidemment pas ainsi que procèdent les « agents » lors de « conversations » : converser avec autrui ne suppose pas de faire des calculs probabilistes sur des quantités massives de données afin de générer une suite probable de mots (sans quoi aucun humain ne serait capable de converser). En conversant, un « agent » s’expose à l’autre en révélant sa singularité : tant qu’il ne se contente pas de répéter des idées reçues ou des clichés, il s’exprime à partir de sa mémoire, de son expérience et de ses désirs toujours singuliers, en interprétant une situation ou un contexte donné. Les conversations les plus intéressantes sont souvent les plus inattendues et les plus improbables, celles durant lesquelles l’agent se surprend lui-même à travers les questions qu’il pose ou à travers les réponses qu’il propose – la conversation se fait ainsi conversion. Le dialogue ne se réduit pas à un système entrée-sorties ou à un traitement d’informations, mais suppose une transformation mutuelle des participants.

« Plutôt que de se demander si nous devons accompagner ou interdire ChatGPT, il s’agirait alors de s’interroger sur les dispositifs numériques au service de l’intelligence collective et porteurs d’avenir pour les sociétés ».

C’est seulement à cette condition que de « l’intelligence » peut émerger : l’intelligence, comme capacité à se confronter à l’autre, à se mettre en question et à produire de la nouveauté, n’est pas plus attribuable à un agent isolé qu’à une machine déterminée, à moins de la confondre avec le quotient intellectuel ou avec le calcul automatisé. Loin de désigner une capacité individuelle (propriété cognitive attribuée à l’humain ou propriété algorithmique attribuée à la machine), l’intelligence désigne avant tout une forme de socialité — « être en bonne intelligence » signifie partager une sorte d’entente, de complicité ou de connivence (sur la base de laquelle des désaccords et des discussions peuvent bien sûr émerger). Plutôt que d’intelligences artificielles ou d’agents conversationnels, il faudrait donc parler d’automates computationnels pour désigner les modèles de langage du type de GPT.

D’apparence anodine, ce changement de vocabulaire permettrait peut-être d’éviter les fantasmes transhumanistes de Singularité Technologique, selon lesquels la croissance technologique conduirait à une superintelligence artificielle qui viendrait se substituer aux intelligences humaines. Jamais les calculs statistiques des algorithmes ne pourront remplacer les activités interprétatives de l’esprit, incarnées dans des corps vivants et désirants. En revanche, ce sont bien les singularités expressives qui sont menacées par ces industries linguistiques, dont le fonctionnement renforce les moyennes et les banalités, exploite les productions textuelles existantes sans les renouveler, tout en risquant de court-circuiter les capacités de mémorisation, de synthèse et de pensée.

De Wikipédia à ChatGPT : de l’intelligence collective au calcul automatisé

Rien d’étonnant, dès lors, à ce que les textes générés par ChatGPT ne soient pas dignes de confiance ou de fiabilité : contrairement aux articles collectivement produits sur une plateforme comme Wikipédia, ils n’ont été ni évalués ni certifiés par les pairs, et ils n’ont pas fait l’objet de débats argumentés. Il faut en effet distinguer un dispositif comme Wikipédia et un dispositif comme ChatGPT : les deux outils symbolisent deux visions antithétiques du Web, la première fondée sur l’ouverture et l’intelligence collective, et la seconde sur l’extractivisme et le calcul automatisé.

Wikipédia fonctionne sur la base de contributions humaines, à travers lesquelles les individus partagent leurs savoirs, exercent leur jugement et délibèrent collectivement, sur la base de règles transparentes et accessibles à la communauté, qui constituent ainsi des groupes de pairs ouverts, produisant un commun numérique au service de l’humanité. ChatGPT, au contraire, appartient à une entreprise privée et ne donne pas accès à ses normes de fonctionnement interne à ses usagers : ceux-ci sont d’ailleurs réduits au statut de consommateurs passifs, pouvant saisir des entrées et recevoir des sorties, mais sans possibilité de compréhension ni pouvoir d’action sur les mécanismes régissant le dispositif.

Dès lors, contrairement aux articles contributivement élaborés sur Wikipédia, les textes automatiquement générés par ChatGPT ne constituent pas des savoirs collectifs, mais des informations statistiquement glanées sur Internet dans une logique extractiviste. Sans compter la répétition virale des fausses informations dominantes ou la génération automatique de références scientifiques inexistantes, ces technologies présentent aussi le risque de dissimuler des erreurs aberrantes au milieu d’un texte vraisemblable et correct, erreurs que seuls les spécialistes du domaine pourront repérer, mais que les autres utilisateurs ne pourront pas distinguer.

Que se passera-t-il quand ces textes automatiques (qui peuvent être générés en quantité massive et à une vitesse inouïe) seront devenus dominants sur les réseaux numériques ? Sera-t-il encore possible de faire crédit à nos lectures en ligne ? Que se passera-t-il si les moteurs de recherches nous fournissent des réponses générées de manière automatique ? Sera-t-il encore possible d’accéder à la diversité des sources disponibles ? Le Web pourra-t-il devenir l’espace de partage des savoirs qu’il avait vocation à constituer si la diversité des points de vue n’est plus représentée et si les publications font l’objet d’un discrédit généralisé ?

Dès lors, ne serait-il pas nécessaire de s’interroger sur des dispositifs numériques alternatifs, mettant les algorithmes au service des activités d’interprétations, de jugements et de réflexion ? Qu’il s’agisse d’encyclopédies contributives, de logiciels d’annotations ou de plateformes collaboratives pour l’évaluation et la recommandation de contenu, de tels dispositifs existent, mais font rarement l’objet d’une promotion médiatique ou d’un soutien économique. Ils mériteraient pourtant d’être mis au cœur du débat public, si l’on ne souhaite pas constater dans quelques années les dégâts engendrés par la généralisation des technologies du type de ChatGPT, comme on constate aujourd’hui la nocivité des réseaux (anti-)sociaux, dont certains des créateurs se sont d’ailleurs repentis. Plutôt que de se demander si nous devons accompagner ou interdire ChatGPT, il s’agirait alors de s’interroger sur les dispositifs numériques au service de l’intelligence collective et porteurs d’avenir pour les sociétés.

Derrière leur aspect ludique et magique, les innovations disruptives promues par les entreprises de la Silicon Valley apportent aussi leur lot de dangers : déployée à une échelle massive et à une vitesse extrême, sans concertation avec les citoyens, les chercheurs ou les représentants politiques, ces dispositifs ne peuvent faire l’objet d’une appropriation collective, cultivée et critique. Pour qu’une telle appropriation devienne possible, ces nouveaux objets industriels, actuellement fermés et privatisés, devraient devenir des communs numériques ouverts et partagés. Ils devraient aussi constituer des objets de recherche transdisciplinaire et de débats publics, et non des sources de fantasmes idéologiques au service du marketing stratégique des géants du numérique.

La « révolution » numérique est profondément conservatrice

Photo @Sigmund

À chaque nouveau tour de vis numérique, ce sont les structures (sociales, économiques) du présent que l’on verrouille un peu plus. Ne sommes-nous pas en train d’assister à une révolution numérique conservatrice, impactant nos modes de vie, de pensée, voire nos modes de régulation sociale, au profit d’une gouvernance algorithmique dangereuse pour les libertés publiques et la démocratie ? L’urgence de développer des points de vue critiques sur ces transformations s’impose tous les jours un peu plus. Par Matthieu Belbèze.

Comment une photo de femme en bikini s’est-elle retrouvée classée dans la catégorie « souillon » par un algorithme de reconnaissance visuelle ? Comment le portrait d’un enfant portant des lunettes de soleil lui a-t-il valu de se voir affublé du qualificatif de « loser » ? Ce sont les résultats obtenus il y a quatre ans par Kate Crawford, chercheuse et professeure dans le domaine de l’intelligence artificielle, et Trevor Paglen, artiste, géographe et photographe. Ensemble, ils se sont intéressés à l’histoire de la reconnaissance d’images par des systèmes automatiques et des algorithmes.

Leur but : comprendre comment ces systèmes, à qui l’on accorde une confiance de plus en plus aveugle, sont entraînés à « voir » et « catégoriser » le monde. Le projet « Training Humans » a depuis été largement documenté. Sa conclusion : « il n’existe à ce jour aucune méthode « neutre », « naturelle » ou « apolitique » d’entraîner une intelligence artificielle ». La tendance systématique à collecter, catégoriser, qualifier des données soulève des questions cruciales. Qui décide de ce que ces images signifient ? Qui définit les catégories ? Quelles représentations sociales se retrouvent inévitablement embarquées dans un tel travail ?

Pour Kate Crawford et Trevor Paglen, vouloir s’affranchir des biais embarqués dans la création d’un modèle mathématique est une entreprise impossible. Les tentatives d’IBM pour « mathématiser la représentativité » leur semblent vaines et particulièrement alambiquées. En effet, utiliser un algorithme qui pondère les choix faits par des opérateurs humains pour entraîner un autre algorithme de reconnaissance visuelle par une méthode à mi-chemin entre poupée russe et Turc mécanique produit très souvent des résultats fragiles et dangereux d’un point de vue normatif. Cette pratique est symptomatique d’une course en avant qui semble à chaque étape amplifier un peu plus les erreurs du passé.

Les algorithmes, arme de reproduction massive

Après tout, comme l’écrit Marianne Bellotti, développeuse autodidacte et anthropologue passée notamment par le Département américain du numérique : « les gens ne prennent pas de meilleures décisions avec plus de données, alors pourquoi penser qu’il en serait différemment pour une intelligence artificielle ? ».

Comme Sisyphe, condamné par les dieux à remonter chaque matin un énorme rocher le long d’une pente raide avant qu’il ne la dégringole à nouveau chaque soir, les spécialistes passent 80% de leur temps à nettoyer les jeux de données dont ils disposent. Dans l’espoir que de « meilleures informations » permettent – enfin – d’obtenir de meilleurs résultats.

Sisyphe peint par Titian, exposé au Musée du Prado à Madrid
Le data scientist moderne, une allégorie – Sisyphe peint par Titian, exposé au Musée
du Prado à Madrid

Or la rationalité dont nous entendons charger les systèmes informatiques que nous créons n’existe pas. En contexte réel, les décisions publiques, politiques, économiques, sont prises non pas dans un souci de précision et d’exactitude – mais de façon à minimiser l’effort requis. Marianne Bellotti encore : « la compréhension totale d’une situation est moins désirable que des outils permettant de prendre une décision plus rapide ». Une décision sera donc toujours le résultat d’une négociation entre les différents acteurs impliqués, compte tenu de leurs enjeux et de leur environnement. Un processus qu’aucun échantillonnage parfait de données (si tant est qu’il existe) ne pourra jamais contraindre.

Les développements technologiques de l’intelligence artificielle (IA) seront toujours soumis aux biais et aux impératifs (personnels, financiers, mentaux) de celles et ceux qui les contrôlent. Une direction très largement héritée du passé – et qui explique sans doute que les systèmes de reconnaissance faciale vendus par Microsoft, IBM ou par le géant chinois Megvii se montrent particulièrement défectueux face à des femmes noires, alors qu’ils présentent de meilleurs résultats face à des hommes blancs… Mireille Hildebrandt, juriste et philosophe néerlandaise spécialiste des sciences informatiques, met derrière l’acronyme d’IA (Intelligence Artificielle) le concept particulièrement juste d’« Inférence Automatisée ». Ce qu’on nous présente comme une révolution n’est qu’une prolongation de systèmes de pensée déjà en place.

Gender Shades Project
Données du Gender Shades project qui souligne les biais des algorithmes développés par les plus grandes entreprises – ici leur incapacité à être efficaces sur des visages de femmes noires

La numérisation du travail : nouveaux ingrédients, vieilles recettes

Une consolidation des structures existantes qui se retrouve largement dans le monde du travail. À commencer par la façon même dont les outils numériques de « productivité » sont codés. Le logiciel de visioconférence Zoom, qui a su tirer son épingle du jeu durant la pandémie en passant de 10 millions d’utilisateurs quotidiens à plus de 300 millions en quelques mois en est l’illustration parfaite. Hubert Guillaud, journaliste et infatigable arpenteur d’internet interviewé par Xavier de La Porte explique comment certaines fonctionnalités du logiciels ne sont accessibles qu’à l’organisateur de la réunion en ligne. L’« host » peut ainsi couper le micro d’un participant, autoriser ou interdire le partage d’écran, voire éjecter purement et simplement un utilisateur d’une réunion.

Revoilà le pouvoir hiérarchique du passé codé « en dur » dans les fonctionnalités de l’outil du futur. La collaboration horizontale née du confinement, qui devait mettre tout le monde sur un pied d’égalité, a fait long feu. Dans un fameux article paru en 2000 (Le code fait loi – De la liberté dans le cyberespace), le professeur de droit à Harvard et activiste Lawrence Lessig attirait déjà l’attention sur ce nouveau pouvoir qui émergeait, loin des yeux du grand public ou des instances représentatives. Car l’entreprise privée qui code un outil utilisé par des centaines de millions de personne contrôle pleinement ce qu’ils ou elles y feront – ou ne pourront pas y faire. « Code is law ».

« Le conservatisme, c’est estimer qu’il y a un groupe de personnes qui doit être protégé mais pas contraint, et qu’un autre doit être contraint mais pas protégé ». Les mots sont d’un commentateur de forum dont on ne connaît que le nom, Frank Wilhoit, mais ils sonnent terriblement juste : il faut donc qu’en renforçant les gagnants habituels, la technologie affaiblisse aussi les perdants usuels. Dans le monde du travail, l’irruption (la « disruption » ?) de la robotique, censée remplacer les emplois les moins qualifiés, n’a pas eu lieu (SoftBank, le géant japonais, vient de renoncer à la production de ses robots Pepper, destiné à prendre soin des populations vieillissantes). Mais elle a servi d’épouvantail à beaucoup d’entreprises, Amazon en tête, pour faire accepter son ersatz : le contrôle informatisé et constant des employés.

The Constant Boss, Labor Under Digital Surveillance - un rapport d’‌Aiha Nguyen, Institut Data & Society ; illustration Yichi Liu
The Constant Boss, Labor Under Digital Surveillance – un rapport d’‌Aiha Nguyen, Institut Data & Society ; illustration Yichi Liu

C’est ce que Callum Cant, journaliste, écrivain, auteur notamment de « Riding for Deliveroo » appelle le « management algorithmique ». Amazon, Uber, ont transformé le travail en une succession de micro-instructions mesurées, limitées dans le temps, qui retirent à l’employé toute autonomie et toute compréhension de ce qui est à l’œuvre. Il compare cette situation à celle du Détroit des années 50 et 60, où les ouvriers des lignes d’assemblage automobiles avaient la liberté pendant leur pause d’aller se promener dans les usines pour voir se dérouler sous leurs yeux l’ensemble de la chaîne de production. Une clarté qui paraît totalement inaccessible aujourd’hui.

Cette stratégie de contrôle vient de loin, et est tout sauf innovante. L’« organisation scientifique du travail » prônée par l’ingénieur américain Frederick Winslow Taylor au début du XXe siècle a donné le taylorisme, puis le fordisme. L’employé étant embauché pour sa force de travail potentielle, comment faire pour que ce potentiel soit utilisé à plein, tout le temps ? Autrement dit, pour en prendre le contrôle ? Pendant longtemps, l’ouvrier était celui qui connaissait le mieux son travail, une connaissance qui échappait à son employeur et qui lui permettait donc de garder la main sur son « potentiel » et sur son effort. Taylor entreprit d’étudier le travail, d’inverser la connaissance pour la mettre entre les mains de ceux qui l’organisent. De découper et de chronométrer les tâches pour en éliminer toute marge, latence, autonomie.

Du taylorisme à l’« amazonification » du travail, l’hérédité est flagrante. Dans les entrepôts de Jeff Bezos, votre « temps hors tâche » (« Time Off Task » ou « TOT ») est précisément mesuré, et un jeu vidéo maison appelé « Mission Racer » invite les employés à rentrer en compétition les uns avec les autres pour aller plus vite …

Les rentiers numériques

Au sommet de la pyramide conservatrice trônent celles et ceux « qui doivent être protégés mais pas contraints ». On a écrit ailleurs comment l’innovation, censée, dans la théorie économique du marché, bousculer les acteurs en place, avait dans les faits perdu son pouvoir de « briseuse de rente » pour la raison que les grandes entreprises innovent trop vite et ralentissent volontairement la diffusion technologique, disposent de données et de capitaux massifs qui les rendent impossibles à rattraper. En outre, Amazon, Apple, Facebook et Google consolident ainsi leur métier initial tout en avalant à un rythme effréné les acteurs des secteurs qu’ils convoitent. Le résultat ? Des monstres hybrides, qui ont fini par attirer l’attention de certains parlementaires américains, inquiets de leurs « conflits d’intérêts » et de l’« auto-promotion de leurs services. »

How Big Tech got so big, infographie du Washington Post qui liste toutes les acquisitions d’Amazon, Apple, Facebook et Google
How Big Tech got so big, extrait d’une infographie du Washington Post qui liste toutes les acquisitions d’Amazon, Apple, Facebook et Google

Kean Birch et D.T. Cochrane, professeur et chercheur au sein de l’université de York au Canada, parlent de la formation d’« écosystèmes » entiers dont la survie et la croissance reposent non plus sur la capacité à innover, mais sur la construction expertes de rentes qu’ils classent en quatre catégories :

Rentes d’enclaves
La majeure partie de ces écosystèmes est fermée, alors qu’ils sont devenus des passages obligés. Il est alors nécessaire pour cela de payer Apple pour diffuser des application aux détenteurs d’iPhones, ou accepter de partager les données d’utilisateurs pour proposer un service sur le casque de réalité virtuelle Oculus de Facebook.

Rentes liées aux anticipations positives des marchés
Grosses et particulièrement rentables, ces entreprises peuvent emprunter à bas prix sur les marchés financiers, ce qui leur permet de financer leur croissance et leurs achats externes tout en renforçant les anticipations positives… et ainsi de suite.

Rente d’engagement
Par l’ancienneté et la multiplicité de leurs points de contact (appareils connectés, logiciels professionnels, de santé, de musique…) les grands acteurs technologiques ont construit et continuent à élaborer en temps réel une connaissance sans égale des populations. Ce qui leur permet de vendre l’accès à des segments très fins, ou au contraire de développer eux-mêmes de nouveaux services sur des besoins qu’ils sont les seuls à anticiper.

Rente de réflexivité
Les auteurs désignent ainsi ce que nous évoquions plus haut (« code is law »), à savoir que ces entreprises, opérant hors de tout contrôle externe, peuvent établir voire tordre les règles du jeu à l’intérieur de leur propre écosystème. Facebook a ainsi longtemps menti sur la portée réelle de ses publicités auprès de ses clients, et Amazon a modifié les algorithmes de recherche sur sa plate-forme pour avantager ses propres produits.

Renverser le rapport de force

Algorithmes qui perpétuent les biais sociétaux à grande échelle, monde du travail plus hiérarchisé que jamais grâce au taylorisme numérique, géants technologiques qui construisent à grande vitesse des rentes indéboulonnables…

Le changement technologique est une bonne excuse pour ne rien changer du tout.

Nous voilà de plus en plus proches des visions techno-futuristes cauchemardesques de William Gibson, auteur notamment de Neuromancien et père du Cyberpunk. Un genre littéraire, cinématographique, visuel, qui dépeint une humanité qui s’est largement abandonnée à la technologie dans les moindres recoins de sa vie et même de ses corps (via des prothèses, ou des « augmentations » diverses et variées). Des mondes aussi très stratifiés, où l’écart entre « ceux d’en haut » (rappelez-vous, qu’il faut protéger sans contraindre) et ceux d’en bas est définitivement impossible à combler et assumé comme tel. Des mondes enfin où les grandes entreprises privées sont les nouvelles puissances politiques et régulatrices de nos vies. Or William Gibson le dit lui-même : « le changement technologique est une bonne excuse pour ne rien changer du tout ».

Logo d’Evil Corp dans la série télévisée Mr. Robot, décrite par son créateur Sam Esmail comme une tentative « d’amener le cyberpunk à la télévision
Logo d’Evil Corp dans la série télévisée Mr. Robot décrite par son créateur Sam Esmail comme une tentative « d’amener le cyberpunk à la télévision – un logo très proche de celui d’Enron, entreprise un temps la plus prisée de Wall Street avant de s’effondrer en 2001

En temps de crise, il est tentant et (trop) humain de se raccrocher au passé, pour le faire vivre dans tout ce qu’il a de rassurant. Mais, écrit Eva Illouz, sociologue franco-israélienne, « vouloir illuminer le présent par le passé revient à chercher un objet perdu sous un lampadaire parce que c’est le seul endroit où il y a de la lumière ». L’usage actuel de la technologie s’assure de l’ordre (préserver celui en place) plutôt que de la justice (rééquilibrer les rapports), pour paraphraser une interview récente de l’acteur et réalisateur Jean-Pierre Darroussin.

Sous couvert de marche en avant progressiste, le néo-libéralisme technologique nous conduit tout droit à une mise en stase qui figerait la société actuelle. On peut alors, avec la philosophe Barbara Stiegler, faire appel à la grande figure du pragmatisme américain John Dewey. Rejetant « une adaptation passive des masses à l’environnement dégradé créé par la révolution industrielle, Dewey n’a cessé de lui opposer ce qu’il pensait être le véritable sens de la révolution darwinienne : le fait que les êtres vivants s’étaient toujours adaptés en modifiant activement leurs environnements ».

Plutôt que de figer les structures du passé, il faudrait par le travail expérimental de l’intelligence collective, multiplier les initiatives démocratiques, inventer « par le bas » un autre avenir commun. Un mouvement qui germe ça et là dans le développement technologique : défense du « design participatif », de la transparence, ou encore réappropriation des savoirs et des données face à la confiscation et l’asymétrie de l’information auxquelles nous soumettent les grands acteurs technologiques.

Reconnaissance faciale, un remède miracle ?

© Gerd Altmann

Depuis quelques temps déjà, un débat autour de la reconnaissance faciale s’érige auprès des sphères politico-industrielles ainsi qu’au sein des organisations de défense des libertés, un développement technologique qui fascine autant qu’il inquiète. Vendue par ses promoteurs comme la solution miracle aux problèmes sécuritaires, la reconnaissance faciale est une véritable marotte contemporaine.


Confortablement installées sur un marché mondial qui se compte en plusieurs milliards de dollars, bon nombre d’entreprises ont fait le choix audacieux depuis maintenant quelques années d’investir le domaine de la reconnaissance faciale. Les principaux acteurs de cette industrie sont clairement identifiés et se nomment ASSA ABLOY AB, Aware Inc, Cognitec Systems GmbH, IDEMIA France SAS, NEC Corp, Safran SA, ou encore Thales Group. Ces compagnies plus ou moins spécialisées dans le domaine ne sont pas seules à se partager le gâteau : les GAFAM sont aussi dans la course, la reconnaissance faciale représentant un support et un outil indispensable de leur développement commercial. À ce sujet, Facebook annonçait dès 2014 le lancement du programme « DeepFace », capable de déterminer si deux visages photographiés appartenaient à la même personne. En 2015, Google lançait « FaceNet » et Amazon à peine deux ans plus tard lui emboîtait le pas et dévoilait « Rekognition », un service de reconnaissance basé sur son cloud et dont la firme de Jeff Bezos faisait activement la promotion auprès des forces de l’ordre américaines. Le géant annonçait au passage pouvoir distinguer jusqu’à 100 visages sur une seule image. L’identification était ensuite suivie d’une comparaison avec une base de données et permettait d’isoler les expressions et humeurs des individus.

Une offre commerciale en pleine expansion et qui selon les dernières estimations, devrait durant les quatre prochaines années croître de 3,35 milliard de dollars. Cette réussite s’explique notamment par la multiplication des applications et l’allongement de la liste des clients potentiels. Avec une technologie située au croisement de l’algorithmie, de l’intelligence artificielle et affichant des taux de correspondance avoisinant les 95% voire 99,63% pour l’outil Google sur le test de référence « Labeled Faces in the Wild » – un record en la matière – les plateformes ont une carte de visite flamboyante. Une prouesse qui s’explique également par la puissance que peut développer de tels agrégateurs de données passés experts dans l’art de la récolte et du traitement. En somme, plus l’intelligence artificielle consomme d’information, plus les modèles s’affinent et plus la précision augmente. Ces effets d’annonce couplés à un marketing et une rhétorique bien rodés suscitent l’intérêt à la fois à l’échelle des collectivités locales, des mairies mais aussi des États, seuls capables de déployer à grande échelle de tels dispositifs.

Un intérêt français

Depuis juin 2019, le gouvernement français a lancé ALICEM (Authentification en ligne certifiée mobile) en phase de test. Derrière cet acronyme se cache en réalité une application smartphone mis en place par le ministère de l’Intérieur, l’Agence Nationale des Titres Sécurisés (ANTS) et la société Gemalto. L’idée est de pouvoir à l’aide de son téléphone et d’une pièce d’identité, être à même de s’identifier pour accéder au portail administratif en ligne. Une application mise en avant par la communication gouvernementale pour son apport non-négligeable en terme d’ergonomie et de sécurité. Cette première européenne mise en place par décret, soulève pourtant quelques inquiétudes de la part des associations des défenses des droits et libertés sur internet.

La Quadrature du Net, plus réactive que la CNIL (Commission Nationale de l’Informatique et des Libertés), avait attaqué cette décision dès le mois de juillet 2019. L’association dénonçait un véritable passage en force de la part du gouvernement Macron en rappelant que « À l’heure où les expérimentations de reconnaissance faciale se multiplient sans qu’aucune analyse ne soit réalisée sur les conséquences d’un tel dispositif pour notre société et nos libertés […] le gouvernement français cherche au contraire à l’imposer à tous les citoyens via des outils d’identification numérique ». En effet, mû par un pragmatisme à toute épreuve, le gouvernement, au travers de son secrétaire d’État au Numérique Cédric O, semble imperturbable.

La technologie vient rendre possible une automatisation et une interconnexion sans précédent.

Si ALICEM confère au dispositif des airs de jouet technologique superficiel et inoffensif, les réflexions se doivent d’anticiper les problématiques et d’étendre le débat sur un spectre élargit. La généralisation et l’acception de ces outils ne doivent pas faire oublier le reste de la machinerie et l’interaction de ses rouages. FPR (Fichier des Personnes Recherchées), TES (Titres Électroniques Sécurisés) ou encore le célèbre fichier TAJ (Traitement des Antécédents Judiciaires) qui répertorie les personnes visées par une enquête (qu’elles soient coupables, suspectes ou victimes) sont des éléments importants à considérer. Le fichier TAJ constitue une base de données d’environ 18,9 millions de personnes, 8 millions de photos et représente 6 téraoctets de données. Au-delà des critiques courantes d’une utilisation abusive, de doublon, de stockage ou encore d’exploitabilité des données, on comprend alors mieux l’attrait et l’enjeu pour les institutions de pouvoir exploiter de telles bases de données à travers l’intelligence artificielle. La technique mise au service de l’ordre permettrait « en direct » d’interroger ces bases à des fins d’identification et de comparaison des individus « potentiellement » dangereux. Si ces bases de données existaient déjà, c’est bien leur entrecroisement en « temps réel » couplé à la reconnaissance faciale qui confère une nouvelle dimension au dispositif.

L’État français est en première ligne dans ce domaine avec premièrement VOIE (Vidéo ouverte et intégrée) qui associe des industriels (Thales, Morpho et Deveryware), des transporteurs (SNCF, RATP) et la préfecture de police de Paris. Ce nouveau projet financé par la Banque publique d’investissement a pour objectif le suivi d’individus et l’analyse vidéo dans le cadre de réquisitions judiciaires. Un second projet dédié cette fois à la « gestion des foules » nommé S2ucre2 (Safety and Security of Urban Crowded Environments) mené conjointement avec l’Allemagne a vu le jour en 2017 et devrait s’achever en octobre 2020. Selon la communication officielle, l’expérimentation repose sur « de l’analyse vidéo avec des méthodes de simulation ». Outre la surveillance d’une foule, l’objectif est de prédire les comportements à court terme, de repérer des comportements suspects, détecter et géo-localiser des auteurs d’infraction et repérer les équipes de sécurité. Là encore les industriels cités en début d’article sont impliqués, avec en tête Idemia (ex Safran), ITlink et Deveryware le tout en partenariat avec la préfecture de police de Paris et le monde universitaire. En Europe, S2ucre fut déployé grandeur nature lors de deux expérimentations officielles, le festival du port de Hambourg (1,5 millions de visiteurs) et la démonstration du 1er mai à Paris (12 000 manifestants).

Domaines technologiques du projet S2ucre
Domaines technologiques du projet S2ucre. Source S2ucre.eu

Selon le site spécialisé Next Impact, le projet aurait tenté de contourner les barrières réglementaires françaises afin de mener davantage de tests. Les autorités auraient pour ce faire, passé un « accord » avec Singapour (la loi européenne RGPD limite fortement ce genre d’expérimentations de grande amplitude du fait de la demande le consentement systématique des participants). Une chose est sûre le partenariat numérique entre la France et la cité État est doté d’un cadre clairement délimité : « Les deux parties souhaitent approfondir le dialogue et le partage de bonnes pratiques en matière de e-government, et s’engagent à utiliser les données et les services numériques pour transformer les services apportés aux citoyens et aux entreprises. La transformation numérique de l’administration pourra être un domaine privilégié d’échanges dans le cadre de ce nouveau partenariat». Une relation diplomatique qui interroge une nouvelle fois quand on sait ce que représente le modèle singapourien en matière de vidéo surveillance labellisé safe-city. Des projets qui continuent d’alimenter une rhétorique de la peur et trouvent inlassablement un écho certain en période électoral ou bien souvent les sujets sécuritaires ont le vent en poupe faisant en partie le succès actuel du marché de la reconnaissance faciale.

Nice, la safe city à la française

En France, Christian Estrosi le maire Républicain de la ville de Nice fait figure de pionner de la promotion de la reconnaissance faciale, convaincu des bienfaits du procédé. Véritable ville laboratoire, Nice est le lieu d’expérimentations et de nombreux partenariats en la matière. En décembre 2018, était adoptée par le conseil régional de la région Provence-Alpes-Côte d’Azur (PACA) une délibération autorisant l’expérimentation de portiques de reconnaissance faciale (portée par l’américain Cisco) dans deux lycées afin de « maîtriser les entrées et sorties » des élèves. Inconcevable pour la CNIL qui avait mis son veto entre temps. Depuis, la mairie ne semble pas avoir dit son dernier mot et veut asseoir son rôle de leader sur ces sujets. Le carnaval niçois de 2019 constitue en cela une date clef dans l’agenda. Bien que vivement critiqué, Christian Estrosi salue la réussite du projet. Selon la mairie, l’expérimentation a rencontré un franc succès notamment auprès des agents de police municipale. Ces derniers se disent “largement favorables à l’utilisation de ce type de technologie qui leur permettrait d’améliorer considérablement leur capacité d’anticipation, de détection et d’intervention”.

Thales, le principal acteur du projet, ne tarit pas non plus d’éloges à propos de ce tropisme sécuritaire « la ville de Nice sera très prochainement considérée comme l’une des premières SAFE-CITY d’Europe, toujours aussi agréable à vivre pour ses habitants, mieux protégée, plus résiliente et plus attractive ». Sur la plaquette de communication, on constate justement une modification du vocable. La « télé-surveillance » devient dans la bouche de l’industriel « télé-protection ». Un détail presque anodin, mais qui en dit long sur le discours mis en place pour forcer l’acceptation auprès des populations. Ces dernières sont au final bien souvent prises au dépourvu tout comme les autorités de contrôle telles la CNIL qui peine une nouvelle fois dans son rôle de régulateur en l’absence notamment de moyens conséquents. Un besoin de cadre qui émane également du maire de Nice, qui fait lui aussi savoir son souhait d’un nouvel appareil juridique adapté. Un vide qui permet pour le moment une certaine latitude auquel l’État français voudrait remédier dans les prochains mois. En attendant, et comme le rappelait très justement Félix Tréguer au Monde Diplomatique dans un article de juin 2019, ce type d’expérimentation devrait être considéré comme illégal au regard de la jurisprudence de la Cour européenne des droits de l’homme.

La région PACA semble être à la pointe sur le sujet : Marseille et son projet de “vidéoprotection urbaine” (VPU) prends une tournure comparable au projet niçois. Plus récemment, Valérie Pécresse, présidente de la région Île-de-France, plaide quant à elle pour la reconnaissance faciale dans les transports. Des idées qui étonnamment ne semblent pas être l’apanage de la droite puisque la marie écologique de Nantes a pour projet l’augmentation de 40% du nombre de caméras de surveillance dans les transports. Comme pour la solution marseillaise, on ne parle pas encore de reconnaissance faciale en “temps réel” mais là encore, un verrou psychologique semble sur le point de lâcher. Autant dire que les élus semblent avoir adopté la rhétorique huilée des industriels. Les propositions vont donc aller bon train dans les prochains mois. Une aubaine pour les carnets de commandes.

Partenariat public-privé

La précédente énumération démontre également la prépondérance de certains acteurs. Thales est pour ainsi dire un des mastodontes en la matière, encouragé par l’État lui-même, qui en détient un tiers des parts. La démarche n’est pas anodine et fait suite à une volonté de souveraineté numérique toujours plus affirmée de la part des nations. Les concurrences chinoise et américaine restent féroces et poussent la France à soutenir ces projets sous l’égide de la recherche et du développement.

Preuve de sa bonne santé, l’entreprise tricolore vient d’acquérir Gemalto, société d’ingénierie bien connue du milieu et qui était entre autre responsable du développement d’ALICEM. Un objectif donnant-donnant et une politique des vases communicants entre État et industriel à peine dissimulée. Cédric O en est d’ailleurs l’exemple parfait, lui qui est « chargé de mission » pour le groupe Safran entre 2014 et 2017 comme en atteste sa déclaration. Même si l’actuel secrétaire n’a apparemment pas évolué dans la branche sécurité du groupe, il est intéressant de noter que ce dernier développe depuis quelques années une nouvelle solution « de reconnaissance faciale et de vérification d’identité » baptisée MorphoFACE, aujourd’hui passée sous la houlette d’Idemia, acteur majeur du projet S2ucre.

Il s’agit de ne pas rater le train de l’innovation. Le sociologue Dominique Boullier en 1985 évoquait le concept de « la tyrannie du retard ». Le récent discours d’Emmanuel Macron, opposant 5G et le modèle Amish, reste symptomatique de cette vision du monde. Renaud Vedel, en charge de la prospective numérique au ministère de l’Intérieur, lui emboîte le pas au dernier congrès Technopolice : « Il faut accepter de trouver un équilibre entre des usages régaliens et des mesures protectrices pour nos libertés. Car sinon, la technologie sera mûrie à l’étranger et nos industriels, pourtant leaders mondiaux, perdront cette course ». Dans la même veine, un colonel déclare sur une note récente de l’École des officiers de la gendarmerie nationale (CREOGN) : « Sous réserve d’algorithmes exempts de biais, elle pourrait mettre fin à des années de polémiques sur le contrôle au faciès puisque le contrôle d’identité serait permanent et général ». Une phrase également relevé par Olivier Tesquet, journaliste à Telerama et auteur d’À La Trace, enquête sur les nouveaux territoires de la surveillance, dans un papier récent sur le même sujet.

On conçoit bien sûr que dans un cadre globalisé, où domine sans partage la loi du libre-échange, un retard pris par la France pénaliserait lourdement son économie. Mais plutôt que de questionner ce cadre globalisé et libre-échangiste, le gouvernement n’envisage d’autre horizon, pour la France, que l’adaptation à ses réquisits.

Neutralité des algorithmes ?

« L’algorithmie exempt de biais » : tel est le rêve des industriels du numérique. On gagnerait pourtant à ne pas oublier que les algorithmes, loin d’échapper à la subjectivité humaine, la reflète. On ne compte plus le nombre de retours d’expérience mettant en avant les biais racistes ou sexistes des algorithmes. En 2016, ProPublica menait justement une enquête sur la discrimination des personnes de couleur noire. Nouvel exemple avec l’outil de recrutement d’Amazon défavorable aux femmes. La CNIL, dans une note datant de novembre 2019, précisait “même si des travaux, et notamment l’auto-configuration des algorithmes, peuvent être mis en œuvre pour réduire ces biais, la nature même du traitement biométrique, quel que soit le degré de maturité de la technologie, implique que des biais continueront nécessairement d’être observés ».

Malgré ces remarques, cela n’a pas empêché la majorité d’inclure la reconnaissance faciale dans la première version du projet de loi vers une sécurité globale. Ce volet a depuis disparu du texte publié le 20 octobre, motivé par la crainte de voir le texte vidé de sa substance par un Conseil constitutionnel qui avait déjà sévi quelques mois plus tôt sur la loi Avia (propos haineux en ligne) et la loi de sûreté contre les ex-détenus terroristes. Rien n’est joué cependant, puisque le texte pourra être amandé abondamment en séance parlementaire. Un retour en force qui pourrait coïncider avec les grands évènements à venir comme les Jeux olympiques en 2024.

Du côté de la société civile, l’actualité récente a vu émerger de nouvelles initiatives pour dénoncer et sensibiliser sur ces sujets. La récente exposition sauvage dans les rues de Paris par l’artiste italien Paolo Cirio a fait grand bruit. Ce dernier a affiché pas moins de 4000 portraits de policiers pour sensibiliser aux dérives de tels dispositifs. L’action a le mérite de retourner le miroir vers nos institutions. Une initiative à laquelle la préfecture de police a très mal réagi. Comme le précise l’artiste : “l’absence de réglementation sur la protection de la vie privée de cette technologie se retourne finalement contre les mêmes autorités qui en recommandent l’utilisation ». Le sujet risque en tout cas de continuer à faire débat dans les prochains mois, la proposition de loi « sécurité globale » ayant pour ambition d’empêcher la diffusion des visages des fonctionnaires de police afin de ne pas porter atteinte à leur intégrité physique ou psychique.

Le temps de la réflexion

Gouverner c’est prévoir. Le célèbre adage pourrait alors être adapté en 2020 par « gouverner c’est prédire ». Une perspective prônée par les industriels et dans laquelle semblent se complaire certains dirigeants. Cet agenda escamote la multitude d’interrogations sur le rapport de l’homme à la technologie, de la société à des réseaux qui ne cessent de croître et sur lesquels elle perd tout contrôle.

Il ne s’agit pas ici de fustiger ni de renier en bloc les avancées technologiques, mais plutôt d’esquisser les bases d’un débat public sur ces questions qui engagent le collectif. Les arguments en faveur et en défaveur de la numérisation des questions sécuritaires mériteraient d’être confrontés. En lieu et place de cela, le gouvernement agit sous l’unique pression des industriels du numérique et de contraintes internationales.

Notes :

  1. Olivier Tesquet, À la trace, enquête sur les nouveaux territoires de la surveillance, 2019, premier parelle

 

 

Yaël Benayoun et Irénée Régnauld : « Le progrès technique n’est pas nécessairement synonyme de progrès social »

Technologie partout démocratie nulle part

De la vidéosurveillance à l’automobile, des caisses automatiques à la 5G, chaque choix technologique est un choix de société. Alors que la décision nous échappe, nous en subissons les conséquences de plein fouet. De la smart city sécuritaire à l’ubérisation du travail, des conséquences environnementales à la surveillance diffuse, voilà un certain temps que la marche de l’innovation n’a pas de quoi faire l’unanimité. Comment s’emparer de la trajectoire du progrès, intervenir dans ces décisions technologiques et peser dans ces rapports de force qui décident de notre vie en commun ? Petit précis de techno-critique et de démocratie technique avec Yaël Benayoun et Irénée Régnauld, cofondateurs de l’association le Mouton Numérique et auteurs de Technologies partout, démocratie nulle part, publié chez FYP cet automne 2020. Propos recueillis lors de la présentation du livre à la librairie l’Attrape-Cœurs par Maud Barret Bertelloni.


LVSL – Vous commencez votre livre en vous attaquant à ce lieu commun qui voudrait que les technologies soient un donné à l’égard duquel nous ne pourrions que nous adapter. C’est un motif récurrent : le service public doit se mettre au pas des nouvelles technologies, les citoyens doivent suivre, la compétition mondiale presse… Qu’est-ce que cela a à voir avec notre conception de la technologie ?

Yaël Benayoun et Irénée Régnauld – Le mot technologie historiquement est né pour décrire une science de la technique, comme un regard posé sur les objets techniques et la façon dont on les construit. À certaines époques, la technologie a été enseignée comme une science politique. Il se trouve qu’on est aujourd’hui dans une période où la technologie a acquis la forme d’objet : quand on dit technologie, on pense à un iPhone, à une fusée spatiale… Alors que si l’on repart de l’étymologie : techno+logos, c’est le discours sur la technique. C’est essentiel dans la mesure où la plupart des gens qui font des technologies, qui sont souvent des ingénieurs, prennent ça comme des artefacts absolument neutres, qui ne revêtent aucune dimension politique. Or ce qu’ils font, à titre individuel comme collectif, est de l’ordre du politique.

Tout l’enjeu du début du livre, c’est de revenir sur le discours véhiculé sur la technique que l’on entend beaucoup dans les médias dominants : tous les « la technique est neutre », « ce n’est que l’usage qui compte », « on n’arrête pas le progrès »… Cette notion de progrès est sous l’emprise d’une vision très positiviste de la société, qui part du principe que le progrès technique est nécessairement synonyme de progrès social et que ce progrès est inéluctable et n’est donc pas questionnable. Comme si le développement technologique n’était pas le fait de choix et de stratégies et d’un jeu d’acteurs. Pour prendre un exemple : le réseau de tramways était bien installé aux États-Unis au début du XXe siècle. Les constructeurs d’automobiles ont alors développé des stratégies de rachat massif des compagnies de tramway pour démanteler les réseaux de transport concurrents. L’avenir de la mobilité et des transports aurait pu être différent que le tout automobile américain.

« Pour chaque choix technologique, il y a un rapport de forces et il faut peser sur ce rapport de forces pour l’orienter différemment. »

C’est ce qui passe aujourd’hui avec la « high tech ». Le terme de technologie de « pointe », de high tech est un terme qui introduit une hiérarchie entre ce qui n’est pas « high », à savoir occidental ou chinois, et le reste. Ces technologies occultent toute une série d’autres choix qui auraient pu être faits et qui ne l’ont pas été. C’est valable à la fois au niveau d’une réflexion globale sur la technique dans une civilisation, mais aussi pour n’importe quel objet technique. Pour chaque choix technologique, il y a un rapport de forces et il faut peser sur ce rapport de forces pour l’orienter différemment.

LVSL – Deux chapitres du livre illustrent ce en quoi les technologies constituent des choix de société. Il y a un premier chapitre consacré à la smart city comme politique de la ville sécuritaire ; un autre sur l’automatisation au travail et toutes ces technologies qui réduisent les travailleurs à de simples rouages dans un monde de machines. Mais en quoi les technologies elles-mêmes constituent des choix de société ?

YB et IR Les choix technologiques structurent la société et l’amènent dans une direction précise qui, sans la déterminer totalement, posent des infrastructures et des cadres dans lesquels on va évoluer. L’exemple typique est la 5G : c’est prendre la direction de l’explosion des équipements numériques et de leurs usages, ce qui porte à une augmentation des capteurs, qui mène vers une ultra-numérisation de la société…  Et il y a des acteurs dominants qui, par leurs investissements, par leurs moyens, par leurs efforts de lobbying, orientent massivement les choix de société. Les efforts de l’industrie de l’automobile ont conduit à la société de la voiture et donc à l’étalement urbain. Il en va de même avec l’introduction de certaines technologies qui brisent les collectifs de travail ou de l’introduction de la surveillance qui diminue la propension de chacun à aller manifester. C’est très concret.

LVSL – Revenons sur un exemple dont vous faites mention : s’il y a d’une part le logiciel et toute la technique d’organisation d’une plateforme de livraison comme Uber ou Deliveroo, qui soumettent les travailleurs à des conditions de travail dégradantes et d’exploitation, il y a aussi l’exemple d’une contre-ingénierie : le logiciel des livreurs de CoopCycle, dont les fonctionnalités sont en main aux travailleurs…

YB et IR – Pour remettre un peu de contexte, CoopCycle c’est une coopérative de livreurs créée en réponse au système de Uber, de Frichti, etc. pour fournir une alternative coopérative. Effectivement, ils utilisent aussi une plateforme logicielle pour organiser leur logistique. Mais précisément, ce n’est pas la même application : ils n’ont pas cherché à faire de la food tech, à livrer très rapidement le moins cher possible, mais de réorganiser la livraison sur un mode coopératif.

Dans le livre, nous ne partons pas du principe que toute technologie est mauvaise. Ce n’est juste pas le sujet. Ce qui est intéressant quand on regarde les deux applications de livraison, c’est que dans l’une vous avez les livreurs tracés, surveillés, notés, qui doivent rendre compte de leur temps et aller le plus vite possible, alors que dans l’autre le temps est discuté de manière coopérative. La technologie qui est développée n’a pas les mêmes caractéristiques, car elle incarne alors d’autres valeurs et d’autres objectifs. Notre problématique, au fond, concerne ces choix technologiques faits à différentes strates de la société (la ville, le travail, l’État, etc.) mais surtout les effets de ces choix sur la démocratie.

LVSL – Pour arbitrer entre ces technologies, leurs formes et leurs valeurs, on invoque souvent une approche « éthique » à la technologie : éthique de l’intelligence artificielle, éthique du design, etc. Quel est le problème avec ces approches ?

YB et IR – Il y a eu un retour de bâton à l’égard des technologies ces dix dernières années, notamment depuis l’affaire Snowden, et depuis les tentatives de manipulation électorale comme Cambridge Analytica. Et c’est précisément le moment où l’on voit apparaître un grand nombre de chartes éthiques des entreprises, qui arrivent pour réguler des projets technologiques. Malheureusement, cela n’advient qu’une fois qu’ils ont été créés, sans jamais – ou rarement – repenser la manière dont sont fabriqués les objets, touchant à la rigueur la façon de les déployer à la fin, un peu comme des cases à cocher. Alors, on regarde si l’objet fini est juste, s’il ne discrimine pas, etc. Mais, d’une part, on n’interroge jamais le bien-fondé de l’objet, pour savoir si celui-ci est utile. Et d’autre part, jamais vous ne trouverez mention des chaînes de production technologique dans ces chartes : rien sur les micro-travailleurs ou les travailleurs du clic qui entraînent les intelligences artificielles, rien sur les travailleurs à la chaîne, qui sont une fois de plus invisibilisés sous couvert d’éthique.

Et au même moment où apparaissent ces chartes éthiques, on constate un flétrissement des procédures démocratiques traditionnelles et un certain glissement du droit vers l’éthique. En termes de démocratie, c’est un problème. Un exemple très simple : dans l’État de Washington, aux États-Unis, Microsoft a fait du lobbying pendant des années via un salarié qui était simultanément congressman – pantouflage éhonté, conflit d’intérêts. Il a fait voter une loi qui encadre la reconnaissance faciale dans l’État de Washington, suivant un cadre « éthique », de telle sorte que les systèmes doivent reconnaître aussi bien les personnes noires que les personnes blanches. Pourtant, dans une ville comme Portland, les technologies de reconnaissance faciale ont bien été interdites, tant en ce qui concerne leur usage par les forces de police, que par les commerces. Plutôt que d’interdire, l’éthique a donc permis à Microsoft de plaquer des règles pour éviter les régulations. L’éthique, ce n’est pas contraignant, c’est une profession de foi.

« L’éthique, ce n’est pas contraignant, c’est une profession de foi. »

C’est pour cela qu’on a ironiquement intitulé une section : « Une 5G éthique est-elle possible ? » La 5G est en préparation depuis dix, quinze ans : il y a eu des brevets, des recherches, des investissements chez les opérateurs… Là ça arrive et on fait semblant d’avoir un débat sur quelque chose qui est déjà joué, sans jamais qu’on se soit posé collectivement la question des réseaux du futur. On pose une fois de plus la question à la fin… Et puis on va demander aux consommateurs d’être, eux, éthiques en faisant le bon choix. Mais quand il va en grande surface pour acheter une balance et il n’y a que des balances connectées, on ne peut pas responsabiliser le consommateur en lui demandant de se faire une balance tout seul.

LVSL – Outre cette perspective technocritique, votre livre porte un véritable projet lié à la démocratie technique. Celui-ci comporte plusieurs aspects : réinvestir le champ du progrès, introduire un contrôle démocratique, investir les instances nécessaires à ouvrir un débat de société sur les technologies… Comment les articuler ?

YB et IR – L’idée n’est pas de fournir un programme mais de montrer qu’il y a des initiatives et des projets qui sont déjà là. On n’est pas du tout aussi démunis qu’il n’y paraît. L’avenir technologique tel qu’on nous le vend n’est pas inéluctable. Toute une partie du livre recense justement tout un ensemble de luttes, des ingénieurs à la société civile, tous ces mouvements qui ont donné lieu à une première réponse : les entreprises font de « l’éthique » aujourd’hui parce qu’elles ont du mal à recruter ; le RGPD n’aurait pas eu lieu sans l’affaire Snowden.

La logique du projet est simple : pour chaque choix technologique, il y a des stratégies d’acteurs, la majorité de ces choix se font sur le long terme, à huis clos, avec des industriels et des politiques qui malgré toutes leurs bonnes intentions ont l’exclusivité sur ces décisions. Le rapport de force bascule clairement d’un côté. Il faut alors rééquilibrer ce rapport de forces pour avoir une vraie discussion sur la société qu’on veut. Et selon la société qu’on veut, on peut faire les technologies qui vont avec. Pour chacun de ces choix, il faut rajouter des acteurs dans la boucle de décision. A minima, c’est la société civile organisée, comme on le retrouve par exemple dans toutes les propositions de forums hybrides dans les projets de démocratie technique. Cela voudrait dire que vous ne mettez pas dans les groupes d’experts seulement des représentants du monde industriel et politique, mais aussi des représentants du monde associatif, avec le même poids que les autres, ce qui rééquilibre les décisions.

« Pour chaque choix technologique, il faut rajouter des acteurs dans la boucle de décision. »

Un exemple dont on a beaucoup parlé ces derniers temps est celui de la Convention citoyenne sur le climat. Cela consiste à mobiliser des personnes tirées aux sort, concernées par les projets et les technologies en question selon ses enjeux spécifiques (l’automatisation des caisses ou la 5G), qui vont interroger les experts, ce qui inclut les associations, les juristes, les journalistes spécialisés. Une fois que ces personnes sont informées et formées sur le sujet, elles formulent des recommandations. Nous proposons d’aller un cran plus loin que ce qui existe déjà actuellement et de faire en sorte que leurs recommandations ne soient pas seulement consultatives mais décisionnelles pour qu’elles aient un effet direct sur les politiques industrielles et l’orientation des investissements.

Cela fait vingt ans que de tels dispositifs participatifs existent, et les sociologues et les politistes qui étudient ce genre de procédés remarquent que ces dispositifs sont efficaces. Quand la méthodologie est bien respectée, les recommandations qui émergent sont de très grande qualité. Le problème relève plutôt du fait qu’il n’y a presque jamais d’effets par la suite, parce que ces instances de délibération sont déconnectées des instances de décision. Il y a des groupes qui travaillent pour produire ces recommandations, mais elles ne sont finalement pas écoutées. Le cas de la Convention citoyenne devait au départ être un peu exceptionnel, parce qu’elle était au reliée à une instance de décision : les recommandations devaient passer sans filtre soit par le parlement soit par référendum. Aujourd’hui on voit que tout est détricoté. La 5G est un bon exemple : les citoyens de la Convention ont demandé un moratoire et il n’y aura pas de moratoire. Or, si ces dispositifs peuvent fonctionner, il faut les systématiser et surtout leur donner un vrai rôle.

Il y a aussi des outils, comme le principe de précaution, qui permet de s’arrêter pour documenter, pour produire du savoir. Sans le principe de précaution, on n’aurait pas stabilisé le trou dans la couche d’ozone, on n’aurait pas documenté la maladie de la vache folle, on n’aurait pas avancé sur la construction du GIEC [Groupe intergouvernemental d’experts sur l’évolution du climat, NDLR]. Bruno Latour résume tout ça par une belle formule selon laquelle le principe de précaution sert à « moderniser la modernité ». Notre livre promeut un principe de précaution beaucoup plus vaste, qui ne concerne pas exclusivement le climat ou la santé, mais qui inclut aussi la manière avec laquelle les technologies nous affectent, notamment dans notre rapport à la démocratie.