Technologie : l'âge sombre | InternetActu.net - 0 views
-
Pire, la technologie s’est fait la complice de tous les défis auxquels nous sommes confrontés : à la fois d’un système économique hors de contrôle qui ne cesse d’élargir les inégalités, la polarisation politique comme le réchauffement climatique. Pour Bridle, la technologie n’est pas la solution à ces défis, elle est devenue le problème. Il nous faut la comprendre plus que jamais, dans sa complexité, ses interconnexions et ses interactions : mais cette compréhension fonctionnelle ne suffit pas, il faut en saisir le contexte, les conséquences, les limites, le langage et le métalangage.
-
Trop souvent, on nous propose de résoudre ce manque de compréhension de la technologie par un peu plus d’éducation ou son corollaire, par la formation d’un peu plus de programmeurs. Mais ces deux solutions se limitent bien souvent en une compréhension procédurale des systèmes. Et cette compréhension procédurale vise surtout à renforcer la « pensée computationnelle », c’est-à-dire la pensée des ingénieurs et des informaticiens qui n’est rien d’autre que le métalangage du solutionnisme technologique
-
Les systèmes techniques sont devenus de plus en plus complexes. Trop critiques et interconnectés pour être compris, pensés ou conçus. Leur compréhension n’est disponible plus que pour quelques-uns et le problème est que ces quelques-uns sont les mêmes que ceux qui sont au sommet des structures de pouvoir. Pour James Bridle, il y a une relation causale entre la complexité des systèmes, leur opacité, et les violences et inégalités qu’ils propagent.
- ...32 more annotations...
-
Le cloud (l’informatique en nuage) n’est plus une métaphore du réseau, c’est l’incarnation de ce système global et surpuissant qu’aucun d’entre nous ne peut désormais attraper. Ce nuage est pourtant une bien mauvaise métaphore. Rien de ce qu’il recèle n’y est sans poids, rien n’y est amorphe ou invisible. Le cloud cache une infrastructure physique complexe faite de lignes téléphoniques, de fibre optique, de satellite, de vastes entrepôts d’ordinateurs, qui consomment d’énormes quantités d’énergie et qui influent sur de multiples juridictions. Le cloud est l’incarnation d’une nouvelle industrie.
-
De la sécurité nationale aux secrets industriels, il y a beaucoup de raisons à obscurcir ce que recouvre ce nuage. Mais ce qui s’en évapore est assurément notre propriété (dans les nuages, tout appartient à d’autres) et notre agentivité, c’est-à-dire notre capacité à faire.
-
Le réseau donne l’impression d’être à la fois l’idéal de progrès le plus abouti et l’idéal de base de notre culture tout en paraissant avoir émergé inconsciemment, poursuivant son but d’interconnexion sans fin pour lui-même et par lui-même… « Nous présumons que l’interconnexion est inhérente et inévitable. Le réseau semble être devenu le résultat du progrès, son accomplissement ultime », à l’image de machines qui accompliraient ainsi leurs propres désirs. Internet semble avoir accompli l’idéal des Lumières, l’idéal du progrès : celui que plus de connaissance et plus d’information conduit toujours à prendre de meilleures décisions.
-
Mais n’est-ce pas plutôt le contraire auquel nous assistons ? « Ce qui était censé éclairer le monde l’a obscurci. L’abondance d’information et la pluralité d’opinion accessible à tous n’ont pas produit un consensus cohérent, mais au contraire a déchiré la réalité en narrations simplistes, en théories fumeuses et en politique d’opinion. Contrairement au Moyen Âge, où l’âge sombre était lié à une perte de connaissance antique, l’âge sombre moderne est lié à une abondance de connaissance dont nous ne savons plus démêler collectivement l’apport. »
-
L’obscurité dont parle Bridle c’est notre incapacité à voir clairement ce qui est devant nous, avec capacité et justice. Pour Bridle pourtant, ce constat ne doit pas être lu comme une condamnation de la technologie. Au contraire. Pour relever l’âge sombre qui s’annonce, il nous faut nous engager plus avant dans la technologie, avec elle, mais avec une compréhension radicalement différente de ce qu’il est possible d’en faire, en retrouver un sens que la seule recherche d’efficacité nous a fait perdre. Tout comme le changement climatique, les effets de la technologie s’étendent sur le globe et affectent tous les aspects de nos vies. Mais comme le changement climatique, ses effets sont potentiellement catastrophiques et résultent de notre incapacité à comprendre les conséquences de nos propres inventions. Nous devons changer de manière de voir et penser le monde, nous invite Bridle, un peu facilement ou naïvement.
-
« En rapprochant la simulation de l’approximation, les grands prêtres de la pensée computationnelle pensent remplacer le monde par des modèles biaisés de lui-même ; et en le faisant, les modeleurs s’assurent du contrôle du monde. » James Bridle s’inscrit dans la continuité des constats de l’historien des sciences David Noble qui, dans Le progrès sans le peuple notamment, soulignait combien la pensée des ingénieurs avait contribué à donner du pouvoir aux puissants plutôt que favoriser l’équité ou la démocratie ; comme dans celle de Richard Sclove du Loka Institute, qui dans Choix technologiques, choix de société, soulignait combien les enjeux démocratiques restaient le parent pauvre de la question technologique.
-
La pensée computationnelle s’infiltre partout : elle devient notre culture. Elle nous conditionne à la fois parce qu’elle nous est illisible et à la fois parce que nous la percevons comme neutre émotionnellement et politiquement. Les réponses automatisées nous semblent plus dignes de confiance que celles qui ne le sont pas. Dans la pensée computationnelle, nous sommes victimes du biais d’automatisation : « nous avons plus confiance dans l’information automatisée que dans notre propre expérience, même si elle est en conflit avec ce qu’on observe ». Les conducteurs de voitures comme les pilotes d’avion ont plus tendance à croire leurs instruments que leur expérience, même si celle-ci n’est pas alignée.
-
Pour Bridle, l’informatique, en ce sens, est un piratage de notre capacité cognitive, de notre capacité attentionnelle, qui renvoie toute responsabilité sur la machine. « À mesure que la vie s’accélère, les machines ne cessent de prendre en main de plus en plus de tâches cognitives, renforçant par là leur autorité – sans regarder les conséquences ». « Nous nous accommodons de mieux en mieux et de plus en plus aux confortables raccourcis cognitifs que nous proposent nos machines. L’informatique remplace la pensée consciente. Nous pensons de plus en plus comme des machines, ou plutôt nous ne pensons plus du tout ! ».
-
« Ce qui est difficile à modéliser, à calculer, à quantifier, ce qui est incertain ou ambigu, est désormais exclu du futur possible. » L’informatique projette un futur qui ressemble au passé (« Les algorithmes ne prédisent pas le futur, ils codifient le passé », disait déjà Cathy O’Neil). La pensée computationnelle est paresseuse. Elle propose finalement des réponses faciles. Elle nous fait croire qu’il y a toujours des réponses.
-
les réseaux souffrent d’une gouvernance fragmentée, sans responsabilités claires, peu cartographiés et sous-financés ; des infrastructures en silos ; des investissements privés comme publics insuffisants et plus encore un manque de compréhension de la complexité de leur fonctionnement… expliquent leur fragilité intrinsèque et la difficulté de leur maintenance. Ajoutez à cela les impacts du changement climatique sur leur maintenance et leur évolution et vous comprendrez que les réseaux ne sont pas dimensionnés pour faire face au futur. Bref, non seulement l’informatique contribue largement au réchauffement climatique, mais elle risque d’en être l’une des principales victimes.
-
Mais les grands volumes de données ne produisent pas de la connaissance automatiquement. Dans la recherche pharmacologique par exemple, les dépenses et investissements n’ont jamais été aussi forts alors que les découvertes, elles, n’ont jamais produit aussi peu de nouveaux traitements. On appelle cela la loi d’Eroom : l’exact inverse de la loi de Moore. Le nombre de résultats de recherche chute et ces résultats sont de moins en moins dignes de confiance. Si les publications scientifiques n’ont jamais été aussi volumineuses (au détriment de leur qualité), les rétractions ont augmenté et le nombre de recherches ayant un impact significatif, elles, ont diminué proportionnellement. La science connaît une crise de réplicabilité majeure.
-
Plusieurs facteurs expliquent ce revirement de la loi du progrès. La première est que les choses les plus évidentes à découvrir ont été exploitées. La régulation est également devenue plus exigeante et la société moins tolérante aux risques. Mais le problème principal relève certainement des méthodes désormais employées. Historiquement, la découverte de médicament était le fait de petites équipes de chercheurs qui se concentrait intensément sur de petits groupes de molécules. Mais depuis 20 ans, ces processus ont été largement automatisés, sous la forme de ce qu’on appelle le HTS (High-throughput screening pour criblage à haut débit) qui consiste en des recherches automatisées de réactions potentielles via de vastes bibliothèques de composants. Le HTS a priorisé le volume sur la profondeur. Ce qui a marché dans d’autres industries a colonisé la recherche pharmaceutique : automatisation, systématisation et mesures… Certains commencent à douter de l’efficacité de ces méthodes et voudraient revenir à l’empirisme humain, au hasard, au bordel, au jeu… À nouveau, « la façon dont nous pensons le monde est façonnée par les outils à notre disposition ». Nos instruments déterminent ce qui peut être fait et donc, ce qui peut être pensé. À mesure que la science est de plus en plus technologisée, tous les domaines de la pensée humaine le sont à leur tour. Les vastes quantités de données ne nous aident qu’à voir les problèmes des vastes quantités de données.
-
Les bourses et places de marchés d’antan ont été remplacées par des entrepôts, des data centers, anonymes, dans des banlieues d’affaires impersonnelles. La dérégulation et la numérisation ont transformé en profondeur les marchés financiers. La vitesse des échanges s’est accélérée avec la technologie. Les transactions à haute fréquence (HFT, High-frequency trading) reposent sur la latence et la visibilité. La latence, c’est-à-dire la rapidité d’échange où des millions peuvent s’échanger en quelques millisecondes et la visibilité (sauf pour les non-initiés), c’est-à-dire le fait que les échanges sont visibles de tous les participants, instantanément. Les échanges reposent sur des algorithmes capables de calculer des variations éclair et de masquer les mouvements de fonds. Les échanges sont plus opaques que jamais : ils s’imposent sur des forums privés, les « dark pools » (en 2015, la SEC, l’organisme américain de réglementation et de contrôle des marchés financiers, estimait que les échanges privés représentaient 1/5e du total des échanges)… Les échanges financiers ont été rendus obscurs et plus inégaux que jamais, rappelle Bridle.
-
Pour Bridle, l’une des clefs qui expliquent que les inégalités se renforcent avec la technologie est intrinsèquement liée à l’opacité des systèmes. Comme les robots des entrepôts d’Amazon et ses employés commandés par des commandes vocales émanant de robots, nous sommes en train d’arranger le monde pour rendre les machines toujours plus efficaces, quitte à ce que le monde devienne incompréhensible et inadapté aux humains. Les travailleurs deviennent le carburant des algorithmes, utiles seulement pour leurs capacités à se déplacer et à suivre des ordres. Pour Bridle, les startups et les Gafam signent le retour des barons voleurs, ces tyrans industriels du XIXe siècle. La technologie est venue couvrir d’un voile d’opacité la prédation : l’avidité s’est habillée de la logique inhumaine des machines. Amazon ou Uber cachent derrière des pixels lumineux un système d’exploitation sans faille
-
Pour la sociologue Deborah Cowen (@debcowen), nous sommes entrés dans la tyrannie de la techne explique-t-elle dans The Deadly Life of Logistics (2014) : l’efficacité est devenu primordiale sur tous les autres objectifs, sur toutes les autres valeurs
-
Autre exemple avec How-Old.net un outil de reconnaissance faciale qui tente de prédire l’âge d’une personne, et qui a été utilisée pour deviner l’âge de migrants arrivants au Royaume-Uni. Microsoft, qui a développé cette application, s’est défendu et a dénoncé cette utilisation… comme les 2 chercheurs chinois. Ceux-ci expliquaient néanmoins dans leur défense que leur système était « sans préjugé » (sic). Comme souvent, on nous explique que la technologie, et plus encore l’apprentissage automatisé, est neutre. Mais « la technologie n’émerge pas de nulle part. Elle est toujours la réification de croyances et de désirs, notamment de ses créateurs. Leurs biais sont encodés dans les machines et les bases de données ou les images que nous prenons du monde. »
-
Pour Bridle, le problème n’est pas tant que les machines puissent réécrire la réalité, mais que la réalité, le passé comme le futur, ne puissent plus être correctement racontés. DeepDream de Google illustre parfaitement cela. L’enjeu n’est pas pour nous de comprendre ce qu’est l’image, mais de nous demander ce que le réseau de neurones veut y voir ?
-
Pour Bridle, nous devrions ajouter une 4e loi aux trois lois de la robotique d’Asimov. Les machines intelligentes devraient être capables de s’expliquer aux humains. Ce devrait être une loi première, car éthique. Mais le fait que ce garde-fou ait déjà été brisé laisse peu d’espoir quant au fait que les autres règles le soient à leur tour. « Nous allons devoir affronter un monde où nous ne comprendrons plus nos propres créations et le résultat d’une telle opacité sera toujours et inévitablement violent ».
-
Pour Bridle, l’alliance entre l’humain et la machine peut encore fonctionner, comme l’a montré Garry Kasparov avec les échecs avancés, consistant à ce qu’une IA et qu’un humain jouent ensemble plutôt qu’ils ne s’affrontent. C’est dans la perspective d’associer les talents des humains et des machines, d’associer leurs différences d’une manière coopérative plutôt que compétitive que nous parviendrons à réduire l’opacité computationnelle. La perspective que l’intelligence des machines nous dépasse dans nombre de disciplines est une perspective destructrice. Nous devons trouver la voie d’une éthique de la coopération avec les machines, plutôt qu’un affrontement.
-
Bridle s’en prend également longuement à la surveillance et notamment à la surveillance d’Etat pour souligner combien elle nous est masquée et continue à l’être, malgré les révélations d’Edward Snowden. Vous pouvez lire n’importe quel e-mail dans le monde d’une personne dont vous avez l’adresse. Vous pouvez regarder le trafic de tout site web. Vous pouvez suivre les mouvements de tout ordinateur portable à travers le monde. Pour Bridle, cela nous a montré qu’il n’y a pas de restriction possible à la capacité de surveillance du réseau. L’échelle et la taille de la surveillance a excédé ce que nous pensions comme étant techniquement possible.
-
En opposition au secret, nous demandons de la transparence, mais elle n’est peut-être pas le bon levier. La NSA et Wikileaks partagent la même vision du monde avec des finalités différentes, rappelle Bridle. Les deux pensent qu’il y a des secrets au coeur du monde qui, s’ils étaient connus, pourraient rendre le monde meilleur. Wikileaks veut la transparence pour tous. La NSA veut la transparence pour elle. Les deux fonctionnent sur une même vision du monde. Wikileaks ne voulait pas devenir le miroir de la NSA, mais voulait briser la machine de surveillance. En 2006, Assange a écrit « Conspiracy as Governance » (.pdf). Pour lui, tout système autoritaire repose sur des conspirations, car leur pouvoir repose sur le secret. Les leaks minent leur pouvoir, pas par ce qui fuite, mais parce que la peur et la paranoïa dégradent la capacité du système autoritaire à conspirer. Mais les fuites de données ne suffisent pas à remettre en cause ou à abattre l’autorité. Les révélations ne font pas bouger l’opinion, sinon, nous aurions réagi bien avant les révélations de Snowden. Tant que les organisations de surveillance ne changent pas de l’intérieur, ceux qui sont en dehors de ces organisations, comme les lanceurs d’alertes, n’ont pas de capacité d’action. Ils attendent que des fonctionnaires ou que la justice confirment ce qu’ils avancent.
-
Mais la lumière du calcul nous dépossède de pouvoir, car elle nous fait crouler sous l’information et nous donne un faux sens de la sécurité. C’est là encore une conséquence de la pensée computationnelle. « Notre vision est devenue universelle, mais notre capacité d’action, elle, s’est réduite plus que jamais. » A l’image du réchauffement climatique, à nouveau, « nous savons de plus en plus de choses sur le monde, mais nous sommes de moins en moins capable d’agir sur lui ». Au final, nous nous sentons plus démunis que jamais. Plutôt que de reconsidérer nos hypothèses, nous nous enfonçons dans la paranoïa et la désintégration sociale.
-
Le monde est devenu trop complexe pour des histoires simples. En fait, « la démultiplication de l’information ne produit pas plus de clarté, mais plus de confusion ». L’un des symptômes de la paranoïa consiste à croire que quelqu’un vous surveille. Mais cette croyance est désormais devenue raisonnable, s’amuse Bridle en évoquant la surveillance d’Etat comme la surveillance des services numériques. Nous sommes entièrement sous contrôle, tant et si bien qu’on peut se demander qui est paranoïaque désormais ?
-
« Les théories conspirationnistes sont le dernier ressort des sans pouvoirs, imaginant ce que serait que d’être puissant », avance Bridle. Pour le spécialiste de la postmodernité, Frederic Jameson, les théories conspirationnistes sont « la cartographie cognitive des plus démunis dans un âge postmoderne ». C’est la figure dégradée de la logique par ceux qui ont le moins de capital culturel, une tentative désespérée de se représenter un système qu’ils ne comprennent pas. Encerclé par l’évidence de la complexité, l’individu a recours à un récit simpliste pour tenter de regagner un peu de contrôle sur la situation. À mesure que la technologie augmente et accélère le monde, celui-ci devient plus complexe. Les théories conspirationnistes deviennent alors des réponses, étranges, intriquées et violentes, pour s’en accommoder.
-
Ainsi, si vous cherchez de l’information sur les vaccins, vous tomberez invariablement sur de l’information contre les vaccins. Si vous cherchez de l’information sur la rotondité de la terre, vous tomberez inexorablement sur ceux qui pensent qu’elle est plate. Ces opinions divergentes semblent devenir la majorité tant elles sont exprimées et répétées avec force. « Ce qui se passe quand vous désirez en savoir de plus en plus sur le monde entre en collision avec un système qui va continuer à assortir ses réponses à n’importe quelle question, sans résolution ». Vous trouverez toujours quelqu’un pour rejoindre vos points de vue. Et toujours un flux pour les valider. Voici l’âge de la radicalisation algorithmique (à l’image de ce que disait Zeynep Tufekci de YouTube). Les théories conspirationnistes sont devenues la narration dominante. Elles expliquent tout. Dans la zone grise des connaissances, tout prend un sens.
-
Les failles des algorithmes sont les dernières failles du capitalisme où certains s’infiltrent non pas pour le renverser, mais pour tenter de gratter un peu d’argent que les plus gros systèmes s’accaparent. Au final, des vidéos automatisées finissent par être vues par des enfants. Leurs personnages préférés y font n’importe quoi, parfois suggèrent des scènes de meurtre ou de viols. Ces effets de réseaux causent des problèmes réels. Les algorithmes de YouTube ont besoin d’exploitation pour produire leurs revenus. Derrière leurs aspects séduisants, ils encodent les pires aspects du marché, notamment l’avidité. « La capacité à exploiter l’autre est encodée dans les systèmes que nous construisons », pointe très justement James Bridle, puisque leur efficacité repose sur leur capacité à extraire de l’argent de nos comportements.
-
À défaut d’une solution, Google annonçait en avril que l’application YouTube Kids allait devenir « non-algorithmique »… À croire, comme le pointait très justement le chercheur Olivier Ertzscheid, que l’algorithimsation n’est pas une solution sans limites.
-
Pour Bridle, les humains sont dégradés des deux côtés de l’équation : à la fois dans l’exploitation qui est faite de leur attention et à la fois dans l’exploitation de leur travail. Ces nouvelles formes de violence sont inhérentes aux systèmes numériques et à leur motivation capitaliste. Le système favorise l’abus et ceux qui le produisent sont complices, accuse-t-il. L’architecture qu’ils ont construite pour extraire le maximum de revenus des vidéos en ligne a été hackée par d’autres systèmes pour abuser d’enfants à une échelle massive. Les propriétaires de ces plateformes ont une responsabilité forte dans l’exploitation qu’ils ont mise en place. « C’est profondément un âge sombre quand les structures qu’on a construites pour étendre la sphère de communications sont utilisées contre nous d’une manière systématique et automatique. »
-
Pour Bridle, les fausses nouvelles ne sont pas le produit de l’internet. Elles sont le produit de la cupidité et de la démocratisation de la propagande où tout a chacun peut devenir un propagandiste. Elles sont un amplificateur de la division qui existe déjà dans la société, comme les sites conspirationnistes amplifient la schizophrénie.
-
Mais ce qu’il y a de commun avec le Brexit, les élections américaines ou les profondeurs de YouTube, c’est que malgré tous les soupçons, il reste impossible de savoir qui fait ça, qu’elles sont leurs motivations, leurs intentions. On peut regarder sans fin ces flux vidéos, on peut parcourir sans fin les murs de mises à jour de statuts ou de tweets… cela ne permet pas de discerner clairement ce qui est généré algorithmiquement ou ce qui est construit délibérément et soigneusement pour générer des revenus publicitaires. On ne peut pas discerner clairement la fiction paranoïaque, l’action d’États, la propagande du spam… Ces confusions servent les manipulateurs quels qu’ils soient bien sûr, mais cela les dépasse aussi. C’est la manière dont le monde est. Personne ne semble réellement décider de son évolution… « Personne ne veut d’un âge sombre, mais nous le construisons quand même et nous allons devoir y vivre. »
-
Exploiter plus de données pour construire de meilleurs systèmes est une erreur. Cette méthode ne parviendra pas à prendre en compte la complexité humaine ni à la résoudre. Le développement de l’information n’a pas conduit à une meilleure compréhension du monde, mais au développement de points de vue alternatifs et concurrents. Nous devons changer nos façons de penser comme nous y invitait Lovecraft. Nous ne survivrons pas plus à l’information brute qu’à la bombe atomique. Le nouvel âge sombre est un lieu où le futur devient radicalement incertain et où le passé devient irrévocablement contesté. Mais c’est le présent dans lequel nous devons vivre et penser. Nous ne sommes pas sans pouvoir ni capacités. Mais pour cela nous devons nous défaire des promesses illusoires de la pensée computationnelle. Penser le monde autre, c’est ce à quoi nous invite James Bridle dans le nouvel âge sombre.
-
Reste à savoir si cet âge sombre des technologies est vraiment notre avenir. L’âge sombre du Moyen Âge n’a jamais vraiment existé ailleurs que dans les lacunes des historiens. On peut douter également de cette nouvelle obscurité ou regretter le titre faussement prophétique. Reste que la complexité et l’intrication du monde que décrit James Bridle, montrent combien il nous faut, plus que jamais, nous défaire justement d’une vision simple et manichéenne de la technologie.
-
"Ce New Dark Age porte un titre prophétique et apocalyptique. Un peu trop peut-être. C'est effectivement un livre très critique sur notre rapport à la technologie, très éloigné du rapport souvent curieux et amusé que Bridle portait aux technologies avec la nouvelle esthétique. En une dizaine de chapitres, Bridle explore les glitchs qui sont désormais devenus des schismes, des scissions, des ruptures… comme s'ils n'étaient plus aussi distrayants. Dans son livre, il montre combien les bugs se cristallisent en caractéristiques. Combien la complexité technique que nous avons construite s'entremêle pour produire des effets en réseau, complexes, profonds, intriqués que nous ne parvenons plus vraiment à démêler. Son constat principal consiste à dire que ces dysfonctionnements ne sont pas amenés à être corrigés. Ils sont au contraire intrinsèques à la nature même des technologies qui se déploient aujourd'hui. Contrairement à ce que nous annonçaient les pionniers et les prophètes des technologies, pour Bridle, la technologie n'annonce pas de nouvelles Lumières ou une Renaissance, mais, comme Jules Michelet parlait du Moyen Âge, un âge sombre, une ère d'obscurité pour ne pas dire d'obscurantisme. Ni les réseaux sociaux, ni l'intelligence artificielle, ni les systèmes techniques ne vont nous aider à faire monde commun. Au contraire."
