Group items tagged

Mais réguler un tel déploiement s’annonce complexe. Car les usages de reconnaissance faciale proposés sont multiformes, à la fois commerciaux, publicitaires, sécuritaires, sanitaires ou éducatifs. Le privé et le public, le divertissement et le punitif s’entremêlent sans que l’on ne puisse y voir clair. Un thème récurrent est largement mobilisé pour justifier l’usage de ces technologies de surveillance biométrique : la sécurité. Et c’est toujours au nom du Bien qu’elle se voit matérialisée.

De façon assez inédite, la plupart des technologies de surveillance publique, à l’instar de la reconnaissance faciale, ont d’abord été élaborées et diffusées à des fins commerciales par des géants numériques de la publicité et de la recommandation. La reconnaissance faciale, dont on ne sait plus très bien si elle est proposée à des fins commerciales ou sécuritaires, a été banalisée par la domotique, et amplement développée avec les smartphones ou les réseaux sociaux, pour un confort d’utilisation et une expérience client toujours plus forte. En procédant par pseudomorphisme, l’omniprésence de technologies d’identification qui servent à un moment donné une entreprise de quadrillage techno-sécuritaire du territoire semble aller de soi.

L’enjeu technique ne sera bientôt plus la reconnaissance en elle-même, mais l’interprétation comportementale des surveillés. Des systèmes de vidéosurveillance bientôt augmentés d’algorithmes puissants seront capables d’analyser nos comportements et de désigner ceux qui seraient «inhabituels» ou jugés «subversifs».

« Il nous est rapidement apparu impossible pour un officier de police seul de traiter une telle quantité de données », a expliqué à Bloomberg Artem Ermolaev, chef du département des technologies de l’information de Moscou. « Nous avions besoin d’une intelligence artificielle pour nous aider à trouver ce que nous recherchions. » C’est maintenant chose faite. Le système développé par la start-up russe Ntechlab permet de croiser les visages filmés par les caméras avec ceux des bases de donnée du ministère de l’Intérieur russe.

The fact that the Atlantic complex already has 24-hour security in its lobbies as well as a clearly functioning camera system has only caused tenants to further question the necessity of facial recognition technology. The initiative is particularly dubious given the population of the buildings. Last year, a study out of M.I.T. and Stanford looked at the accuracy rates of some of the major facial-analysis programs on the market. It found that although the error rates for determining the gender of light-skinned men never surpassed 1 percent, the same programs failed to identify darker-skinned women up to one-third of the time.

The fear that marginalized groups will fall under increased surveillance as these technologies progress in the absence of laws to regulate them hardly seems like dystopian hysteria.

In November, the City of Detroit announced that it was introducing the use of real-time police cameras at two public-housing towers. The existing program is known as Project Greenlight, and it was designed to deter criminal behavior. But tower residents worried that relatives would be less likely to visit, given the constant stream of data collected by law enforcement.

Tout le monde, ou presque : le consentement des citoyens n’étant pas envisagé, impossible pour eux de refuser cette divulgation de données personnelles à l’entreprise chinoise, ni d’avoir aucune information sur ce qui sera fait de ces données après usage. Mais peut-être ces problèmes sont-ils encore secondaires lorsque l’on est, comme le peuple zimbabwéen, à la veille de l’installation d’une infrastructure de surveillance mise en place par un régime autoritaire. Et étant donnée la faible importance accordée au respects des Droits de l’Homme par ce régime au cours des quatre dernières décennies, difficile de croire le discours officiel justifiant l’arrivée de ces caméras intelligentes par l’éternelle excuse sécuritaire de vouloir réduire la criminalité. Surtout quand aucune loi ne protège l’accès aux données biométriques.

La population musulmane de la région est soumise à de nombreuses technologies de contrôle afin de mesurer le degré de croyance et de pratique religieuse des individus, notamment par le biais du big data et de la reconnaissance faciale.

Le quotidien de la minorité religieuse est ainsi fait de caméras statiques et de drones-colombes intelligents, ou d’agents officiels et secrets susceptibles de fouiller tout individu plusieurs fois par jours. Des fouilles corporelles ou numériquse,  soit directement par le biais du smartphone ou via les traces numériques semées sur le très surveillé réseau social WeChat.

En cette période de hajj, le pélerinage à La Mecque que tous les musulmans en capacité de le faire se doivent d'effectuer une fois dans sa vie, cette surveillance étouffante se poursuit pour les ressortissants chinois. Accompagnés durant tout le pèlerinage par un guide de l’Association Islamique Chinoise, dirigée par l’Etat, les pélerins sont également porteurs de « cartes intelligentes » nouées autour de leur cou et enregistrant leurs données de géolocalisation ainsi que leurs conversations.

Comment la communauté Data For Good utilise-t-elle les algorithmes ? Qu’est-ce qui vous différencie des grandes entreprises tech ? Avec Data For Good, on veut permettre aux associations, aux projets citoyens et aux institutions d’avoir accès à la data science, qui est utilisée uniquement par les grandes entreprises comme les GAFA et les start-up pour l’instant, car c’est un service qui coûte très cher. Notre communauté bénévole soutient certains projets comme celui de l’association Frateli, qui travaille sur du mentorat. On leur a créé une plateforme de matching, avec des algorithmes, pour matcher en un clic un mentor avec un mentoré, alors qu’avant tout était fait à la main sur un tableur Excel. L’humain garde la décision finale, il peut changer les résultats donnés par l’algorithme, mais cela reste beaucoup plus rapide.

Notre but n’est pas de récolter des données, on ne fait pas des algorithmes qui utilisent les données des utilisateurs pour faire de la publicité. De plus, les codes sources produits par Data For Good sont tous en open source, donc si une autre association veut les utiliser, elle peut le faire gratuitement et librement. Les GAFA ouvrent certains de leurs codes sources, mais c’est avant tout pour attirer des développeurs, et ils n’ouvrent que des bribes de leurs codes. Et ils savent très bien que sans les données qu’ils possèdent, ces extraits de codes ne servent à rien.

Vous travaillez aussi chez AlgoTransparency, une plateforme qui cherche à décrypter les mécanismes de l’algorithme de YouTube : avez-vous réussi à savoir comment était construit cet algorithme, qui est un secret bien gardé par YouTube ? Sur YouTube, on est enfermé dans une spirale de recommandations qui ne montre pas forcément le meilleur de l’humanité... Sur AlgoTransparency, on a mis en place un robot qui est capable de mesurer quelle vidéo est recommandée, à partir de quelle vidéo. On a donc des données sur ces vidéos, mais comprendre comment fonctionne l’algorithme est très compliqué car celui-ci est très complexe, et il évolue en permanence car il est ré-entraîné tous les jours. Nous, on a décidé d’étudier nos données, en rentrant des mots clés, et de voir ce qu’il en sort.

Certaines technologies telles que le chiffrement des messages ou l’anonymisation sont émancipatrices et contribuent à créer un monde plus libre. En revanche, elles coexistent avec des innovations principalement coercitives dont la reconnaissance faciale automatique. Les crypto-monnaies, elles, se situent à mi-chemin : elles peuvent à la fois être vecteur d’oppression et de liberté. Cela dépend vraiment de la façon dont elles sont mises en œuvre. Libres d’accès et anonymes, elle peuvent accélérer l’innovation positive et connecter un grand nombre de personnes « non bancarisées », et ainsi les aider à sortir de la pauvreté. Contrôlées centralement et traçables, elles pourraient rigidifier l’innovation et exclure les « individus subversifs » des services financiers.

Mais l’effet serait totalement déshumanisant. Pourquoi ? Parce que la technologie conditionnerait massivement et automatiquement des individus à adopter un comportement souhaité.

le totalitarisme technologique est le totalitarisme efficacement et massivement mis en œuvre avec l’aide de la technologie, tout simplement. Il est une forme plus subreptice et molle du totalitarisme que l’on connaît, les forces oppressives étant moins visibles. Vous avez l’illusion du choix et de la liberté, tout en étant conditionné. Les personnes non conformes sont simplement exclues des systèmes technologiques qui composent le tissu de la société. Elles ne sont plus visibles parce que leurs voix sont filtrées et isolées.

Et rappelle la difficulté à définir mathématiquement l’équité, comme l’a souligné l’informaticien Arvind Narayanan (@random_walker) lors de la dernière édition de la conférence FAT (la conférence annuelle sur l’équité, la responsabilité et la transparence). Outre les biais et déséquilibres statistiques, rappelle David Robinson (@drobinsonian), responsable des associations EqualFuture et Upturn (et qui a notamment publié un rapport sur la question de l’examen public des décisions automatisées (.pdf)), leur impact dépend surtout de la manière dont sont utilisés ces systèmes, avec le risque, que pointait Eubanks, que les plus discriminés soient encore plus surveillés par ces systèmes.

Pour remédier à ces problèmes, beaucoup d’agences américaines ont recours à des chercheurs extérieurs pour déjouer les biais de leurs systèmes. En avril, l’AI Now Institute a défini un cadre (voir le rapport (.pdf)) pour les organismes publics qui souhaitent mettre en place des outils de prise de décision algorithmique, recommandant notamment de mettre à contribution la communauté de la recherche et de permettre à ceux que le système calcul de faire appel des décisions prises à leur sujet.

Leurs recommandations invitent les systèmes à respecter le droit d’information du public, à recourir à des examens par des chercheurs indépendants, à améliorer l’expertise des organismes qui les conçoivent et à développer des modalités pour permettre au public de contester les décisions prises. L’initiative recommande aux agences publiques de répertorier et décrire les systèmes de décision automatisés, y compris d’évaluer leur portée et impact. Elle recommande également de mettre en place des modalités d’accès afin que des chercheurs, des experts indépendants, des associations ou des journalistes puissent accéder et évaluer ces systèmes et pour cela doivent s’assurer notamment que leurs fournisseurs privés de systèmes acceptent ces vérifications. Elle souligne également que les agences doivent monter en compétences pour être expertes des systèmes qu’elles mettent en place, notamment pour mieux informer le public, et invite les fournisseurs de solutions à privilégier l’équité, la responsabilité et la transparence dans leurs offres.

Nous sommes à un moment de l'histoire des technologies de l'information et du numérique qui est assez comparable à l'état du monde en 1949 c'est à dire au moment où l'autre superpuissance de l'époque (l'union soviétique) se dota également de la bombe nucléaire (voir notamment ici ou là). Ce que je veux dire par là c'est que désormais, la totalité des plateformes existantes "à l'Ouest" dispose d'équivalents "à l'Est". Et le rapport au nucléaire n'est pas seulement analogique ou symbolique comme je l'écrivais par ici :  "Le numérique est une technologie littéralement nucléaire. Une technologie de noyau. Au "cœur" fissible d’un éventail de possibles aussi prometteurs qu’angoissants et pour certains, incontrôlables."   L'analogie est également (géo)politique. Toutes les grandes plateformes vont devoir faire le choix politique de savoir dans quelle mesure elles acceptent de se censurer et donc de collaborer avec des régimes autoritaires pour conquérir un marché. Et à l'échelle des enjeux que représentent à la fois les audiences qu'elles touchent déjà et celles qu'elles visent à conquérir, chacun de ces choix est un peu plus qu'un simple choix économique ou même moral.   

La vraie nouveauté c'est que ce projet à suscité la colère d'une partie des salariés de Google, qui à l'image de la victoire - je pense temporaire - qu'ils avaient remporté pour obliger leur employeur à se retirer du projet militaire Maven, espèrent cette fois faire suffisamment de bruit pour que ce projet de moteur censuré n'aille pas à son terme.  La crise éthique de certains anciens cadres des GAFA qui agissent comme autant de "repentis" pour les technologies qu'ils ont contribué à créer n'est plus simplement externe mais elle s'étend désormais à l'interne et touche aussi bien Google que Facebook, Microsoft, Amazon (à propos d'un programme de reconnaissance faciale) ou Twitter (à propos du refus de Jack Dorsey de fermer le compte d'un leader de l'Alt-right complotiste). 

S'agissant du contrôle linguistique il opère pour l'instant uniquement au travers des dispositifs et des plateformes agréées par le gouvernement chinois ou opérant sous son autorité directe. C'est le cas par exemple du moteur de recherche Baïdu. Comme d'autres, la Chine n'échappe pas à la multiplication des terminaux de connexion. Là où il y a quelques années il suffisait de surveiller l'ordinateur familial pour capter l'ensemble des pratiques connectées de 5 ou 6 personnes, il faut aujourd'hui étendre et démultiplier les moyens de surveillance sur chaque Smartphone ou tablette. Après la surveillance "de masse" c'est la surveillance "de chacun" qui prime. D'où d'ailleurs, le renforcement du contrôle "social" et du micro-ciblage comportemental qui devient le plus petit dénominateur commun efficient dans le cadre d'une volonté politique de contrôle de la population comme dans le cadre d'une volonté marketing d'expansion commerciale. Les deux aspects finissant d'ailleurs par se rejoindre, ce qui n'est pas le moindre des problèmes que nous avons aujourd'hui à résoudre, car pour citer encore Zeynep Tufekci :  "Nous créons une dystopie simplement pour pousser les gens à cliquer sur des publicités". Il me semble que nous sommes aujourd'hui à la phase d'après. Celle où les gens ont cliqué sur suffisamment de publicités et ont, ce faisant, accepté suffisamment de technologies de traçage actif ou passif pour que les conditions d'existence d'une forme de pouvoir autoritaire soient réunies et surtout pour qu'elle soient en passe d'être acceptées comme naturelles ou, pire, comme légitimes. 

Qu’est-ce que ce Crédit social ? Un système par lequel le comportement de chacun des citoyens chinois ainsi que les personnes morales sera évalué et noté. Une version béta est actuellement en test. Des entreprises, parmi lesquelles on retrouve par exemple China Rapid Finance, partenaire de Tencent (WeChat), Sésame Credit, une filiale de Alibaba et Didi Chuxing (équivalent chinois de Uber), participent à ce programme-pilote basé sur le volontariat mais qui deviendra obligatoire en 2020. Les citoyens seront ainsi notés selon cinq facteurs : leur historique de crédit, leur capacité à remplir leurs obligations contractuelles, leurs informations personnelles, mais aussi leurs comportements et préférences, et enfin leurs relations interpersonnelles.

Les propos tenus sur les réseaux sociaux seront ainsi analysés pour repérer les « énergies positives » : des messages favorables au gouvernement ou positifs sur l’économie du pays feront grimper le score des individus. Pour le moment les propos négatifs ne seraient pas pris en compte. Mais au-delà des paroles, les actes seront analysés. Un représentant de Sésame Crédit admet par exemple inférer des jugements sur les personnes en fonction du type de produit acheté : « quelqu’un qui joue aux jeux vidéo dix heures par jour sera considéré comme une personne inactive (ou fainéante) », alors qu’une personne qui « achète fréquemment des couches sera considérée comme un probable parent, qui par comparaison sera plus à même d’avoir le sens des responsabilités ». Rachel Botsman précise de façon pertinente que le système ne fait pas qu’analyser les comportements, mais qu’il les façonne et biaise les citoyens afin qu’ils adoptent des attitudes jugées plus vertueuses par les gouvernements.

Dans un autre contexte, la notion d’exemplarité en Chine atteint parfois des points qui seraient comiques, s’ils n’étaient pas attentatoires aux libertés des personnes. Un système de reconnaissance faciale et  « name and shame » a ainsi été mis en place à certains carrefours : lorsqu’une personne traverse alors qu’elle n’en a pas l’autorisation, sa photo et son nom sont projetés sur un panneau pendant quelques minutes afin de la pointer comme l’exemple à ne pas suivre.

Pire, la technologie s’est fait la complice de tous les défis auxquels nous sommes confrontés : à la fois d’un système économique hors de contrôle qui ne cesse d’élargir les inégalités, la polarisation politique comme le réchauffement climatique. Pour Bridle, la technologie n’est pas la solution à ces défis, elle est devenue le problème. Il nous faut la comprendre plus que jamais, dans sa complexité, ses interconnexions et ses interactions : mais cette compréhension fonctionnelle ne suffit pas, il faut en saisir le contexte, les conséquences, les limites, le langage et le métalangage.

Trop souvent, on nous propose de résoudre ce manque de compréhension de la technologie par un peu plus d’éducation ou son corollaire, par la formation d’un peu plus de programmeurs. Mais ces deux solutions se limitent bien souvent en une compréhension procédurale des systèmes. Et cette compréhension procédurale vise surtout à renforcer la « pensée computationnelle », c’est-à-dire la pensée des ingénieurs et des informaticiens qui n’est rien d’autre que le métalangage du solutionnisme technologique 

Les systèmes techniques sont devenus de plus en plus complexes. Trop critiques et interconnectés pour être compris, pensés ou conçus. Leur compréhension n’est disponible plus que pour quelques-uns et le problème est que ces quelques-uns sont les mêmes que ceux qui sont au sommet des structures de pouvoir. Pour James Bridle, il y a une relation causale entre la complexité des systèmes, leur opacité, et les violences et inégalités qu’ils propagent.

Mais l’intelligence artificielle se diffuse également dans des sphères qui concernent plus directement la vie publique, et donc la société. Pour ne citer qu’eux : le classement de lycéens après leurs bacs[4], l’automatisation de procédures judiciaires[5] ou des horaires de ramassage scolaire[6], la dérégulation du flux automobile dans les villes dus à l’utilisation d’un service de GPS comme Waze[7], l’utilisation de la reconnaissance faciale dans des lieux publics[8] et privés[9], l’usage de « détecteurs de mensonges » aux frontières[10], la police prédictive[11], ou même plus simplement l’usage de systèmes reposant sur la captation de l’attention de l’utilisateur[12].  A leurs échelles, ces sujets touchent la vie sociale dans des dimensions qui pourraient légitimement demander à ce que des discussions plus démocratiques aient lieu. Ils entrent certes, plus ou moins directement dans la catégorie « intelligence artificielle » mais participent de la numérisation du monde à travers des algorithmes, et feront tous le pas vers l’IA si ce n’est déjà fait.

C’est là qu’intervient le passage qualitatif du « human in the loop » (HITL) au « society in the loop » (SITL). Pour le dire simplement, le SITL devient nécessaire lorsqu’un système utilisant l’intelligence artificielle a des implications importantes sur la sphère sociale. Iyad Rahwan explique : « alors que le HITL utilise le jugement d’un individu ou d’un groupe pour optimiser un système pensé trop étroitement, SITL embarque le jugement et les valeurs d’une société vue comme un tout, dans la définition la gouvernance algorithmique[13] de questions sociétales ». En résumé, le SITL est une forme de contrat social entre ceux qui doivent obéir aux règles et ceux qui écrivent les règles.

Coupons court au débat qui concerne les bulles de filtres : leur émergence et leurs effets dépendent du paramétrage des algorithmes de Facebook, de Google et des autres services susceptibles de créer ces bulles. Par conséquent, elles restent à leur main, notamment à travers leurs Conditions générales d’utilisation (CGU) et le secret d’affaires qui protègent ces systèmes (et les modèles d’affaires de captation du « temps de cerveau disponible » qui y sont directement liés). Pas de démocratie à cet endroit, quand bien même les impacts sur la démocratie pourraient être réels, même s’ils sont encore mal mesurés. C’est une des premières limites du modèle « Society in the loop ».

En l’absence de régulation, le digital labor préfigure le pire du travail : un monde de travailleurs isolés, privés de droits sociaux et iolés les uns des autres, livrés aux conditions léonines des employeurs — et accomplissant des tâches standardisées, fragmentées, peu qualifiées et dépourvues de sens global. Ici et là, des tentatives de régulation ou de création de plateformes équitables sont en cours. Il est urgent de les soutenir, si l’on ne veut pas que le développement croissant de l’automatisation ne soit synonyme non d’une disparition du travail, mais de sa dégradation irrémédiable.

Cet imaginaire largement libertarien irrigue profondément la culture du web depuis ses débuts et s’incarne, par exemple, dans la figure du hacker ou de l’entrepreneur nomade, du passionné qui s’accomplit dans un « projet professionnel qui est aussi existentiel ». Mais Antonio Casilli note combien cette vision est élitiste et ne prend pas en compte l’asymétrie des forces dans un marché du travail en berne où le chômage est élevé et l’ascenseur social en panne,

« Ce ne sont pas les machines qui font le travail des hommes, mais les hommes qui sont poussés à réaliser un digital labor pour les machines en les accompagnant, en les invitant, en les entraînant », résume le chercheur. Les intelligences artificielles doivent toujours être paramétrées, entraînées et encore très largement supervisées par des humains, malgré les progrès des méthodes d’apprentissage non supervisés. Les progrès fulgurants des IA ces dernières années sont surtout dus à l’explosion des quantités de données d’entraînement : or celles-ci doivent être triées, annotées, préparées par des humains. Et enfin, ces programmes doivent être évalués et corrigés pour pouvoir s’améliorer. Ainsi, les utilisateurs vont utiliser pendant plusieurs années une version beta du service Gmail de Google, pour l’améliorer, ou tagger leurs amis sur des photos et contribuer ainsi sans nécessairement en avoir conscience à l’affinement du service de reconnaissance faciale de Facebook : « C’est un travail humble et discret, qui fait de nous, contemporains, à la fois les dresseurs, les manouvriers et les agents d’entretien de ces équipements. » La question que pose l’intelligence artificielle et l’automatisation, ce n’est donc pas celle de la menace sur l’emploi – mais celle de la transformation profonde du travail pour répondre aux besoins de la machine.