Skip to main content

Home/ QN2019/ Group items tagged algorithme

Rss Feed Group items tagged

Aurialie Jublin

affordance.info: Les algorithmes du Dr Frankenstein (ou pourquoi faut pas pou... - 0 views

  • néo-fascisme documentaire distinguant une humanité sur-documentée d'une humanité sous-documentée, néo-fascisme nourri d'un fétichisme du fichier (et du fichage). Et je milite et alerte comme je peux sur l'impérieuse nécessité et urgence de nourrir une réflexion politique radicale visant à une forme de "nationalisation" des grandes plateformes et du code informatique, et à réinstaurer des formes légitimes de "communs" (dont un index indépendant du web entre autres). 
  • Le problème n'est plus tant de se demander comment construire des technologies avec des sciences comportementales que de voir s'il est encore possible, pour en limiter l'impact politique et démocratique, de déconstruire la logique qui a mené quelques grandes plateformes à construire et à normer des comportements avec des technologies opérant dans le cadre d'architectures techniques toxiques.  
  • En gros le pitch de l'article du Guardian est, à partir notamment des travaux de Cathy O'Neil (les algorithmes comme "armes de destruction matheuse") et Neil Johnson, et en remobilisant des exemples issus du Trading Haute-fréquence ou du récent fait-divers sur le premier décès "accidentel" causé par une voiture autonome (dont je vous avais moi-même longuement parlé), de revenir en détail sur ces nouvelles "approches algorithmiques" ou "l'algorithme" ne désigne plus simplement la trivialité d'une série d'instructions logico-mathématiques mais un environnement complexe d'automatismes décisionnels sur la base de gigantesques jeux de données (Datasets) que plus personne n'est en mesure de comprendre ou d'englober dans leur totalité, à commencer par ceux-là mêmes qui développent lesdits algorithmes et jeux de données**.
  • ...6 more annotations...
  • Et l'article du Guardian évoque donc ces "Franken-algorithms" : ces algorithmes semblables à la créature du Dr Frankenstein, des Franken-algorithmes qui deviennent totalement imprévisibles (et donc potentiellement très dangereux) non seulement au travers de leur mode opératoire "auto-apprenant" (on parle aussi d'algorithmes "génétiques" et "d'apprentissage renforcé" - Reinforced Learning) mais aussi et surtout au travers de ce que leur marge d'incertitude et d'imprévisibilité intrinsèque peut donner lorsqu'elle entre en interaction avec d'autres algorithmes, avec des comportements sociaux individuels ou collectifs, ou avec le monde - et les objets - physique(s).
  • Voilà ce qui, sur mon petit schéma donne naissance au "SPA", une sorte de "Service Public de l'Algorithmie" que mon côté Marxiste idéalise peut-être mais que je crois nécessaire et urgent de bâtir si nous voulons éviter de prendre le risque d'un Hiroshima technologique désormais plus que probable à l'échelle de nos formes démocratiques de gouvernance qui ont déjà en partie basculé dans les formes assumées et délétères de surveillance.
  • Au-delà de la seule transmission de connaissances ou d'informations, l'enjeu de l'apprentissage est de permettre à "celui qui apprend" de pouvoir un jour s'affranchir de la dépendance à "celui qui lui enseigne" certaines règles et certains codes sociaux. Et d'être en capacité de pouvoir à son tour "faire", "transmettre", "produire", "jouer" mais aussi "tricher" ou "faire semblant". Le souci, me semble-t-il, est que nous sommes aujourd'hui majoritairement et collectivement incapables de formuler clairement la raison pour laquelle nous voulons que ces algorithmes apprennent et nous échappent autrement.
  • Voilà pourquoi sans aller vers un radicalisme luddite dont Eric Sadin et quelques autres sont les opportunistes ténors, il nous faut construire une alternative politique qui, après le temps numérique de la "désintermédiation", soit celui de formes de remédiations respectueuses du corps social et partant de sa partie la plus fragile, la plus pauvre, et la plus exposée.
  • La vie de la cité aujourd'hui (c'est à dire "le" politique au sens étymologique), notre vie, est prise entre des techno-craties qui organisent l'espace économique et des techno-structures qui organisent l'espace social. Les plateformes comme Facebook, Google ou Amazon ont comme point commun d'être les premières techno-craties algorithmiques dans lesquelles les données ont fonction d'infrastructure et qui organisent l'espace social pour satisfaire à des impératifs d'organisation économique. 
  • Dans la montée partout en Europe (et ailleurs) des néo-fascismes qu'une pudibonderie tout à fait déplacée nous désigne sous l'euphémisme de "droites extrêmes", au moment où chacun est conscient de l'impact que jouent les architectures techniques toxiques dans la polarisation de l'opinion, alors même qu'il est établi, comme le rappelait récemment Cory Doctorow que  "le problème de Facebook n'est pas un problème de contrôle des esprits mais un problème de corruption : Cambridge Analytica n'a pas convaincu des gens ordinaires de devenir racistes mais ils ont convaincu des racistes d'aller voter", il ne faudrait pas qu'aux algorithmes du Dr Frankenstein s'ajoutent les ambitions politiques d'Anénoïd Hynkel.
Aurialie Jublin

Aucun algorithme, jamais, ne pourra défendre la démocratie - Libération - 0 views

  • Comment avons-nous pu nous retrouver au début du XXIe siècle dans une situation où Mark Zuckerberg – et quelques autres patrons de plateformes numériques – se fixent comme objectif récurrent de «protéger la démocratie», principalement à grands coups «d’algorithmes» et «d’intelligence artificielle» et affirment que cela sera une de leurs principales «missions» au sein de leur entreprise et à l’échelle du monde ?
  • En 2011, deux théoriciens de l’intelligence artificielle traitant des problèmes éthiques qu’allaient poser les algorithmes écrivaient que «les algorithmes de plus en plus complexes de prise de décision sont à la fois souhaitables et inévitables, tant qu’ils restent transparents à l’inspection, prévisibles pour ceux qu’ils gouvernent, et robustes contre toute manipulation» (Bostrom et Yudowski, «The Ethics of Artificial Intelligence»).
  • Aujourd’hui, «les algorithmes» dont nous parlons se déploient au sein d’architectures techniques toxiques englobant des millions ou des milliards d’utilisateurs. Aujourd’hui, «les algorithmes» dont nous parlons reposent sur des jeux de données propriétaires et donc totalement opaques. Aujourd’hui, «les algorithmes» dont nous parlons sont explicitement développés pour se doter d’un niveau d’autonomie (ou «d’apprentissage») qui rend leur «comportement» et leurs décisions souvent imprévisibles pour leurs créateurs eux-mêmes. Aujourd’hui, «les algorithmes» dont nous parlons interagissent en permanence avec d’autres algorithmes, d’autres jeux de données et d’autres architectures techniques toxiques ; et ils le font à des échelles toujours plus vastes et dans des environnements toujours plus contraints qui augmentent encore le niveau de risque et d’incertitude.
  • ...5 more annotations...
  • Pendant les dix dernières années, le combat principal d’activistes, de journalistes, de défenseurs des libertés numériques fut celui visant à limiter l’impact de l’empreinte algorithmique sur nos vies privées et intimes. Ce combat-là est terminé, obsolète et, pour l’essentiel, perdu. C’est un autre combat qu’il nous faut aujourd’hui mener, sur un tout autre front, avec une tout autre urgence et à une tout autre échelle. C’est le combat pour limiter l’impact de l’empreinte algorithmique décisionnelle sur notre vie publique, sur nos infrastructures sociales communes et sur notre destin collectif
  • Il est urgent et impératif que toute forme, ambition ou projet de gouvernance algorithmique, dès lors qu’il touche à des secteurs régaliens (transport, éducation, santé, justice, sécurité) soit, obligatoirement et par contrainte législative, développé sur le modèle des licences GNU GPL du logiciel libre pour garantir a minima l’auditabilité complète et pérenne des processus à l’œuvre.
  • Il est urgent et impératif que le développement d’un modèle universel de portabilité de l’ensemble de nos données (1) soit une priorité des Etats, et qu’il soit imposé à l’ensemble des acteurs du monde économique en lien avec la conservation ou le dépôt de données numériques, et ce quels qu’en soient la nature, le volume et l’usage.
  • Il est urgent et impératif que les entreprises qui captent aujourd’hui l’essentiel des données et des flux numériques (en gros les Gafam, Natu et autres Batx) soient taxées à la hauteur réelle de leur volume d’affaire et que cet impôt finance directement les actions précitées, ce processus de redistribution devant impérativement rester hors du contrôle desdites sociétés. Car le processus inverse a déjà commencé, celui dans lequel quelques entreprises omnipotentes s’arrogent le droit de défier la puissance publique et l’intérêt général dans la levée de l’impôt, comme Amazon et Starbucks en ont encore récemment fait la démonstration à Seattle.
  • L’enjeu est de savoir si nous serons capables à très court terme de construire une alternative qui, après le temps numérique de la «désintermédiation» des vingt dernières années, sera celle de formes de remédiations algorithmiques respectueuses du corps social et partant de sa partie la plus fragile, la plus pauvre, et la plus exposée. Alors peut-être, et alors seulement, les questions de gouvernance algorithmique pourront commencer d’être envisagées sereinement.
  •  
    "Nous avons perdu la bataille contre les algorithmes en ce qui concerne la vie privée. Il faut aujourd'hui se battre pour limiter leur impact sur nos vies publiques et notre destin collectif. "
Aurialie Jublin

Concrètement, comment rendre les algorithmes responsables et équitables ? | I... - 0 views

  • Et rappelle la difficulté à définir mathématiquement l’équité, comme l’a souligné l’informaticien Arvind Narayanan (@random_walker) lors de la dernière édition de la conférence FAT (la conférence annuelle sur l’équité, la responsabilité et la transparence). Outre les biais et déséquilibres statistiques, rappelle David Robinson (@drobinsonian), responsable des associations EqualFuture et Upturn (et qui a notamment publié un rapport sur la question de l’examen public des décisions automatisées (.pdf)), leur impact dépend surtout de la manière dont sont utilisés ces systèmes, avec le risque, que pointait Eubanks, que les plus discriminés soient encore plus surveillés par ces systèmes.
  • Pour remédier à ces problèmes, beaucoup d’agences américaines ont recours à des chercheurs extérieurs pour déjouer les biais de leurs systèmes. En avril, l’AI Now Institute a défini un cadre (voir le rapport (.pdf)) pour les organismes publics qui souhaitent mettre en place des outils de prise de décision algorithmique, recommandant notamment de mettre à contribution la communauté de la recherche et de permettre à ceux que le système calcul de faire appel des décisions prises à leur sujet.
  • Leurs recommandations invitent les systèmes à respecter le droit d’information du public, à recourir à des examens par des chercheurs indépendants, à améliorer l’expertise des organismes qui les conçoivent et à développer des modalités pour permettre au public de contester les décisions prises. L’initiative recommande aux agences publiques de répertorier et décrire les systèmes de décision automatisés, y compris d’évaluer leur portée et impact. Elle recommande également de mettre en place des modalités d’accès afin que des chercheurs, des experts indépendants, des associations ou des journalistes puissent accéder et évaluer ces systèmes et pour cela doivent s’assurer notamment que leurs fournisseurs privés de systèmes acceptent ces vérifications. Elle souligne également que les agences doivent monter en compétences pour être expertes des systèmes qu’elles mettent en place, notamment pour mieux informer le public, et invite les fournisseurs de solutions à privilégier l’équité, la responsabilité et la transparence dans leurs offres.
  • ...7 more annotations...
  • Mais ce n’est pas la seule piste qui permettrait d’interroger les biais des systèmes automatisés. Microsoft travaille à un outil de détection automatique des biais, Facebook également (notamment via le projet Fairness Flow annoncé par Isabel Kloumann du département d’IA de FB research à la dernière conférence de F8 Conference parmi une longue liste d’outils pour l’IA) rapporte la Technology Review.
  • La mathématicienne Cathy O’Neil (@mathbabedotorg, blog), qui s’est fait connaître en dénonçant les dangers de ces outils, a lancé une entreprise d’audit algorithmique. Visiblement, souligne Wired, ses premiers clients sont des entreprises qui ont besoin de certifier qu’elles sont équitables : comme cela a été le cas de Rentlogic, une entreprise qui évalue les immeubles automatiquement pour leur attribuer une note, ou comme Pymetrics, une entreprise qui utilise des tests de personnalité pour aider les entreprises à embaucher qui avait besoin d’assurer que ses logiciels n’étaient pas discriminants.
  • Dans son livre, Weapons of Math Destruction, Cathy O’Neil avait émis l’idée de créer un serment d’Hippocrate pour les datascientists, sous la forme d’un code de conduite édictant quelques principes moraux. Elle soulignait dans une remarquable interview pour Wired, que ce code de conduite n’était certes pas suffisant en soi, notamment parce que les datascientists ne sont pas seuls à décider de ce qui sera implémenté dans les services développés par les entreprises. Pour autant, ces techniciens ne peuvent pas seulement suivre « les recommandations des manuels d’optimisation qu’ils utilisent, sans tenir compte des conséquences plus larges de leur travail ».
  • Cathy O’Neil a proposé une matrice éthique, basée sur les travaux du philosophe Ben Mepham qui l’a utilisé en bioéthique, qui aide à saisir ce sur quoi ce que l’on développe a un impact, et de l’autre ce dont s’inquiète les gens qui sont impactés par ce que l’on développe. Cette grille confronte quelques notions (exactitude, cohérence, partialité, transparence, équité, rapidité) à leur impact sur chacune des parties prenantes. La matrice sert à créer une conversation. Chaque case propose des questions : « qui souffre si le système se trompe ? » Le but est de révéler des problèmes. Quand la réponse pose problème, la case est colorée de rouge.
  • Elle propose également de se poser plusieurs questions, comme « les algorithmes que nous déployons vont-ils améliorer les processus humains qu’ils remplacent ? » Bien souvent, on constate qu’ils fonctionnent beaucoup plus mal que les systèmes précédents. Pour elle, il est également nécessaire de se demander : « pour qui l’algorithme échoue-t-il ? » Un système de reconnaissance facial échoue-t-il plus souvent pour les femmes que pour les hommes, pour les gens de couleurs que pour les blancs, pour les personnes âgées que pour les jeunes ?… Enfin, elle invite à se poser une troisième catégorie de questions : « est-ce que cela fonctionne pour la société (donc à très large échelle) ? Est-ce que nous enregistrons les erreurs du système ? Peut-on les réintroduire dans l’algorithme pour l’améliorer ? Est-ce que le système a des conséquences non intentionnelles ?… » Et la chercheuse de rappeler qu’aucunes de ces questions ne mettent en danger les secrets des algorithmes que les entreprises veulent protéger.
  • Le militant pour la protection de la vie privée Aral Balkan (@aral) estime qu’un code d’éthique risque surtout d’être utilisé comme caution de vertu par les entreprises pour continuer à faire comme d’habitude. Appliquer le RGPD aux États-Unis aurait plus d’impact pour prévenir les dommages algorithmiques. Sur son blog, Virginia Eubanks a réagi en proposant plutôt un « serment de non-violence numérique », qui, dans la forme au moins, est plus impliquant pour celui amené à le prononcer que de signer à quelques grands principes vagues
  • Mais l’enjeu demeure de les mettre en pratique. « Tout code d’éthique des données vous indiquera que vous ne devez pas collecter des données de sujets expérimentaux sans leur consentement éclairé. Mais ce code de conduite ne vous dira pas comment implémenter ce consentement éclairé. Or, celui-ci est facile si vous interrogez quelques personnes pour une expérience de psychologie. Mais il signifie quelque chose de bien différent en ligne ». Et ce n’est pas la même chose bien sûr de demander la permission via une fenêtre pop-up par exemple ou que via une case précochée cachée… La mise en oeuvre de principes éthiques englobe des questions qui vont des choix dans l’interface utilisateur aux choix de structuration des données ou d’interrogation des données de connexion. Et pose la question de rendre néanmoins le service utilisable sans dégrader l’expérience utilisateur…
  •  
    "Face aux multiples biais inscrits dans la production même des données utilisées par les algorithmes et les outils d'apprentissage automatisés, le risque, rappelle la chercheuse Kate Crawford (@katecrowford), co-fondatrice de l'AI Now Institute (@AINowInstitute), est que « plutôt que de concevoir des systèmes censés résoudre les problèmes, nous les exacerbions »."
Aurialie Jublin

An Apology for the Internet - From the People Who Built It - 1 views

  • There have always been outsiders who criticized the tech industry — even if their concerns have been drowned out by the oohs and aahs of consumers, investors, and journalists. But today, the most dire warnings are coming from the heart of Silicon Valley itself. The man who oversaw the creation of the original iPhone believes the device he helped build is too addictive. The inventor of the World Wide Web fears his creation is being “weaponized.” Even Sean Parker, Facebook’s first president, has blasted social media as a dangerous form of psychological manipulation. “God only knows what it’s doing to our children’s brains,” he lamented recently.
  • To keep the internet free — while becoming richer, faster, than anyone in history — the technological elite needed something to attract billions of users to the ads they were selling. And that something, it turns out, was outrage. As Jaron Lanier, a pioneer in virtual reality, points out, anger is the emotion most effective at driving “engagement” — which also makes it, in a market for attention, the most profitable one. By creating a self-perpetuating loop of shock and recrimination, social media further polarized what had already seemed, during the Obama years, an impossibly and irredeemably polarized country.
  • The Architects (In order of appearance.) Jaron Lanier, virtual-reality pioneer. Founded first company to sell VR goggles; worked at Atari and Microsoft. Antonio García Martínez, ad-tech entrepreneur. Helped create Facebook’s ad machine. Ellen Pao, former CEO of Reddit. Filed major gender-discrimination lawsuit against VC firm Kleiner Perkins. Can Duruk, programmer and tech writer. Served as project lead at Uber. Kate Losse, Facebook employee No. 51. Served as Mark Zuckerberg’s speechwriter. Tristan Harris, product designer. Wrote internal Google presentation about addictive and unethical design. Rich “Lowtax” Kyanka, entrepreneur who founded influential message board Something Awful. Ethan Zuckerman, MIT media scholar. Invented the pop-up ad. Dan McComas, former product chief at Reddit. Founded community-based platform Imzy. Sandy Parakilas, product manager at Uber. Ran privacy compliance for Facebook apps. Guillaume Chaslot, AI researcher. Helped develop YouTube’s algorithmic recommendation system. Roger McNamee, VC investor. Introduced Mark Zuckerberg to Sheryl Sandberg. Richard Stallman, MIT programmer. Created legendary software GNU and Emacs.
  • ...45 more annotations...
  • How It Went Wrong, in 15 Steps Step 1 Start With Hippie Good Intentions …
  • I think two things are at the root of the present crisis. One was the idealistic view of the internet — the idea that this is the great place to share information and connect with like-minded people. The second part was the people who started these companies were very homogeneous. You had one set of experiences, one set of views, that drove all of the platforms on the internet. So the combination of this belief that the internet was a bright, positive place and the very similar people who all shared that view ended up creating platforms that were designed and oriented around free speech.
  • Step 2 … Then mix in capitalism on steroids. To transform the world, you first need to take it over. The planetary scale and power envisioned by Silicon Valley’s early hippies turned out to be as well suited for making money as they were for saving the world.
  • Step 3 The arrival of Wall Streeters didn’t help … Just as Facebook became the first overnight social-media success, the stock market crashed, sending money-minded investors westward toward the tech industry. Before long, a handful of companies had created a virtual monopoly on digital life.
  • Ethan Zuckerman: Over the last decade, the social-media platforms have been working to make the web almost irrelevant. Facebook would, in many ways, prefer that we didn’t have the internet. They’d prefer that we had Facebook.
  • Step 4 … And we paid a high price for keeping it free. To avoid charging for the internet — while becoming fabulously rich at the same time — Silicon Valley turned to digital advertising. But to sell ads that target individual users, you need to grow a big audience — and use advancing technology to gather reams of personal data that will enable you to reach them efficiently.
  • Harris: If you’re YouTube, you want people to register as many accounts as possible, uploading as many videos as possible, driving as many views to those videos as possible, so you can generate lots of activity that you can sell to advertisers. So whether or not the users are real human beings or Russian bots, whether or not the videos are real or conspiracy theories or disturbing content aimed at kids, you don’t really care. You’re just trying to drive engagement to the stuff and maximize all that activity. So everything stems from this engagement-based business model that incentivizes the most mindless things that harm the fabric of society.
  • Step 5 Everything was designed to be really, really addictive. The social-media giants became “attention merchants,” bent on hooking users no mater the consequences. “Engagement” was the euphemism for the metric, but in practice it evolved into an unprecedented machine for behavior modification.
  • Harris: That blue Facebook icon on your home screen is really good at creating unconscious habits that people have a hard time extinguishing. People don’t see the way that their minds are being manipulated by addiction. Facebook has become the largest civilization-scale mind-control machine that the world has ever seen.
  • Step 6 At first, it worked — almost too well. None of the companies hid their plans or lied about how their money was made. But as users became deeply enmeshed in the increasingly addictive web of surveillance, the leading digital platforms became wildly popular.
  • Pao: There’s this idea that, “Yes, they can use this information to manipulate other people, but I’m not gonna fall for that, so I’m protected from being manipulated.” Slowly, over time, you become addicted to the interactions, so it’s hard to opt out. And they just keep taking more and more of your time and pushing more and more fake news. It becomes easy just to go about your life and assume that things are being taken care of.
  • McNamee: If you go back to the early days of propaganda theory, Edward Bernays had a hypothesis that to implant an idea and make it universally acceptable, you needed to have the same message appearing in every medium all the time for a really long period of time. The notion was it could only be done by a government. Then Facebook came along, and it had this ability to personalize for every single user. Instead of being a broadcast model, it was now 2.2 billion individualized channels. It was the most effective product ever created to revolve around human emotions.
  • Step 7 No one from Silicon Valley was held accountable … No one in the government — or, for that matter, in the tech industry’s user base — seemed interested in bringing such a wealthy, dynamic sector to heel.
  • Step 8 … Even as social networks became dangerous and toxic. With companies scaling at unprecedented rates, user security took a backseat to growth and engagement. Resources went to selling ads, not protecting users from abuse.
  • Lanier: Every time there’s some movement like Black Lives Matter or #MeToo, you have this initial period where people feel like they’re on this magic-carpet ride. Social media is letting them reach people and organize faster than ever before. They’re thinking, Wow, Facebook and Twitter are these wonderful tools of democracy. But it turns out that the same data that creates a positive, constructive process like the Arab Spring can be used to irritate other groups. So every time you have a Black Lives Matter, social media responds by empowering neo-Nazis and racists in a way that hasn’t been seen in generations. The original good intention winds up empowering its opposite.
  • Chaslot: As an engineer at Google, I would see something weird and propose a solution to management. But just noticing the problem was hurting the business model. So they would say, “Okay, but is it really a problem?” They trust the structure. For instance, I saw this conspiracy theory that was spreading. It’s really large — I think the algorithm may have gone crazy. But I was told, “Don’t worry — we have the best people working on it. It should be fine.” Then they conclude that people are just stupid. They don’t want to believe that the problem might be due to the algorithm.
  • Parakilas: One time a developer who had access to Facebook’s data was accused of creating profiles of people without their consent, including children. But when we heard about it, we had no way of proving whether it had actually happened, because we had no visibility into the data once it left Facebook’s servers. So Facebook had policies against things like this, but it gave us no ability to see what developers were actually doing.
  • McComas: Ultimately the problem Reddit has is the same as Twitter: By focusing on growth and growth only, and ignoring the problems, they amassed a large set of cultural norms on their platforms that stem from harassment or abuse or bad behavior. They have worked themselves into a position where they’re completely defensive and they can just never catch up on the problem. I don’t see any way it’s going to improve. The best they can do is figure out how to hide the bad behavior from the average user.
  • Step 9 … And even as they invaded our privacy. The more features Facebook and other platforms added, the more data users willingly, if unwittingly, released to them and the data brokers who power digital advertising.
  • Richard Stallman: What is data privacy? That means that if a company collects data about you, it should somehow protect that data. But I don’t think that’s the issue. The problem is that these companies are collecting data about you, period. We shouldn’t let them do that. The data that is collected will be abused. That’s not an absolute certainty, but it’s a practical extreme likelihood, which is enough to make collection a problem.
  • Losse: I’m not surprised at what’s going on now with Cambridge Analytica and the scandal over the election. For long time, the accepted idea at Facebook was: Giving developers as much data as possible to make these products is good. But to think that, you also have to not think about the data implications for users. That’s just not your priority.
  • Step 10 Then came 2016. The election of Donald Trump and the triumph of Brexit, two campaigns powered in large part by social media, demonstrated to tech insiders that connecting the world — at least via an advertising-surveillance scheme — doesn’t necessarily lead to that hippie utopia.
  • Chaslot: I realized personally that things were going wrong in 2011, when I was working at Google. I was working on this YouTube recommendation algorithm, and I realized that the algorithm was always giving you the same type of content. For instance, if I give you a video of a cat and you watch it, the algorithm thinks, Oh, he must really like cats. That creates these feeder bubbles where people just see one type of information. But when I notified my managers at Google and proposed a solution that would give a user more control so he could get out of the feeder bubble, they realized that this type of algorithm would not be very beneficial for watch time. They didn’t want to push that, because the entire business model is based on watch time.
  • Step 11 Employees are starting to revolt. Tech-industry executives aren’t likely to bite the hand that feeds them. But maybe their employees — the ones who signed up for the mission as much as the money — can rise up and make a change.
  • Harris: There’s a massive demoralizing wave that is hitting Silicon Valley. It’s getting very hard for companies to attract and retain the best engineers and talent when they realize that the automated system they’ve built is causing havoc everywhere around the world. So if Facebook loses a big chunk of its workforce because people don’t want to be part of that perverse system anymore, that is a very powerful and very immediate lever to force them to change.
  • Duruk: I was at Uber when all the madness was happening there, and it did affect recruiting and hiring. I don’t think these companies are going to go down because they can’t attract the right talent. But there’s going to be a measurable impact. It has become less of a moral positive now — you go to Facebook to write some code and then you go home. They’re becoming just another company.
  • Step 12 To fix it, we’ll need a new business model … If the problem is in the way the Valley makes money, it’s going to have to make money a different way. Maybe by trying something radical and new — like charging users for goods and services.
  • Parakilas: They’re going to have to change their business model quite dramatically. They say they want to make time well spent the focus of their product, but they have no incentive to do that, nor have they created a metric by which they would measure that. But if Facebook charged a subscription instead of relying on advertising, then people would use it less and Facebook would still make money. It would be equally profitable and more beneficial to society. In fact, if you charged users a few dollars a month, you would equal the revenue Facebook gets from advertising. It’s not inconceivable that a large percentage of their user base would be willing to pay a few dollars a month.
  • Step 13 … And some tough regulation. Mark Zuckerberg testifying before Congress on April 10. Photo: Jim Watson/AFP/Getty Images While we’re at it, where has the government been in all this? 
  • Stallman: We need a law. Fuck them — there’s no reason we should let them exist if the price is knowing everything about us. Let them disappear. They’re not important — our human rights are important. No company is so important that its existence justifies setting up a police state. And a police state is what we’re heading toward.
  • Duruk: The biggest existential problem for them would be regulation. Because it’s clear that nothing else will stop these companies from using their size and their technology to just keep growing. Without regulation, we’ll basically just be complaining constantly, and not much will change.
  • McNamee: Three things. First, there needs to be a law against bots and trolls impersonating other people. I’m not saying no bots. I’m just saying bots have to be really clearly marked. Second, there have to be strict age limits to protect children. And third, there has to be genuine liability for platforms when their algorithms fail. If Google can’t block the obviously phony story that the kids in Parkland were actors, they need to be held accountable.
  • Stallman: We need a law that requires every system to be designed in a way that achieves its basic goal with the least possible collection of data. Let’s say you want to ride in a car and pay for the ride. That doesn’t fundamentally require knowing who you are. So services which do that must be required by law to give you the option of paying cash, or using some other anonymous-payment system, without being identified. They should also have ways you can call for a ride without identifying yourself, without having to use a cell phone. Companies that won’t go along with this — well, they’re welcome to go out of business. Good riddance.
  • Step 14 Maybe nothing will change. The scariest possibility is that nothing can be done — that the behemoths of the new internet are too rich, too powerful, and too addictive for anyone to fix.
  • García: Look, I mean, advertising sucks, sure. But as the ad tech guys say, “We’re the people who pay for the internet.” It’s hard to imagine a different business model other than advertising for any consumer internet app that depends on network effects.
  • Step 15 … Unless, at the very least, some new people are in charge. If Silicon Valley’s problems are a result of bad decision-making, it might be time to look for better decision-makers. One place to start would be outside the homogeneous group currently in power.
  • Pao: I’ve urged Facebook to bring in people who are not part of a homogeneous majority to their executive team, to every product team, to every strategy discussion. The people who are there now clearly don’t understand the impact of their platforms and the nature of the problem. You need people who are living the problem to clarify the extent of it and help solve it.
  • Things That Ruined the Internet
  • Cookies (1994) The original surveillance tool of the internet. Developed by programmer Lou Montulli to eliminate the need for repeated log-ins, cookies also enabled third parties like Google to track users across the web. The risk of abuse was low, Montulli thought, because only a “large, publicly visible company” would have the capacity to make use of such data. The result: digital ads that follow you wherever you go online.
  • The Farmville vulnerability (2007)   When Facebook opened up its social network to third-party developers, enabling them to build apps that users could share with their friends, it inadvertently opened the door a bit too wide. By tapping into user accounts, developers could download a wealth of personal data — which is exactly what a political-consulting firm called Cambridge Analytica did to 87 million Americans.
  • Algorithmic sorting (2006) It’s how the internet serves up what it thinks you want — automated calculations based on dozens of hidden metrics. Facebook’s News Feed uses it every time you hit refresh, and so does YouTube. It’s highly addictive — and it keeps users walled off in their own personalized loops. “When social media is designed primarily for engagement,” tweets Guillaume Chaslot, the engineer who designed YouTube’s algorithm, “it is not surprising that it hurts democracy and free speech.”
  • The “like” button (2009) Initially known as the “awesome” button, the icon was designed to unleash a wave of positivity online. But its addictive properties became so troubling that one of its creators, Leah Pearlman, has since renounced it. “Do you know that episode of Black Mirror where everyone is obsessed with likes?” she told Vice last year. “I suddenly felt terrified of becoming those people — as well as thinking I’d created that environment for everyone else.”
  • Pull-to-refresh (2009) Developed by software developer Loren Brichter for an iPhone app, the simple gesture — scrolling downward at the top of a feed to fetch more data — has become an endless, involuntary tic. “Pull-to-refresh is addictive,” Brichter told The Guardian last year. “I regret the downsides.”
  • Pop-up ads (1996) While working at an early blogging platform, Ethan Zuckerman came up with the now-ubiquitous tool for separating ads from content that advertisers might find objectionable. “I really did not mean to break the internet,” he told the podcast Reply All. “I really did not mean to bring this horrible thing into people’s lives. I really am extremely sorry about this.”
  • The Silicon Valley dream was born of the counterculture. A generation of computer programmers and designers flocked to the Bay Area’s tech scene in the 1970s and ’80s, embracing new technology as a tool to transform the world for good.
  •  
    Internet en 15 étapes, de sa construction à aujourd'hui, regards et regrets de ceux qui l'ont construit... [...] "Things That Ruined the Internet" les cookies 1994 / la faille Farmville 2007 / le tri algorithmique 2006 / le "like" 2009 / le "pull to refresh" 2009 / les "pop-up ads" 1996 [...]
Asso Fing

« On cherche à éveiller la conscience éthique des développeurs et data scient... - 0 views

  • Comment la communauté Data For Good utilise-t-elle les algorithmes ? Qu’est-ce qui vous différencie des grandes entreprises tech ? Avec Data For Good, on veut permettre aux associations, aux projets citoyens et aux institutions d’avoir accès à la data science, qui est utilisée uniquement par les grandes entreprises comme les GAFA et les start-up pour l’instant, car c’est un service qui coûte très cher. Notre communauté bénévole soutient certains projets comme celui de l’association Frateli, qui travaille sur du mentorat. On leur a créé une plateforme de matching, avec des algorithmes, pour matcher en un clic un mentor avec un mentoré, alors qu’avant tout était fait à la main sur un tableur Excel. L’humain garde la décision finale, il peut changer les résultats donnés par l’algorithme, mais cela reste beaucoup plus rapide.
  • Notre but n’est pas de récolter des données, on ne fait pas des algorithmes qui utilisent les données des utilisateurs pour faire de la publicité. De plus, les codes sources produits par Data For Good sont tous en open source, donc si une autre association veut les utiliser, elle peut le faire gratuitement et librement. Les GAFA ouvrent certains de leurs codes sources, mais c’est avant tout pour attirer des développeurs, et ils n’ouvrent que des bribes de leurs codes. Et ils savent très bien que sans les données qu’ils possèdent, ces extraits de codes ne servent à rien.
  • Vous travaillez aussi chez AlgoTransparency, une plateforme qui cherche à décrypter les mécanismes de l’algorithme de YouTube : avez-vous réussi à savoir comment était construit cet algorithme, qui est un secret bien gardé par YouTube ? Sur YouTube, on est enfermé dans une spirale de recommandations qui ne montre pas forcément le meilleur de l’humanité... Sur AlgoTransparency, on a mis en place un robot qui est capable de mesurer quelle vidéo est recommandée, à partir de quelle vidéo. On a donc des données sur ces vidéos, mais comprendre comment fonctionne l’algorithme est très compliqué car celui-ci est très complexe, et il évolue en permanence car il est ré-entraîné tous les jours. Nous, on a décidé d’étudier nos données, en rentrant des mots clés, et de voir ce qu’il en sort.
  • ...4 more annotations...
  • L’algorithme de la plateforme, et YouTube le dit lui-même, c’est de maximiser le temps passé sur la plateforme, le « watch time ». Et quand l’algorithme voit que les gens passent plus de temps sur la plateforme quand ils regardent des vidéos complotistes par exemple, il va plus recommander ce contenu. Il fait juste le boulot pour lequel on l’a programmé.
  • Et dans un second temps, on pourrait créer pour la plateforme un statut hybride, qui serait entre l’hébergeur, qui n’a pas de responsabilité sur le contenu qu’il héberge, et le média, qui a toute la responsabilité sur ce qu’il partage. Pour l’instant, YouTube dit être un hébergeur, car il ne peut pas éditorialiser tout le contenu qui se trouve sur la plateforme. Pourtant, les algorithmes ont un rôle éditorial : quand ils recommandent un million de fois une vidéo à des êtres humains, il y a un choix fait derrière, l’algorithme a privilégié un contenu plutôt qu’un autre.
  • Par contre, là où on peut avoir peur, c’est quand ces algorithmes, notamment de machine learning (c’est-à-dire des algorithmes qui vont apprendre à partir des données qu’on leur a fourni pour prédire des choses), impactent la vie humaine : par exemple, lorsqu’on les utilise dans l’espace public pour faire de la reconnaissance faciale, ou quand les décisions concernant les peines de prison sont prises par des algorithmes. Si on ne sait pas quels sont les critères choisis pour définir les algorithmes, c’est là que ça devient dangereux. Et c’est pour cela qu’on demande l’ouverture de tous les codes sources utilisés dans les administrations (comme la loi Le Maire le recommande).
  • Est-ce que le problème de l’algorithme ne serait pas de décontextualiser les données ? Normalement, c’est aux data scientists de garder en tête le contexte des données qu’ils étudient, et de savoir qu’elles peuvent être biaisées : par exemple, connaître le quartier où habitent les utilisateurs peut être un biais sur leur niveau social. Dans le serment d’Hippocrate de Data For Good, on cherche au mieux à éveiller la conscience éthique des data scientist, en « informant les parties prenantes sur (…) l’utilisation des données », en assurant que « les individus ne soient pas discriminés par rapport à des critères illégaux ou illégitimes », en « respectant la vie privée et la dignité humaine » et en « assumant ses responsabilités en cas de difficulté ou de conflits d’intérêts ».
  •  
    "Et si les développeurs et data scientists prêtaient serment, comme les médecins, pour une utilisation des données plus éthique ? Data For Good, une communauté de data scientists et de développeurs bénévoles au service de projets d'intérêt général, en a fait une de ses missions. Ce « serment d'Hippocrate » des data scientists sera mis en ligne le 26 juin, lors d'un « Demo Day » qui présentera les projets soutenus par Data For Good. Curieux d'en savoir plus, nous avons interrogé Frédéric Bardolle, membre de Data For Good et d'Algotransparency, une plateforme qui décrypte les mécanismes de l'algorithme de YouTube. "
Aurialie Jublin

Uberland : l'avenir du travail à l'heure des algorithmes | InternetActu.net - 0 views

  • Pour Alex Rosenblat, Uber a provoqué « un changement culturel fondamental sur ce que signifie avoir un emploi ». Uber a tiré un maximum de valeur des conducteurs en surfant sur les limites et ambiguïtés des normes culturelles et juridiques. Pour Adrian Chen, la gestion algorithmique d’Uber est moins une révolution qu’un affinage, à l’image des chauffeurs de taxi eux-mêmes, qui ont longtemps été dans une situation entre autonomie et dépendance, notamment avec nombre d’intermédiaires influant sur leurs possibilités de travail. Uber a simplement rendu cette sous-traitance plus efficace.
  • Adrian Chen pour Intelligencer explique que cette gestion algorithmique de la force de travail suppose une surveillance totale (jusqu’aux tremblements du téléphone pour s’assurer que le conducteur conduit en toute sécurité ! ce qui montre à nouveau, s’il en était besoin, que Uber n’est pas seulement un intermédiaire pour réaliser une transaction). Pourtant, de nombreux chauffeurs semblent satisfaits du travail qu’ils réalisent : ils apprécient la flexibilité et le complément de salaire que leur travail apporte. Même si les récits que Rosenblat a recueillis témoignent principalement d’une résignation épuisée. «Pour certains chauffeurs, ce travail est un véritable boulet, et pour d’autres, c’est un gilet de sauvetage».
  • Dans une interview pour CityLab, la chercheuse rappelle que malgré les efforts d’Uber, le taux de désengagement des chauffeurs est assez fort : 68 % d’entre eux quittent la plateforme dans les 6 mois. Elle pointe néanmoins que les outils d’Uber proposent des services que les collectivités ne savaient pas fournir, notamment en offrant des modalités de transports là où elles n’existaient pas (voir « Plateformes et métropoles » et « Vers une ville numérique ingouvernable »). Uber, derrière sa neutralité de façade, a surtout profité d’un Far West réglementaire pour s’imposer. Partout où elle s’est imposée, la firme a profondément déstabilisé la société (autour de la question du statut des chauffeurs), tout en offrant des avantages populaires (ouvrant de nouvelles dessertes et des prix bas notamment). Toute la question reste de trouver la balance entre les avantages et les inconvénients
  • ...10 more annotations...
  • Dans une tribune pour le New York Times, la chercheuse rappelait la difficulté de cette gestion algorithmique de la relation de travail (voir également « Qui des algorithmes ou des clients seront nos nouveaux patrons »). Une relation profondément asymétrique et qui se crispe notamment dès qu’il y a un problème. Elle souligne combien les informations que délivre Uber à ses chauffeurs comme à leurs passagers sont asymétriques. Un chauffeur de New York évoquait par exemple un échange avec un client qui montrait que celui-ci était facturé 40$ alors que pour le chauffeur, la course n’en coûtait que 28 !
  • Dans les années 70, le sociologue du travail britannique Michael Burawoy, dans son livre Produire le consentement (1979, traduit en français en 2015) constatait que si les travailleurs consentaient à leur propre exploitation, c’était en fait surtout par jeu. Burawoy expliquait que lorsque le travail prenait la forme d’un jeu, la principale source de tension n’était plus dans la relation des travailleurs avec les dirigeants, mais s’étendait aux autres travailleurs, aux machines et contre eux-mêmes. En proposant un sentiment d’autonomie et de contrôle relatifs, la ludification propose aux travailleurs de souscrire aux objectifs de l’entreprise. Lyft propose ainsi des défis à ses conducteurs en échange d’une prime supplémentaire : des défis assez difficiles à décrocher qui reposent sur le nombre de courses à réaliser à certains créneaux horaires.
  • 50 % des conducteurs de Uber cessent d’utiliser l’application au bout de deux mois. 4 % des conducteurs le sont encore après une année. Des rapports récents estiment que le revenu des chauffeurs à l’heure est souvent inférieur au salaire minimum.
  • Sur les forums de chauffeurs ou dans leurs discussions, ceux-ci spéculent sans cesse sur les algorithmes et les moyens de les déjouer, mais sans réellement ne jamais y parvenir. Ils tentent fréquemment de faire des déconnexions en masse de l’application pour faire monter les prix des courses, sans que l’effet n’ait jamais vraiment été assuré. Ces formes de déconnexion volontaires et organisées ressemblent à des microgrèves, à des microprotestations, sans jamais avoir permis de réelles émancipations.
  • Burawoy est à nouveau utile pour comprendre pourquoi. Le fait de « jouer » permet aux travailleurs d’exercer un contrôle limité sur le processus de travail. Mais les victoires qu’ils remportent renforcent leur engagement et leur consentement aux règles du jeu. À l’inverse, leurs échecs dirigent leur insatisfaction contre les obstacles du jeu, et non contre ceux qui en fixent les règles. Apprendre à utiliser intelligemment les paramètres du jeu, de l’algorithme, devient pour eux la seule option imaginable.
  • Après des semaines d’une conduite maniaque pour améliorer sa note… elle a constaté que cette amélioration était sans incidence directe (tant qu’elle restait au-dessus de 4,6/5) : cela ne générait ni réel bonus ni amélioration du niveau de rémunération. « En fait, je perdais de l’argent en essayant de flatter les clients avec des bonbons et de garder ma voiture scrupuleusement propre », simplement parce qu’elle souhaitait rester un pilote bien côté. « Ce qui est à la fois si brillant et affreux dans la ludification de Lyft et Uber, c’est qu’elle repose sur notre seul désir d’être utile, aimé et bon. Les semaines où je suis très bien noté, je suis plus motivé à conduire. Les semaines où je suis mal noté, je suis également plus motivé à conduire. » Une fois qu’on est pris dans la zone du jeu, il n’y a plus d’échappatoire !
  • Heureusement, la réaction à l’ubérisation s’est aussi peu à peu musclée. Pour Les Inrocks, Benoît Fabien revient sur le lancement de la Fédération transnationale des coursiers (FTC), qui a rassemblé fin octobre à Bruxelles des livreurs à domicile de toute l’Europe, à l’initiative du Groupe de recherche pour une stratégie économique alternative, de l’Alter Summit et du réseau ReAct, qui encourage les mobilisations transnationales face aux grandes entreprises. Un moyen de contrer la division et l’individualisation des plateformes de livraison pour rééquilibrer les relations de travail imposées par celles-ci. Les revendications sont nombreuses, mais s’organisent : salaire minimum, transparence des algorithmes, la liberté de se réunir en collectif…
  • les chauffeurs d’Uber s’informent des nouvelles fonctionnalités de la plateforme via ces outils, notamment quand Uber teste sur certains d’entre eux de nouvelles fonctionnalités. Le géographe Mark Graham a montré que plus de 50 % de travailleurs freelances qui utilisent des plateformes comme le Mechanical Turk d’Amazon ou Freelancer, sont en contact avec d’autres travailleurs de plateformes et échangent sur les tarifs, sur les tâches proposées et la qualité de ceux qui proposent du travail. Ces groupes servent souvent à des formes de coordination, comme l’a montré la grève des enseignants de Virginie-Occidentale, où 70 % des 35 000 enseignants de l’État étaient présents et ont permis d’articuler les revendications et d’organiser les protestations. Les groupes permettent également de fabriquer des hashtags, des gifs, des vidéos et des mêmes pour publiciser leurs actions. Si ces outils ne sont pas conçus pour soutenir le militantisme, le relai est assuré par des sites dédiés comme Coworker.org, permettant par exemple aux employés de Starbucks de faire pression sur la direction pour limiter le « clopening », le fait qu’un même employé soit chargé de la fermeture et de l’ouverture d’un magasin.
  • Reste que ces services ne sont pas toujours suffisamment en lien avec les syndicats existants : ils manquent d’assistance juridique, comme le proposent les syndicats, ou de fonds pour être maintenus. Les « startups du travail » ont assurément besoin de la force des syndicats pour se transformer. En Allemagne, IG Metal, l’un des plus importants syndicats, permet aux autoentrepreneurs de le rejoindre. Il a également lancé un site pour comparer les conditions de travail sur les plateformes baptisé Fair Crowd Work.
  • Pour Fredrik Soderqvist de Unionen, un syndicat suédois, les syndicats doivent apprendre également à mieux utiliser les données afin de permettre de créer des services adaptés aux transformations du monde… À l’exemple de Mystro, une application pour conducteurs, qui leur permet de basculer d’un service à l’autre, d’évaluer les demandes, de rejeter celles qui ne sont pas rentables, afin d’aider les conducteurs à prendre de meilleures décisions pour eux-mêmes. Assurément, s’emparer activement de la technologie pour les syndicats et les travailleurs peut leur permettre de contrer l’ubérisation… Ça ne remplace ni la lutte sociale ni la lutte légale, mais la lutte technologique peut permettre de faire des contre-propositions concrètes, de fournir des outils d’aide à la décision des travailleurs algorithmisés pour les aider à en comprendre le fonctionnement et à resymétriser la relation.
  •  
    "Dans Uberland : comment les algorithmes réécrivent les règles du travail (2018, Presse universitaire de Californie, non traduit), la chercheuse Alex Rosenblat (@mawnikr) a synthétisé quatre années de recherche ethnographique avec les conducteurs d'Uber. Un livre où transparaît une vision dystopique du travail où des millions de conducteurs sont gérés par un système technique qui combine à la fois l'autoritarisme du management scientifique à la Frederick Taylor et le leadership cynique d'un Michael Scott (le personnage incarné par Steve Carell dans la série The Office), rapporte Intelligencer."
Aurialie Jublin

« Algorithmes, la bombe à retardement » : un cri d'alarme citoyen - 0 views

  • Pour comprendre la thèse du livre, il faut en lire l’envoi : « À tous ceux que l’on donne perdants ». « On », ce sont les dominants qui, sous couvert de discours méritocratique et exaltant l’égalité des chances, déploient des algorithmes qui traquent les dominés dans un grand nombre de domaines et leur infligent de sévères dommages. Comme à la guerre.
  • Pour nommer ces algorithmes malfaisants, elle parle d’« ADM » pour « Arme de destruction mathématique ». Ces armes sont conçues sans que les soldats ne s’en rendent compte, comme elle l’écrit dans des travaux de recherche en géométrie algébrique et mathématique au MIT.
  • Ainsi du monde du travail, où elle réalise que les recrutements se font de plus en plus sans passer par un jugement humain. Dans un grand nombre de postes où la réputation est en jeu, il y a ceux qui peuvent s’acheter un service d’achats de followers Twitter à 19,95 $ par mois et ceux qui restent bloqués à un nombre confidentiel de fans et qui n’auront jamais de community à manager. À l’autre bout de l’échelle sociale, un nombre croissant de demandeurs d’emplois dans des multinationales comme Home Depot, Lowe’s ou Walgreen voient leurs candidatures bloquées par des algos, pour cause d’antécédents psychiatriques. 
  • ...2 more annotations...
  • L’analyse de Cathy O’Neil sur la puissance de destruction de certains algorithmes mal intentionnés vaut aussi dans le secteur de l’éducation. Aux Etats-Unis, les étudiants les plus pauvres se retrouvent ainsi inondés de pubs pour des facs de seconde catégorie, qui misent tout là-dessus pour remplir leurs amphis, quand les bonnes facs jouent plus de la réputation de leurs profs
  • « Les ADM se nourrissent les unes les autres. Les gens pauvres ont tendance à présenter un mauvais score de crédit et à vivre dans des quartiers à forte criminalité, entourés d’autres individus pauvres. Une fois ces données digérées, le sordide univers des ADM les bombarde de publicités prédatrices pour des prêts hypothécaires de type subprime ou des écoles à but lucratif. Il déploie plus de policiers pour les arrêter et, lorsqu’ils sont condamnés, leur inflige des peines de prisons plus longues… ».
  •  
    "Attention, c'est du brutal. Algorithmes, la bombe à retardement (Novembre 2018, Les Arènes) nous plonge dans les cuisines peu ragoûtantes des fabricants d'algorithmes. L'auteure, Cathy O'Neil, est une mathématicienne américaine de haut vol passée de l'université aux banques puis aux analyses en big data avant de se reconvertir en lanceuse d'alerte. Elle pousse ici un cri d'alarme citoyen : nous ne pouvons pas rester spectateurs d'un monde où nous sommes de plus en plus tributaires d'outils conçus de façon opaque, utilisés à des fins commerciales ou sécuritaires et ayant pour conséquence d'exacerber les inégalités."
Aurialie Jublin

De l'imbrication algorithmique | InternetActu.net - 0 views

  • Pour la programmeuse et essayiste Ellen Ullman, le problème est que la programmation est de plus en plus éloignée de la compréhension humaine du fait de l’intrication des programmes, algorithmes et données. Les gens pensent souvent que les algorithmes peuvent être modifiés, mais le plus souvent, ils s’exécutent et évoluent par eux-mêmes (cf. notre dossier, réinventer la programmation). Leurs concepteurs ne les contrôlent pas vraiment et ce d’autant plus qu’ils font appellent à des bases de données, à des bibliothèques de programmes distants, à d’autres algorithmes qui évoluent également.
  • Mais désormais, les algorithmes désignent des systèmes logiciels de prise de décision complexes, avec un nombre de règles et de critères volumineux, souvent interreliés et interdépendants. Or, ils nous ont été toujours présentés comme des promesses d’objectivité, d’où le fait qu’ils se soient étendus à nombre de décisions de la vie courante : octroi de prêts, de prestations, de places… Pourtant, ces décisions ne sont pas sans biais, du fait de la manière même dont ces relations sont conçues par les ingénieurs.
  • Le problème, c’est que quand l’algorithme apprend, nous ne savons plus quels sont les règles et les paramètres qu’il utilise puisqu’il les transforme. Ces algorithmes-là ne sont plus prévisibles et peuvent se mettre à produire des résultats erratiques. Pour Smith ce sont des « algorithmes Frankenstein », des machines qui créent leurs propres règles, comme ceux qui dominent désormais les marchés financiers via les transactions à haute fréquence. Pour Neil Johnson, physicien de la complexité à l’université George Washington, Facebook peut ainsi avoir des algorithmes simples pour reconnaître un visage dans une photo… Mais que se passe-t-il quand des milliers d’algorithmes travaillent ensemble sur des milliards de profils ? « Vous ne pouvez pas prédire le comportement global appris à partir de règles microscopiques ».
  • ...3 more annotations...
  • Pour la mathématicienne Cathy O’Neil (@mathbabedotorg), dans l’environnement algorithmique complexe actuel, il est difficile de définir les responsabilités des différents segments de codes imbriqués les uns aux autres. Les Flash Crash, ces krachs financiers éclair, n’ont pas lieu que sur les marchés financiers. La tarification algorithmique d’Amazon s’emballe aussi parfois en faisant grimper le prix de livres à des hauteurs folles. Or, comprendre où se situe la responsabilité de ces emballements n’est pas si simple. « Comme dans la finance, le déni est intégré au système ».
  • Éviter les conflits de code sur des millions de lignes de code alimentés par des flux d’information constants est extrêmement difficile. Pour l’historien des sciences George Dyson, le problème est que nous construisons des systèmes qui vont au-delà de nos moyens intellectuels pour les contrôler. Or, nous pensons que si un système est déterministe (c’est-à-dire qu’il agit selon des règles fixes), alors il est prévisible et que s’il est prévisible alors il peut être contrôlé. Mais ces deux hypothèses sont fausses, estime Dyson. « La loi d’Ashby dit qu’un système de contrôle doit être aussi complexe que le système qu’il contrôle ». Mais cela se révèle difficile. Nous ne savons pas tester cette complexité de manière exhaustive.
  • Une étude sur les attaques par drones au Pakistan entre 2003 et 2013 a ainsi montré que 2 % des personnes tuées par drones étaient des cibles présentant une menace. 20 % étaient considérés comme des non-combattants… Et 75 % étaient des cibles… « non identifiés ». Pour elle, nous sommes face à une technologie d’identification très grossière. Dans ce contexte, la perspective du développement d’armes autonomes laisse plus que perplexe. Pour Lilly Irani (@gleemie) de l’université de Californie, les choix des concepteurs d’algorithmes nous sont trop souvent présentés comme objectifs quand ils cachent des enjeux politiques.
  •  
    "On se souvient de la mort d'Elaine Herzberg, première humaine tuée par une voiture autonome en mars 2018 (voir l'enquête qu'en dressait l'écrivain Thierry Crouzet). Pour le Guardian, le journaliste Andrew Smith (@wiresmith) revient sur les hésitations de l'algorithme de la voiture à reconnaître ce qu'il se passait."
Aurialie Jublin

Technologie : l'âge sombre | InternetActu.net - 0 views

  • Pire, la technologie s’est fait la complice de tous les défis auxquels nous sommes confrontés : à la fois d’un système économique hors de contrôle qui ne cesse d’élargir les inégalités, la polarisation politique comme le réchauffement climatique. Pour Bridle, la technologie n’est pas la solution à ces défis, elle est devenue le problème. Il nous faut la comprendre plus que jamais, dans sa complexité, ses interconnexions et ses interactions : mais cette compréhension fonctionnelle ne suffit pas, il faut en saisir le contexte, les conséquences, les limites, le langage et le métalangage.
  • Trop souvent, on nous propose de résoudre ce manque de compréhension de la technologie par un peu plus d’éducation ou son corollaire, par la formation d’un peu plus de programmeurs. Mais ces deux solutions se limitent bien souvent en une compréhension procédurale des systèmes. Et cette compréhension procédurale vise surtout à renforcer la « pensée computationnelle », c’est-à-dire la pensée des ingénieurs et des informaticiens qui n’est rien d’autre que le métalangage du solutionnisme technologique 
  • Les systèmes techniques sont devenus de plus en plus complexes. Trop critiques et interconnectés pour être compris, pensés ou conçus. Leur compréhension n’est disponible plus que pour quelques-uns et le problème est que ces quelques-uns sont les mêmes que ceux qui sont au sommet des structures de pouvoir. Pour James Bridle, il y a une relation causale entre la complexité des systèmes, leur opacité, et les violences et inégalités qu’ils propagent.
  • ...32 more annotations...
  • Le cloud (l’informatique en nuage) n’est plus une métaphore du réseau, c’est l’incarnation de ce système global et surpuissant qu’aucun d’entre nous ne peut désormais attraper. Ce nuage est pourtant une bien mauvaise métaphore. Rien de ce qu’il recèle n’y est sans poids, rien n’y est amorphe ou invisible. Le cloud cache une infrastructure physique complexe faite de lignes téléphoniques, de fibre optique, de satellite, de vastes entrepôts d’ordinateurs, qui consomment d’énormes quantités d’énergie et qui influent sur de multiples juridictions. Le cloud est l’incarnation d’une nouvelle industrie.
  • De la sécurité nationale aux secrets industriels, il y a beaucoup de raisons à obscurcir ce que recouvre ce nuage. Mais ce qui s’en évapore est assurément notre propriété (dans les nuages, tout appartient à d’autres) et notre agentivité, c’est-à-dire notre capacité à faire.
  • Le réseau donne l’impression d’être à la fois l’idéal de progrès le plus abouti et l’idéal de base de notre culture tout en paraissant avoir émergé inconsciemment, poursuivant son but d’interconnexion sans fin pour lui-même et par lui-même… « Nous présumons que l’interconnexion est inhérente et inévitable. Le réseau semble être devenu le résultat du progrès, son accomplissement ultime », à l’image de machines qui accompliraient ainsi leurs propres désirs. Internet semble avoir accompli l’idéal des Lumières, l’idéal du progrès : celui que plus de connaissance et plus d’information conduit toujours à prendre de meilleures décisions.
  • Mais n’est-ce pas plutôt le contraire auquel nous assistons ? « Ce qui était censé éclairer le monde l’a obscurci. L’abondance d’information et la pluralité d’opinion accessible à tous n’ont pas produit un consensus cohérent, mais au contraire a déchiré la réalité en narrations simplistes, en théories fumeuses et en politique d’opinion. Contrairement au Moyen Âge, où l’âge sombre était lié à une perte de connaissance antique, l’âge sombre moderne est lié à une abondance de connaissance dont nous ne savons plus démêler collectivement l’apport. »
  • L’obscurité dont parle Bridle c’est notre incapacité à voir clairement ce qui est devant nous, avec capacité et justice. Pour Bridle pourtant, ce constat ne doit pas être lu comme une condamnation de la technologie. Au contraire. Pour relever l’âge sombre qui s’annonce, il nous faut nous engager plus avant dans la technologie, avec elle, mais avec une compréhension radicalement différente de ce qu’il est possible d’en faire, en retrouver un sens que la seule recherche d’efficacité nous a fait perdre. Tout comme le changement climatique, les effets de la technologie s’étendent sur le globe et affectent tous les aspects de nos vies. Mais comme le changement climatique, ses effets sont potentiellement catastrophiques et résultent de notre incapacité à comprendre les conséquences de nos propres inventions. Nous devons changer de manière de voir et penser le monde, nous invite Bridle, un peu facilement ou naïvement.
  • « En rapprochant la simulation de l’approximation, les grands prêtres de la pensée computationnelle pensent remplacer le monde par des modèles biaisés de lui-même ; et en le faisant, les modeleurs s’assurent du contrôle du monde. » James Bridle s’inscrit dans la continuité des constats de l’historien des sciences David Noble qui, dans Le progrès sans le peuple notamment, soulignait combien la pensée des ingénieurs avait contribué à donner du pouvoir aux puissants plutôt que favoriser l’équité ou la démocratie ; comme dans celle de Richard Sclove du Loka Institute, qui dans Choix technologiques, choix de société, soulignait combien les enjeux démocratiques restaient le parent pauvre de la question technologique.
  • La pensée computationnelle s’infiltre partout : elle devient notre culture. Elle nous conditionne à la fois parce qu’elle nous est illisible et à la fois parce que nous la percevons comme neutre émotionnellement et politiquement. Les réponses automatisées nous semblent plus dignes de confiance que celles qui ne le sont pas. Dans la pensée computationnelle, nous sommes victimes du biais d’automatisation : « nous avons plus confiance dans l’information automatisée que dans notre propre expérience, même si elle est en conflit avec ce qu’on observe ». Les conducteurs de voitures comme les pilotes d’avion ont plus tendance à croire leurs instruments que leur expérience, même si celle-ci n’est pas alignée.
  • Pour Bridle, l’informatique, en ce sens, est un piratage de notre capacité cognitive, de notre capacité attentionnelle, qui renvoie toute responsabilité sur la machine. « À mesure que la vie s’accélère, les machines ne cessent de prendre en main de plus en plus de tâches cognitives, renforçant par là leur autorité – sans regarder les conséquences ». « Nous nous accommodons de mieux en mieux et de plus en plus aux confortables raccourcis cognitifs que nous proposent nos machines. L’informatique remplace la pensée consciente. Nous pensons de plus en plus comme des machines, ou plutôt nous ne pensons plus du tout ! ».
  • « Ce qui est difficile à modéliser, à calculer, à quantifier, ce qui est incertain ou ambigu, est désormais exclu du futur possible. » L’informatique projette un futur qui ressemble au passé (« Les algorithmes ne prédisent pas le futur, ils codifient le passé », disait déjà Cathy O’Neil). La pensée computationnelle est paresseuse. Elle propose finalement des réponses faciles. Elle nous fait croire qu’il y a toujours des réponses.
  • les réseaux souffrent d’une gouvernance fragmentée, sans responsabilités claires, peu cartographiés et sous-financés ; des infrastructures en silos ; des investissements privés comme publics insuffisants et plus encore un manque de compréhension de la complexité de leur fonctionnement… expliquent leur fragilité intrinsèque et la difficulté de leur maintenance. Ajoutez à cela les impacts du changement climatique sur leur maintenance et leur évolution et vous comprendrez que les réseaux ne sont pas dimensionnés pour faire face au futur. Bref, non seulement l’informatique contribue largement au réchauffement climatique, mais elle risque d’en être l’une des principales victimes.
  • Mais les grands volumes de données ne produisent pas de la connaissance automatiquement. Dans la recherche pharmacologique par exemple, les dépenses et investissements n’ont jamais été aussi forts alors que les découvertes, elles, n’ont jamais produit aussi peu de nouveaux traitements. On appelle cela la loi d’Eroom : l’exact inverse de la loi de Moore. Le nombre de résultats de recherche chute et ces résultats sont de moins en moins dignes de confiance. Si les publications scientifiques n’ont jamais été aussi volumineuses (au détriment de leur qualité), les rétractions ont augmenté et le nombre de recherches ayant un impact significatif, elles, ont diminué proportionnellement. La science connaît une crise de réplicabilité majeure.
  • Plusieurs facteurs expliquent ce revirement de la loi du progrès. La première est que les choses les plus évidentes à découvrir ont été exploitées. La régulation est également devenue plus exigeante et la société moins tolérante aux risques. Mais le problème principal relève certainement des méthodes désormais employées. Historiquement, la découverte de médicament était le fait de petites équipes de chercheurs qui se concentrait intensément sur de petits groupes de molécules. Mais depuis 20 ans, ces processus ont été largement automatisés, sous la forme de ce qu’on appelle le HTS (High-throughput screening pour criblage à haut débit) qui consiste en des recherches automatisées de réactions potentielles via de vastes bibliothèques de composants. Le HTS a priorisé le volume sur la profondeur. Ce qui a marché dans d’autres industries a colonisé la recherche pharmaceutique : automatisation, systématisation et mesures… Certains commencent à douter de l’efficacité de ces méthodes et voudraient revenir à l’empirisme humain, au hasard, au bordel, au jeu… À nouveau, « la façon dont nous pensons le monde est façonnée par les outils à notre disposition ». Nos instruments déterminent ce qui peut être fait et donc, ce qui peut être pensé. À mesure que la science est de plus en plus technologisée, tous les domaines de la pensée humaine le sont à leur tour. Les vastes quantités de données ne nous aident qu’à voir les problèmes des vastes quantités de données.
  • Les bourses et places de marchés d’antan ont été remplacées par des entrepôts, des data centers, anonymes, dans des banlieues d’affaires impersonnelles. La dérégulation et la numérisation ont transformé en profondeur les marchés financiers. La vitesse des échanges s’est accélérée avec la technologie. Les transactions à haute fréquence (HFT, High-frequency trading) reposent sur la latence et la visibilité. La latence, c’est-à-dire la rapidité d’échange où des millions peuvent s’échanger en quelques millisecondes et la visibilité (sauf pour les non-initiés), c’est-à-dire le fait que les échanges sont visibles de tous les participants, instantanément. Les échanges reposent sur des algorithmes capables de calculer des variations éclair et de masquer les mouvements de fonds. Les échanges sont plus opaques que jamais : ils s’imposent sur des forums privés, les « dark pools » (en 2015, la SEC, l’organisme américain de réglementation et de contrôle des marchés financiers, estimait que les échanges privés représentaient 1/5e du total des échanges)… Les échanges financiers ont été rendus obscurs et plus inégaux que jamais, rappelle Bridle.
  • Pour Bridle, l’une des clefs qui expliquent que les inégalités se renforcent avec la technologie est intrinsèquement liée à l’opacité des systèmes. Comme les robots des entrepôts d’Amazon et ses employés commandés par des commandes vocales émanant de robots, nous sommes en train d’arranger le monde pour rendre les machines toujours plus efficaces, quitte à ce que le monde devienne incompréhensible et inadapté aux humains. Les travailleurs deviennent le carburant des algorithmes, utiles seulement pour leurs capacités à se déplacer et à suivre des ordres. Pour Bridle, les startups et les Gafam signent le retour des barons voleurs, ces tyrans industriels du XIXe siècle. La technologie est venue couvrir d’un voile d’opacité la prédation : l’avidité s’est habillée de la logique inhumaine des machines. Amazon ou Uber cachent derrière des pixels lumineux un système d’exploitation sans faille
  • Pour la sociologue Deborah Cowen (@debcowen), nous sommes entrés dans la tyrannie de la techne explique-t-elle dans The Deadly Life of Logistics (2014) : l’efficacité est devenu primordiale sur tous les autres objectifs, sur toutes les autres valeurs
  • Autre exemple avec How-Old.net un outil de reconnaissance faciale qui tente de prédire l’âge d’une personne, et qui a été utilisée pour deviner l’âge de migrants arrivants au Royaume-Uni. Microsoft, qui a développé cette application, s’est défendu et a dénoncé cette utilisation… comme les 2 chercheurs chinois. Ceux-ci expliquaient néanmoins dans leur défense que leur système était « sans préjugé » (sic). Comme souvent, on nous explique que la technologie, et plus encore l’apprentissage automatisé, est neutre. Mais « la technologie n’émerge pas de nulle part. Elle est toujours la réification de croyances et de désirs, notamment de ses créateurs. Leurs biais sont encodés dans les machines et les bases de données ou les images que nous prenons du monde. »
  • Pour Bridle, le problème n’est pas tant que les machines puissent réécrire la réalité, mais que la réalité, le passé comme le futur, ne puissent plus être correctement racontés. DeepDream de Google illustre parfaitement cela. L’enjeu n’est pas pour nous de comprendre ce qu’est l’image, mais de nous demander ce que le réseau de neurones veut y voir ?
  • Pour Bridle, nous devrions ajouter une 4e loi aux trois lois de la robotique d’Asimov. Les machines intelligentes devraient être capables de s’expliquer aux humains. Ce devrait être une loi première, car éthique. Mais le fait que ce garde-fou ait déjà été brisé laisse peu d’espoir quant au fait que les autres règles le soient à leur tour. « Nous allons devoir affronter un monde où nous ne comprendrons plus nos propres créations et le résultat d’une telle opacité sera toujours et inévitablement violent ».
  • Pour Bridle, l’alliance entre l’humain et la machine peut encore fonctionner, comme l’a montré Garry Kasparov avec les échecs avancés, consistant à ce qu’une IA et qu’un humain jouent ensemble plutôt qu’ils ne s’affrontent. C’est dans la perspective d’associer les talents des humains et des machines, d’associer leurs différences d’une manière coopérative plutôt que compétitive que nous parviendrons à réduire l’opacité computationnelle. La perspective que l’intelligence des machines nous dépasse dans nombre de disciplines est une perspective destructrice. Nous devons trouver la voie d’une éthique de la coopération avec les machines, plutôt qu’un affrontement.
  • Bridle s’en prend également longuement à la surveillance et notamment à la surveillance d’Etat pour souligner combien elle nous est masquée et continue à l’être, malgré les révélations d’Edward Snowden. Vous pouvez lire n’importe quel e-mail dans le monde d’une personne dont vous avez l’adresse. Vous pouvez regarder le trafic de tout site web. Vous pouvez suivre les mouvements de tout ordinateur portable à travers le monde. Pour Bridle, cela nous a montré qu’il n’y a pas de restriction possible à la capacité de surveillance du réseau. L’échelle et la taille de la surveillance a excédé ce que nous pensions comme étant techniquement possible.
  • En opposition au secret, nous demandons de la transparence, mais elle n’est peut-être pas le bon levier. La NSA et Wikileaks partagent la même vision du monde avec des finalités différentes, rappelle Bridle. Les deux pensent qu’il y a des secrets au coeur du monde qui, s’ils étaient connus, pourraient rendre le monde meilleur. Wikileaks veut la transparence pour tous. La NSA veut la transparence pour elle. Les deux fonctionnent sur une même vision du monde. Wikileaks ne voulait pas devenir le miroir de la NSA, mais voulait briser la machine de surveillance. En 2006, Assange a écrit « Conspiracy as Governance » (.pdf). Pour lui, tout système autoritaire repose sur des conspirations, car leur pouvoir repose sur le secret. Les leaks minent leur pouvoir, pas par ce qui fuite, mais parce que la peur et la paranoïa dégradent la capacité du système autoritaire à conspirer. Mais les fuites de données ne suffisent pas à remettre en cause ou à abattre l’autorité. Les révélations ne font pas bouger l’opinion, sinon, nous aurions réagi bien avant les révélations de Snowden. Tant que les organisations de surveillance ne changent pas de l’intérieur, ceux qui sont en dehors de ces organisations, comme les lanceurs d’alertes, n’ont pas de capacité d’action. Ils attendent que des fonctionnaires ou que la justice confirment ce qu’ils avancent.
  • Mais la lumière du calcul nous dépossède de pouvoir, car elle nous fait crouler sous l’information et nous donne un faux sens de la sécurité. C’est là encore une conséquence de la pensée computationnelle. « Notre vision est devenue universelle, mais notre capacité d’action, elle, s’est réduite plus que jamais. » A l’image du réchauffement climatique, à nouveau, « nous savons de plus en plus de choses sur le monde, mais nous sommes de moins en moins capable d’agir sur lui ». Au final, nous nous sentons plus démunis que jamais. Plutôt que de reconsidérer nos hypothèses, nous nous enfonçons dans la paranoïa et la désintégration sociale.
  • Le monde est devenu trop complexe pour des histoires simples. En fait, « la démultiplication de l’information ne produit pas plus de clarté, mais plus de confusion ». L’un des symptômes de la paranoïa consiste à croire que quelqu’un vous surveille. Mais cette croyance est désormais devenue raisonnable, s’amuse Bridle en évoquant la surveillance d’Etat comme la surveillance des services numériques. Nous sommes entièrement sous contrôle, tant et si bien qu’on peut se demander qui est paranoïaque désormais ?
  • « Les théories conspirationnistes sont le dernier ressort des sans pouvoirs, imaginant ce que serait que d’être puissant », avance Bridle. Pour le spécialiste de la postmodernité, Frederic Jameson, les théories conspirationnistes sont « la cartographie cognitive des plus démunis dans un âge postmoderne ». C’est la figure dégradée de la logique par ceux qui ont le moins de capital culturel, une tentative désespérée de se représenter un système qu’ils ne comprennent pas. Encerclé par l’évidence de la complexité, l’individu a recours à un récit simpliste pour tenter de regagner un peu de contrôle sur la situation. À mesure que la technologie augmente et accélère le monde, celui-ci devient plus complexe. Les théories conspirationnistes deviennent alors des réponses, étranges, intriquées et violentes, pour s’en accommoder.
  • Ainsi, si vous cherchez de l’information sur les vaccins, vous tomberez invariablement sur de l’information contre les vaccins. Si vous cherchez de l’information sur la rotondité de la terre, vous tomberez inexorablement sur ceux qui pensent qu’elle est plate. Ces opinions divergentes semblent devenir la majorité tant elles sont exprimées et répétées avec force. « Ce qui se passe quand vous désirez en savoir de plus en plus sur le monde entre en collision avec un système qui va continuer à assortir ses réponses à n’importe quelle question, sans résolution ». Vous trouverez toujours quelqu’un pour rejoindre vos points de vue. Et toujours un flux pour les valider. Voici l’âge de la radicalisation algorithmique (à l’image de ce que disait Zeynep Tufekci de YouTube). Les théories conspirationnistes sont devenues la narration dominante. Elles expliquent tout. Dans la zone grise des connaissances, tout prend un sens.
  • Les failles des algorithmes sont les dernières failles du capitalisme où certains s’infiltrent non pas pour le renverser, mais pour tenter de gratter un peu d’argent que les plus gros systèmes s’accaparent. Au final, des vidéos automatisées finissent par être vues par des enfants. Leurs personnages préférés y font n’importe quoi, parfois suggèrent des scènes de meurtre ou de viols. Ces effets de réseaux causent des problèmes réels. Les algorithmes de YouTube ont besoin d’exploitation pour produire leurs revenus. Derrière leurs aspects séduisants, ils encodent les pires aspects du marché, notamment l’avidité. « La capacité à exploiter l’autre est encodée dans les systèmes que nous construisons », pointe très justement James Bridle, puisque leur efficacité repose sur leur capacité à extraire de l’argent de nos comportements.
  • À défaut d’une solution, Google annonçait en avril que l’application YouTube Kids allait devenir « non-algorithmique »… À croire, comme le pointait très justement le chercheur Olivier Ertzscheid, que l’algorithimsation n’est pas une solution sans limites.
  • Pour Bridle, les humains sont dégradés des deux côtés de l’équation : à la fois dans l’exploitation qui est faite de leur attention et à la fois dans l’exploitation de leur travail. Ces nouvelles formes de violence sont inhérentes aux systèmes numériques et à leur motivation capitaliste. Le système favorise l’abus et ceux qui le produisent sont complices, accuse-t-il. L’architecture qu’ils ont construite pour extraire le maximum de revenus des vidéos en ligne a été hackée par d’autres systèmes pour abuser d’enfants à une échelle massive. Les propriétaires de ces plateformes ont une responsabilité forte dans l’exploitation qu’ils ont mise en place. « C’est profondément un âge sombre quand les structures qu’on a construites pour étendre la sphère de communications sont utilisées contre nous d’une manière systématique et automatique. »
  • Pour Bridle, les fausses nouvelles ne sont pas le produit de l’internet. Elles sont le produit de la cupidité et de la démocratisation de la propagande où tout a chacun peut devenir un propagandiste. Elles sont un amplificateur de la division qui existe déjà dans la société, comme les sites conspirationnistes amplifient la schizophrénie.
  • Mais ce qu’il y a de commun avec le Brexit, les élections américaines ou les profondeurs de YouTube, c’est que malgré tous les soupçons, il reste impossible de savoir qui fait ça, qu’elles sont leurs motivations, leurs intentions. On peut regarder sans fin ces flux vidéos, on peut parcourir sans fin les murs de mises à jour de statuts ou de tweets… cela ne permet pas de discerner clairement ce qui est généré algorithmiquement ou ce qui est construit délibérément et soigneusement pour générer des revenus publicitaires. On ne peut pas discerner clairement la fiction paranoïaque, l’action d’États, la propagande du spam… Ces confusions servent les manipulateurs quels qu’ils soient bien sûr, mais cela les dépasse aussi. C’est la manière dont le monde est. Personne ne semble réellement décider de son évolution… « Personne ne veut d’un âge sombre, mais nous le construisons quand même et nous allons devoir y vivre. »
  • Exploiter plus de données pour construire de meilleurs systèmes est une erreur. Cette méthode ne parviendra pas à prendre en compte la complexité humaine ni à la résoudre. Le développement de l’information n’a pas conduit à une meilleure compréhension du monde, mais au développement de points de vue alternatifs et concurrents. Nous devons changer nos façons de penser comme nous y invitait Lovecraft. Nous ne survivrons pas plus à l’information brute qu’à la bombe atomique. Le nouvel âge sombre est un lieu où le futur devient radicalement incertain et où le passé devient irrévocablement contesté. Mais c’est le présent dans lequel nous devons vivre et penser. Nous ne sommes pas sans pouvoir ni capacités. Mais pour cela nous devons nous défaire des promesses illusoires de la pensée computationnelle. Penser le monde autre, c’est ce à quoi nous invite James Bridle dans le nouvel âge sombre.
  • Reste à savoir si cet âge sombre des technologies est vraiment notre avenir. L’âge sombre du Moyen Âge n’a jamais vraiment existé ailleurs que dans les lacunes des historiens. On peut douter également de cette nouvelle obscurité ou regretter le titre faussement prophétique. Reste que la complexité et l’intrication du monde que décrit James Bridle, montrent combien il nous faut, plus que jamais, nous défaire justement d’une vision simple et manichéenne de la technologie.
  •  
    "Ce New Dark Age porte un titre prophétique et apocalyptique. Un peu trop peut-être. C'est effectivement un livre très critique sur notre rapport à la technologie, très éloigné du rapport souvent curieux et amusé que Bridle portait aux technologies avec la nouvelle esthétique. En une dizaine de chapitres, Bridle explore les glitchs qui sont désormais devenus des schismes, des scissions, des ruptures… comme s'ils n'étaient plus aussi distrayants. Dans son livre, il montre combien les bugs se cristallisent en caractéristiques. Combien la complexité technique que nous avons construite s'entremêle pour produire des effets en réseau, complexes, profonds, intriqués que nous ne parvenons plus vraiment à démêler. Son constat principal consiste à dire que ces dysfonctionnements ne sont pas amenés à être corrigés. Ils sont au contraire intrinsèques à la nature même des technologies qui se déploient aujourd'hui. Contrairement à ce que nous annonçaient les pionniers et les prophètes des technologies, pour Bridle, la technologie n'annonce pas de nouvelles Lumières ou une Renaissance, mais, comme Jules Michelet parlait du Moyen Âge, un âge sombre, une ère d'obscurité pour ne pas dire d'obscurantisme. Ni les réseaux sociaux, ni l'intelligence artificielle, ni les systèmes techniques ne vont nous aider à faire monde commun. Au contraire."
Aurialie Jublin

Commentaires pédophiles sous les vidéos de mineurs : que peut faire YouTube ?... - 0 views

  • Pour faire face à une telle demande de modération, les algorithmes ne suffisent pas. C’est pour cela que Google, qui détient YouTube, s’était engagée l’année dernière à « porter à 10 000 » le nombre de modérateurs, soit des « personnes chargées de lutter contre les contenus susceptibles de violer les politiques de Google et YouTube ». YouTube rappelle également s'être rapprochée d’organismes à but non lucratif comme la NCMEC aux Etats-Unis (Centre National pour les enfants disparus ou exploités) ou Point de Contact en France afin qu’ils transmettent les informations aux autorités compétentes. 
  • La modération, qu'elle soit algorithmique ou humaine, peut-elle suffir ? L'embauche de modérateurs laisse Fabrice Epelboin, spécialiste des réseaux sociaux et auteur d’une étude sur la pédophilie en ligne en 2010, perplexe : « Lorsqu’un juge prend une décision, il utilise son intelligence ou son jugement. Ici, on est face à des employés qui ne font qu’appliquer des règles, et qui en plus, sont payés au lance-pierre. » La modération algorithmique ne suffit pas non plus face à un contenu si immense, estime-t-il : « YouTube ne peut pas lutter. Il y a une quantité de contenus postés qui dépasse l’entendement. Je ne pense pas que cela soit utile de renforcer les algorithmes de YouTube pour l’instant, car l’intelligence artificielle n’est pas suffisamment opérationnelle aujourd’hui pour filtrer le web.»
  • Il ajoute également que dans le cas de cette nouvelle affaire, on ne peut pas écarter « l’option trollesque ». Il se peut, selon lui, qu’une partie des commentaires soit postée par des « trolls », des internautes qui postent des messages tendancieux pour alimenter les polémiques. « Ma première réaction a été de penser au forum 4chan, un équivalent de jeuxvideos.com aux Etats-Unis. Dans les années 2000, des utilisateurs s’amusaient à tourner en dérision la pédophilie en "trollant" sur des vidéos YouTube. Je me souviens notamment d’une vidéo de Justin Bieber qui avait été prise pour cible. »
  • ...2 more annotations...
  • Mais alors, quelle est la responsabilité de la plateforme dans la prolifération de ces commentaires et la facilité d'accès à ces vidéos, recommandées par son algorithme ? Le débat n’est pas nouveau. Facebook avait été fustigé pour avoir « laissé proliférer » des théories complotistes, voire encouragé celles-ci, notamment après la fusillade de Parkland en février 2018. La question ne cesse de revenir : doit-on simplement considérer YouTube, Twitter ou Facebook comme des plateforme d’hébergement et de partage, et donc accepter qu’elles ne soient pas responsables des contenus qui y sont publiés, ou doit-on exiger qu'elles soient responsables juridiquement en cas de scandales comme celui-ci ? 
  • Sur la question spécifique des contenus ou commentaires pédophiles, YouTube n’en est pas à son premier nettoyage. En décembre dernier, The Times of London avait révélé que 100 enfants avaient été les victimes de potentiels pédophiles sur YouTube. Alors qu’ils se filmaient en direct devant leur caméra pour s’amuser (livestreaming), des internautes leur ont demandé de retirer leurs vêtements ou d’adopter des poses sexualisées. Selon le journal, qui avait signalé ces vidéos, seulement la moitié des contenus avaient alors été supprimés par YouTube. Les journalistes ont dû contacter le service de presse de YouTube pour retirer l’autre moitié.
  •  
    "Malgré la vivacité des algorithmes ayant repéré les « CP » sur cette affaire Pokémon Go, des millions de vidéos d'enfants pullulent sur la plateforme sans que des commentaires pédophiles qui y sont associés ne soient modérés. Le contenu de ces vidéos n'est pas pédopornographique. On y voit majoritairement des jeunes filles en train de faire du yoga, de la gymnastique, ou de jouer au jeu d'équilibre Twister. Des vidéos familiales ou filmées par des enfants eux-mêmes, suffisamment habiles pour jouer avec leur mobile ou leur tablette. Mais ce qu'a soulevé le YouTubeur MattsWhatItIs dans une vidéo postée le 17 février, ce sont la non modération des commentaires pédophiles sous ces vidéos, ainsi que le rôle de l'algorithme de recommandation de YouTube. Muni d'un VPN et d'un nouveau compte, le Youtubeur a réussi à atteindre ces vidéos en quelques clics, en tapant « bikini haul » (une pratique qui consiste à montrer les maillots de bain qu'on vient d'acheter), « gymnastics » (gymnastique), ou encore « yoga ». Au départ, les vidéos proposées correspondent aux mots-clefs. Mais après deux ou trois clics dans la barre « vidéos similaires », des vidéos d'enfants apparaissent. Une fois le premier clic enclenché, on est plongé dans une bulle pernicieuse qui ne nous propose rien d'autre que des vidéos de petites filles."
Aurialie Jublin

Jean Haëntjens : comment les géants du numérique veulent gouverner nos villes... - 0 views

  •  
    "La ville est le lieu où l'on vit, où l'on travaille et où l'on se déplace, où l'on se socialise et parfois même où l'on fonde une famille. Questionner son futur est une tâche immense. En France, un tiers du PIB est dédié à la construction et à la maintenance de nos villes sous tous leurs aspects : immeubles, maisons, réseaux de transports individuels et collectifs, etc. En 2050, trois milliards d'êtres humains vivront dans des villes qui seront des territoires de plus en plus complexes qu'habiteront une multitude d'acteurs aux intérêts parfois convergents, parfois non. Cet entremêlement de contextes renouvelle la question de la bonne administration des villes, qui de plus, se confronte à l'entrée des technologies numériques dans la vie publique. Selon l'urbaniste et économiste Jean Haëntjens, l'avenir des villes pourrait schématiquement suivre deux voies : la première serait celle de la cité politique, une agora humaniste au service du bien commun. La seconde serait la « smart-city » : une ville régie et optimisée par les algorithmes, dans ses qualités comme dans ses défauts. Dans son ouvrage Comment les géants du numérique veulent gouverner nos villes. La cité face aux algorithmes (Editions Rue de l'Echiquier, 2018), l'auteur nous explique ce qui différencie ces deux modèles, leurs forces et faiblesses respectives, au-delà des discours illuminés et sans entretenir une quelconque « nostalgie du village »."
Aurialie Jublin

It's Time to Break Up Facebook - The New York Times - 0 views

  • Mark’s influence is staggering, far beyond that of anyone else in the private sector or in government. He controls three core communications platforms — Facebook, Instagram and WhatsApp — that billions of people use every day. Facebook’s board works more like an advisory committee than an overseer, because Mark controls around 60 percent of voting shares. Mark alone can decide how to configure Facebook’s algorithms to determine what people see in their News Feeds, what privacy settings they can use and even which messages get delivered. He sets the rules for how to distinguish violent and incendiary speech from the merely offensive, and he can choose to shut down a competitor by acquiring, blocking or copying it.
  • Mark is a good, kind person. But I’m angry that his focus on growth led him to sacrifice security and civility for clicks. I’m disappointed in myself and the early Facebook team for not thinking more about how the News Feed algorithm could change our culture, influence elections and empower nationalist leaders. And I’m worried that Mark has surrounded himself with a team that reinforces his beliefs instead of challenging them.
  • We are a nation with a tradition of reining in monopolies, no matter how well intentioned the leaders of these companies may be. Mark’s power is unprecedented and un-American.It is time to break up Facebook.
  • ...26 more annotations...
  • We already have the tools we need to check the domination of Facebook. We just seem to have forgotten about them.America was built on the idea that power should not be concentrated in any one person, because we are all fallible. That’s why the founders created a system of checks and balances. They didn’t need to foresee the rise of Facebook to understand the threat that gargantuan companies would pose to democracy. Jefferson and Madison were voracious readers of Adam Smith, who believed that monopolies prevent the competition that spurs innovation and leads to economic growth.
  • The Sherman Antitrust Act of 1890 outlawed monopolies. More legislation followed in the 20th century, creating legal and regulatory structures to promote competition and hold the biggest companies accountable. The Department of Justice broke up monopolies like Standard Oil and AT&T.
  • For many people today, it’s hard to imagine government doing much of anything right, let alone breaking up a company like Facebook. This isn’t by coincidence. Starting in the 1970s, a small but dedicated group of economists, lawyers and policymakers sowed the seeds of our cynicism. Over the next 40 years, they financed a network of think tanks, journals, social clubs, academic centers and media outlets to teach an emerging generation that private interests should take precedence over public ones. Their gospel was simple: “Free” markets are dynamic and productive, while government is bureaucratic and ineffective. By the mid-1980s, they had largely managed to relegate energetic antitrust enforcement to the history books.
  • It was this drive to compete that led Mark to acquire, over the years, dozens of other companies, including Instagram and WhatsApp in 2012 and 2014. There was nothing unethical or suspicious, in my view, in these moves.
  • Over a decade later, Facebook has earned the prize of domination. It is worth half a trillion dollars and commands, by my estimate, more than 80 percent of the world’s social networking revenue. It is a powerful monopoly, eclipsing all of its rivals and erasing competition from the social networking category. This explains why, even during the annus horribilis of 2018, Facebook’s earnings per share increased by an astounding 40 percent compared with the year before. (I liquidated my Facebook shares in 2012, and I don’t invest directly in any social media companies.)
  • Facebook’s dominance is not an accident of history. The company’s strategy was to beat every competitor in plain view, and regulators and the government tacitly — and at times explicitly — approved. In one of the government’s few attempts to rein in the company, the F.T.C. in 2011 issued a consent decree that Facebook not share any private information beyond what users already agreed to. Facebook largely ignored the decree. Last month, the day after the company predicted in an earnings call that it would need to pay up to $5 billion as a penalty for its negligence — a slap on the wrist — Facebook’s shares surged 7 percent, adding $30 billion to its value, six times the size of the fine.
  • As markets become more concentrated, the number of new start-up businesses declines. This holds true in other high-tech areas dominated by single companies, like search (controlled by Google) and e-commerce (taken over by Amazon). Meanwhile, there has been plenty of innovation in areas where there is no monopolistic domination, such as in workplace productivity (Slack, Trello, Asana), urban transportation (Lyft, Uber, Lime, Bird) and cryptocurrency exchanges (Ripple, Coinbase, Circle).
  • Facebook’s business model is built on capturing as much of our attention as possible to encourage people to create and share more information about who they are and who they want to be. We pay for Facebook with our data and our attention, and by either measure it doesn’t come cheap.
  • The most problematic aspect of Facebook’s power is Mark’s unilateral control over speech. There is no precedent for his ability to monitor, organize and even censor the conversations of two billion people.Facebook engineers write algorithms that select which users’ comments or experiences end up displayed in the News Feeds of friends and family. These rules are proprietary and so complex that many Facebook employees themselves don’t understand them.
  • Facebook has responded to many of the criticisms of how it manages speech by hiring thousands of contractors to enforce the rules that Mark and senior executives develop. After a few weeks of training, these contractors decide which videos count as hate speech or free speech, which images are erotic and which are simply artistic, and which live streams are too violent to be broadcast. (The Verge reported that some of these moderators, working through a vendor in Arizona, were paid $28,800 a year, got limited breaks and faced significant mental health risks.)
  • As if Facebook’s opaque algorithms weren’t enough, last year we learned that Facebook executives had permanently deleted their own messages from the platform, erasing them from the inboxes of recipients; the justification was corporate security concerns. When I look at my years of Facebook messages with Mark now, it’s just a long stream of my own light-blue comments, clearly written in response to words he had once sent me. (Facebook now offers this as a feature to all users.)
  • Mark used to insist that Facebook was just a “social utility,” a neutral platform for people to communicate what they wished. Now he recognizes that Facebook is both a platform and a publisher and that it is inevitably making decisions about values. The company’s own lawyers have argued in court that Facebook is a publisher and thus entitled to First Amendment protection.
  • Mark knows that this is too much power and is pursuing a twofold strategy to mitigate it. He is pivoting Facebook’s focus toward encouraging more private, encrypted messaging that Facebook’s employees can’t see, let alone control. Second, he is hoping for friendly oversight from regulators and other industry executives.
  • In an op-ed essay in The Washington Post in March, he wrote, “Lawmakers often tell me we have too much power over speech, and I agree.” And he went even further than before, calling for more government regulation — not just on speech, but also on privacy and interoperability, the ability of consumers to seamlessly leave one network and transfer their profiles, friend connections, photos and other data to another.
  • Facebook isn’t afraid of a few more rules. It’s afraid of an antitrust case and of the kind of accountability that real government oversight would bring.
  • Mark may never have a boss, but he needs to have some check on his power. The American government needs to do two things: break up Facebook’s monopoly and regulate the company to make it more accountable to the American people.First, Facebook should be separated into multiple companies. The F.T.C., in conjunction with the Justice Department, should enforce antitrust laws by undoing the Instagram and WhatsApp acquisitions and banning future acquisitions for several years. The F.T.C. should have blocked these mergers, but it’s not too late to act. There is precedent for correcting bad decisions — as recently as 2009, Whole Foods settled antitrust complaints by selling off the Wild Oats brand and stores that it had bought a few years earlier.
  • Still others worry that the breakup of Facebook or other American tech companies could be a national security problem. Because advancements in artificial intelligence require immense amounts of data and computing power, only large companies like Facebook, Google and Amazon can afford these investments, they say. If American companies become smaller, the Chinese will outpace us.While serious, these concerns do not justify inaction. Even after a breakup, Facebook would be a hugely profitable business with billions to invest in new technologies — and a more competitive market would only encourage those investments. If the Chinese did pull ahead, our government could invest in research and development and pursue tactical trade policy, just as it is doing today to hold China’s 5G technology at bay.
  • The cost of breaking up Facebook would be next to zero for the government, and lots of people stand to gain economically. A ban on short-term acquisitions would ensure that competitors, and the investors who take a bet on them, would have the space to flourish. Digital advertisers would suddenly have multiple companies vying for their dollars.
  • But the biggest winners would be the American people. Imagine a competitive market in which they could choose among one network that offered higher privacy standards, another that cost a fee to join but had little advertising and another that would allow users to customize and tweak their feeds as they saw fit. No one knows exactly what Facebook’s competitors would offer to differentiate themselves. That’s exactly the point.
  • Just breaking up Facebook is not enough. We need a new agency, empowered by Congress to regulate tech companies. Its first mandate should be to protect privacy.The Europeans have made headway on privacy with the General Data Protection Regulation, a law that guarantees users a minimal level of protection. A landmark privacy bill in the United States should specify exactly what control Americans have over their digital information, require clearer disclosure to users and provide enough flexibility to the agency to exercise effective oversight over time. The agency should also be charged with guaranteeing basic interoperability across platforms.
  • Finally, the agency should create guidelines for acceptable speech on social media. This idea may seem un-American — we would never stand for a government agency censoring speech. But we already have limits on yelling “fire” in a crowded theater, child pornography, speech intended to provoke violence and false statements to manipulate stock prices. We will have to create similar standards that tech companies can use. These standards should of course be subject to the review of the courts, just as any other limits on speech are. But there is no constitutional right to harass others or live-stream violence.
  • These are difficult challenges. I worry that government regulators will not be able to keep up with the pace of digital innovation. I worry that more competition in social networking might lead to a conservative Facebook and a liberal one, or that newer social networks might be less secure if government regulation is weak. But sticking with the status quo would be worse: If we don’t have public servants shaping these policies, corporations will.
  • Similarly, the Justice Department’s 1970s suit accusing IBM of illegally maintaining its monopoly on personal computer sales ended in a stalemate. But along the way, IBM changed many of its behaviors. It stopped bundling its hardware and software, chose an extremely open design for the operating system in its personal computers and did not exercise undue control over its suppliers. Professor Wu has written that this “policeman at the elbow” led IBM to steer clear “of anything close to anticompetitive conduct, for fear of adding to the case against it.”
  • Finally, an aggressive case against Facebook would persuade other behemoths like Google and Amazon to think twice about stifling competition in their own sectors, out of fear that they could be next. If the government were to use this moment to resurrect an effective competition standard that takes a broader view of the full cost of “free” products, it could affect a whole host of industries.
  • I take responsibility for not sounding the alarm earlier. Don Graham, a former Facebook board member, has accused those who criticize the company now as having “all the courage of the last man leaping on the pile at a football game.” The financial rewards I reaped from working at Facebook radically changed the trajectory of my life, and even after I cashed out, I watched in awe as the company grew. It took the 2016 election fallout and Cambridge Analytica to awaken me to the dangers of Facebook’s monopoly. But anyone suggesting that Facebook is akin to a pinned football player misrepresents its resilience and power.
  • This movement of public servants, scholars and activists deserves our support. Mark Zuckerberg cannot fix Facebook, but our government can.
  •  
    "Since then, Mark's personal reputation and the reputation of Facebook have taken a nose-dive. The company's mistakes - the sloppy privacy practices that dropped tens of millions of users' data into a political consulting firm's lap; the slow response to Russian agents, violent rhetoric and fake news; and the unbounded drive to capture ever more of our time and attention - dominate the headlines. It's been 15 years since I co-founded Facebook at Harvard, and I haven't worked at the company in a decade. But I feel a sense of anger and responsibility."
Aurialie Jublin

Amazon's system for tracking its warehouse workers can automatically fire them - MIT Te... - 0 views

  •  
    "A world where people are monitored and supervised by machines isn't confined to the realms of sci-fi. It's here now. Tough conditions: There have been many reports over recent years about unpleasant conditions workers face at Amazon warehouses. Employees are under pressure to pack hundreds of boxes per hour, and face being fired if they aren't fast enough. What's new: Documents obtained by The Verge show that it's far more common for people to be fired due to lack of productivity than outsiders realize. Roughly 300 people were fired at a single facility between August 2017 and September 2018 for that reason. And crucially, the documents show that much of the firing process is automated. The automation aspect: Amazon tracks every individual workers' productivity, and automatically generates warnings or even terminations without any input from supervisors, the company said. Managers can override the process, but it didn't say how regularly they do. Amazon says that the termination process can be appealed. Wider implications: Uber drivers have complained of "management by algorithm." This is not the first "fired by a computer" case but, as automation marches on, these stories are likely to become a lot more common."
Aurialie Jublin

Sur Google, le mot « lesbienne » ne renverra plus vers de la pornographie - 0 views

  • Victoire pour l’équipe de SEOlesbienne, et pour toutes les femmes homosexuelles lassées d’être réduites à une simple catégorie sur les sites pornos. Le mouvement, lancé en avril 2019, pointait du doigt les dérives de l’algorithme Google, qui renvoyait chaque recherche du mot « lesbienne » vers du contenu pornographique. Depuis le jeudi 18 juillet, l’algorithme Google propose des articles de presse, des ressources pédagogiques ou des contenus viraux. Mais le terme continue d’être fortement connoté et parfois même censuré, notamment sur Facebook et Instagram.
  • « Nous voulons détruire ce mythe de l’algorithme sans tête, qui n’aurait pas été créé par un humain. Un algorithme capable de nous engloutir et sur lequel nous n’aurions aucun pouvoir », souligne-t-elle. Une ignorance traduite par les critiques adressées à SEOlesbienne, souvent de la part de personnes très jeunes, qui affirmaient l'impossibilité de s'élever contre une grosse machine Google déshumanisée. Pour Fanchon, il ne faut pas oublier que ce sont des êtres humains qui programment ces algorithmes, et induisent des biais sexistes : « Considérer la subjectivité de Google, la prendre en compte, c’est aussi se dire que les résultats Google ne sont pas neutres ».
  • « L’ancien algorithme Google n’était rien d’autre que de la lesbophobie s’exprimant par de l’hypersexualisation ». Les recherches des mots « gay » ou « homosexuel », destinées aux hommes donc, ne renvoient pas directement à du contenu pornographique. Ces transformations profondes sont, selon elle, concomitantes à la lutte des femmes, à leur émancipation et à une nouvelle forme de militantisme post #metoo. Car à travers ces recherches Google se cachent un véritable enjeu de santé publique. De nombreuses jeunes filles n'ont pas accès à une information de qualité et à une éducation sexuelle adaptée.
  • ...1 more annotation...
  • Sans compter que l’objectification des femmes lesbiennes a des répercussions catastrophiques sur leur vie quotidienne. « Les personnes lesbiennes, gaies, bi et trans se suicident en moyenne 4 fois plus que le reste de la population », rappelle l'Inter-LGBT. Les discriminations, les violences et les insultes sont les principales causes de cette surexposition au suicide.
  •  
    "Depuis le 18 juillet, une saisie Google du mot « lesbienne » ne conduira plus systématiquement vers de la pornographie et proposera dorénavant du contenu informatif. On fait le point avec la créatrice de SEOLesbienne, la cyberactiviste Fanchon.  "
Aurialie Jublin

Kanye West et la tyrannie des likes - Libération - 0 views

  •  
    Extrait : L'audience n'est en rien un critère de qualité. Nécessaires pour nourrir les algorithmes qui sélectionnent les contenus, les métriques ont bien davantage tendance à uniformiser les contenus. Parce que les internautes ont intériorisé les critères de «likabilité», toutes les photos Instagram finissent par se ressembler et tous les top-tweets semblent rédigés par la même personne, avec les mêmes tournures de phrase à la mode. La vraie vie s'éloigne ainsi des réseaux, qui n'en reçoivent plus qu'une version filtrée, révisée par la direction marketing et prête pour publication. C'est pour cette raison que Snapchat n'a jamais implémenté la fonction like.
Aurialie Jublin

Brésil : le numérique fait-il du mal à la démocratie ? - 0 views

  • Dans un ouvrage publié l’année dernière : Le temps des algorithmes, deux informaticiens français - Serge Abiteboul et Gilles Dowek-  expliquaient que le rythme relativement lent auquel étaient consultées les populations dans une démocratie (une élection par an en moyenne) avait été dicté au cours des XVIIIe et XIXe par la lenteur des communications elles-mêmes - une diligence, ça ne va pas vite, organiser des élections prenaient du temps. A l’heure où une information va à la vitesse de la lumière, il semble impossible de ne pas revoir ce rythme. Dit comme ça, ça a l’air évident. 
  • Dans un livre paru il y a cinq ans (The New Digital Age), Jared Cohen et Eric Schmidt (à l’époque patron de Google) annonçaient tranquillement l’avènement d’un nouveau monde où les plateformes numériques suppléeraient les États dans bien des fonctions de la vie publique, jusque dans l’organisation de la vie démocratique. 
  • Lutter contre l’ambition des GAFA à se substituer à l’Etat, contre les États qui essaient d’interférer dans les élections d’autres pays, lutter contre l’usage des réseaux sociaux à des fins de fausses informations. Tout en promouvant de nouvelles manières de consulter les peuples, d’écrire en commun une constitution comme l’a fait l’Islande etc. Il y a du boulot… 
  • ...1 more annotation...
  • Comment se fait-il que ce soit à un moment où, pour la première fois dans l’histoire de l’Humanité, on peut communiquer aussi facilement avec le monde entier, lire, regarder et entendre ce qui se passe ailleurs en un clic, avoir accès aussi vite aux savoirs les plus anciens et les plus lointains, s’exprimer à égalité, comment se fait-il que ce soit dans ce moment-là que réapparaissent aussi violemment tous les protectionnismes les plus durs et les xénophobies les plus haineuses ?  Y a-t-il un rapport entre ces deux mouvements contraires ?  Ou Internet n’a-t-il rien à voir dans ce qui nous arrive politiquement ? 
  •  
    "L'élection de Jair Bolsonaro à la tête du Brésil pose la question qui semble se poser à chaque nouvelle élection d'un dirigeant fachistoïde à la tête d'une démocratie : quel rôle a joué Internet (et notamment WhatsApp) dans tout ça ?"
Aurialie Jublin

Maîtriser ce qu'on peut : créer son cloud perso - Le blog de Guillaume Champeau - 0 views

  •  
    "Aujourd'hui, j'ai sur mon serveur perso attaché à mon nom de domaine : - Mes propres mails qu'aucun individu ni aucune machine ne lit (à part l'antispam) ; - Mon propre service de revue de presse qui ne dépend d'aucun algorithme créé par d'autres et qui me permet de lire sans que personne sache ce que je lis ; - Mon propre service d'hébergement de photos, vidéos, et autres documents que je peux synchroniser depuis mon smartphone ou mon PC ; - Mon propre carnet d'adresses synchronisé avec mon portable ; - Mon propre agenda ; - Mon propre blog ; - Mon propre site. Le tout pour un peu moins de 8 euros par mois, sans avoir recherché le moins cher. C'est donc ici le message que je voudrais passer : si vous le voulez, vous aussi vous pouvez le faire, c'est pas si compliqué !"
Aurialie Jublin

The Landlord Wants Facial Recognition in Its Rent-Stabilized Buildings. Why? - The New ... - 0 views

  • The fact that the Atlantic complex already has 24-hour security in its lobbies as well as a clearly functioning camera system has only caused tenants to further question the necessity of facial recognition technology. The initiative is particularly dubious given the population of the buildings. Last year, a study out of M.I.T. and Stanford looked at the accuracy rates of some of the major facial-analysis programs on the market. It found that although the error rates for determining the gender of light-skinned men never surpassed 1 percent, the same programs failed to identify darker-skinned women up to one-third of the time.
  • The fear that marginalized groups will fall under increased surveillance as these technologies progress in the absence of laws to regulate them hardly seems like dystopian hysteria.
  • In November, the City of Detroit announced that it was introducing the use of real-time police cameras at two public-housing towers. The existing program is known as Project Greenlight, and it was designed to deter criminal behavior. But tower residents worried that relatives would be less likely to visit, given the constant stream of data collected by law enforcement.
  •  
    "Last fall, tenants at the Atlantic Plaza Towers, a rent-stabilized apartment complex in Brooklyn, received an alarming letter in the mail. Their landlord was planning to do away with the key-fob system that allowed them entry into their buildings on the theory that lost fobs could wind up in the wrong hands and were now also relatively easy to duplicate. Instead, property managers planned to install facial recognition technology as a means of access. It would feature "an encrypted reference file" that is "only usable in conjunction with the proprietary algorithm software of the system," the letter explained, in a predictably failed effort to mitigate concerns about privacy. As it happened, not every tenant was aware of these particular Orwellian developments. New mailboxes in the buildings required new keys, and to obtain a new key you had to submit to being photographed; some residents had refused to do this and so were not getting their mail."
Aurialie Jublin

Society in the loop : vers un intelligence artificielle plus démocratique ? -... - 0 views

  • Mais l’intelligence artificielle se diffuse également dans des sphères qui concernent plus directement la vie publique, et donc la société. Pour ne citer qu’eux : le classement de lycéens après leurs bacs[4], l’automatisation de procédures judiciaires[5] ou des horaires de ramassage scolaire[6], la dérégulation du flux automobile dans les villes dus à l’utilisation d’un service de GPS comme Waze[7], l’utilisation de la reconnaissance faciale dans des lieux publics[8] et privés[9], l’usage de « détecteurs de mensonges » aux frontières[10], la police prédictive[11], ou même plus simplement l’usage de systèmes reposant sur la captation de l’attention de l’utilisateur[12].  A leurs échelles, ces sujets touchent la vie sociale dans des dimensions qui pourraient légitimement demander à ce que des discussions plus démocratiques aient lieu. Ils entrent certes, plus ou moins directement dans la catégorie « intelligence artificielle » mais participent de la numérisation du monde à travers des algorithmes, et feront tous le pas vers l’IA si ce n’est déjà fait.
  • C’est là qu’intervient le passage qualitatif du « human in the loop » (HITL) au « society in the loop » (SITL). Pour le dire simplement, le SITL devient nécessaire lorsqu’un système utilisant l’intelligence artificielle a des implications importantes sur la sphère sociale. Iyad Rahwan explique : « alors que le HITL utilise le jugement d’un individu ou d’un groupe pour optimiser un système pensé trop étroitement, SITL embarque le jugement et les valeurs d’une société vue comme un tout, dans la définition la gouvernance algorithmique[13] de questions sociétales ». En résumé, le SITL est une forme de contrat social entre ceux qui doivent obéir aux règles et ceux qui écrivent les règles.
  • Coupons court au débat qui concerne les bulles de filtres : leur émergence et leurs effets dépendent du paramétrage des algorithmes de Facebook, de Google et des autres services susceptibles de créer ces bulles. Par conséquent, elles restent à leur main, notamment à travers leurs Conditions générales d’utilisation (CGU) et le secret d’affaires qui protègent ces systèmes (et les modèles d’affaires de captation du « temps de cerveau disponible » qui y sont directement liés). Pas de démocratie à cet endroit, quand bien même les impacts sur la démocratie pourraient être réels, même s’ils sont encore mal mesurés. C’est une des premières limites du modèle « Society in the loop ».
  • ...11 more annotations...
  • Dans le cas des véhicules autonomes en revanche, une vaste étude a été réalisée sur plusieurs années par le MIT Lab. Elle a concerné des millions de personne dans 233 pays (à travers le petit jeu http://moralmachine.mit.edu/) et a montré à quel point le traitement des questions éthique est variable, même lorsqu’on parle de conduite automobile ! Comme le relate Hubert Guillaud : « la question éthique diverge selon la culture, le niveau économique et la localisation géographique ; bien plus que selon des préférences individuelles (…) les Japonais ont plutôt tendance à préférer des véhicules qui épargnent les piétons alors que d’autres cultures, comme la culture chinoise, préfèrent des véhicules qui épargnent les passagers. » L’objectif d’une telle étude est d’apporter l’éclairage de la société toute entière afin que le système technique réponde au « bien commun ».
  • A l’initiative de Grégoire Japiot (@gregoire) et Matteo Mazzeri (@matemaz), le projet GEnIAL (voir le site internet) est « Une plateforme qui utilise les interfaces conversationnelles et l’intelligence artificielle afin de permettre à la population d’un territoire de mieux vivre dans sa ville à l’ère de la Smart City en offrant des moyens simples pour accéder aux services des administrations et des autres acteurs de la région. » Le projet, qui se revendique de « Society in the loop », est d’utilité publique et censé resté « la propriété des citoyens », contrairement aux services d’assistants proposés par les géants d’internet. Les données collectées ne sont pas commercialisées et la vie privée reste préservée. Grégoire, le fondateur, précise que les concertations citoyennes sont au cœur du projet. L’idée : intégrer dans le service les retours de la société (citoyens, administrations/institutions publiques, chercheurs et acteurs économiques) en vue d’élaborer des modèles d’apprentissage utilisés pour construire une « intelligence artificielle concertée ».
  • Concrètement, GEnIAL Bot, est une « solution qui vise à permettre aux utilisateurs d’interagir avec l’ensemble des informations d’un territoire via des interfaces conversationnelles de type chatbot et assistant vocal. » Au lieu de devoir utiliser des moteurs de recherche pour identifier les différents sites où se trouvent les informations recherchées ou bien de devoir téléphoner aux services concernés, les utilisateurs peuvent interroger GEnIAL Bot en s’adressant en langage naturel et se laisser guider sous forme de conversations vers l’information. Pour la partie technologique, GEnIAL « dispose d’une convention de partenariat avec le CERN qui lui permet de concevoir avec les équipes les plus pointues, une intelligence artificielle éthique et explicable, dont les modèles d’apprentissage sont pensés de manière à refléter l’identité du territoire et intégrer un processus de concertation continue avec ses habitants. »
  • A une échelle très locale, le projet GEnIAL pourrait entrer dans ce qu’il convient d’appeler la « démocratie technique ». La formule que j’emprunte ici à Callon, Barthes et Lascoumes dans l’ouvrage fondateur Agir dans un monde incertain, Essai sur la démocratie technique (Seuil, 2011) désigne notamment les dispositifs par lesquels des profanes peuvent peser sur les modes de conception et de diffusion des sciences et des techniques. A l’évocation de la démocratie technique, on pense souvent aux grandes polémiques et controverses qui ont agité des sujets technoscientifiques comme les OGM, l’enfouissement des déchets nucléaires, ou encore les traitements contre le SIDA. Ce dernier cas a montré que l’intrusion des malades parmi les experts a pu conduire à améliorer les protocoles des laboratoires pharmaceutiques, alors très éloignés de leurs vies.
  • Si ces exemples peuvent paraître éloignés des questions relatives à l’intelligence artificielle, ils permettent d’entrouvrir une autre dimension de la démocratie technique. Par-delà la pure contestation ou modification a posteriori d’une technique existante, Callon, Barthes et Lascoumes décrivent un modèle de « co-production des savoirs ». Ce modèle postule que les non-spécialistes peuvent produire des connaissances à partir de leurs intérêts propres. Ils sont les plus à même d’entrevoir les risques d’un projet et de les faire reconnaître comme légitimes lors d’une étape de conception commune. Ce faisant, ils participent pleinement à la production des sciences et des techniques. Ce modèle suscite des critiques : on pointe le fait que des profanes ne seraient pas capables de s’exprimer sur un sujet technique, et que par conséquent, l’avis des experts serait toujours supérieur, de meilleure qualité, et devrait être pris en compte en priorité.
  • De nombreux contre-exemples viennent infirmer ces thèses. L’expérience prouve que si les conditions sont réunies, des personnes éloignées d’un sujet technique ou scientifique peuvent tout à fait construire des rapports de grande qualité et reconnus comme tels par les experts eux-mêmes. Ce fut le cas lors des controverses concernant les OGM il y a de cela une vingtaine d’années. Callon, Barthes et Lascoumes racontent également comment les amateurs contribuent à améliorer la connaissance scientifique dans de nombreux domaines, comme par exemple l’astronomie.
  • pourquoi ce traitement démocratique si spécial devrait-il se limiter à l’intelligence artificielle ? Une des raisons est sans doute que l’on pressent que son déploiement va changer le monde et susciter des controverses qu’il vaut mieux anticiper. N’oublions pas cependant que de nombreuses technologies numériques (ou non) changent le monde plus insidieusement et suivant des échelles temporelles qui nous les rendent « invisibles à l’œil nu ». Légitimement, on pourrait aussi poser la question démocratique à leur endroit[20].
  • Ce que la démocratie technique questionne, c’est non seulement l’aménagement du progrès, mais aussi sa définition. C’est-à-dire la direction donnée à la civilisation. Entraîner une intelligence artificielle – même avec la méthodologie Society in the loop – c’est déjà faire le choix d’une intelligence artificielle. Ce qui ne veut pas dire que ce choix soit mauvais. Pas plus qu’il n’est naturellement bon. Disons que c’est un choix parmi d’autres. Ce point chaud qui concerne la définition du progrès est et sera de plus en plus au centre de toutes les questions liant technosciences et démocratie.
  • Parallèlement, l’Université de Montréal a bâti une « Déclaration pour un développement responsable de l’intelligence artificielle[23] ». Cette déclaration décrit dix principes phares pour guider le développement de l’IA, parmi lesquels un « principe de bien être » ou encore un « principe d’inclusion de la diversité » (
  • Toutes les controverses techniques n’ont pas vocation à passer sous les fourches caudines de la démocratie, il existe une multitude d’autres échelons pour co-construire, réguler, interdire ou favoriser des systèmes. En témoignent les nombreuses villes qui se « défendent » contre AirBnb ou Uber puis qui finissent par utiliser les données que ces sociétés récoltent, à d’autres fins (des « arrangements » a posteriori[25]). Par ailleurs, c’est aussi dans les écoles qui forment les ingénieurs, designers et entrepreneurs de demain et bien sûr dans les entreprises elles-mêmes, dont certaines décident d’être plus soucieuses des effets générés par leurs activités, que l’avenir se joue
  • Bien sûr, ces quelques pages souffrent de nombreuses limites et à de multiples niveaux. A mon sens néanmoins, le fond de la question consiste (aussi) à savoir quelle « dose » de démocratie nous sommes prêts à mettre dans nos ambitions technologiques. Et en retour, dans quelle mesure les technologies que nous produirons permettront ou non à la démocratie de continuer d’exister[26].
  •  
    "En 2017, Iyad Rahwan (@iyadrahwan), responsable du groupe des coopérations évolutives au MIT posait avec Joi Ito (@Joi) du MIT Medialab le concept de « Society in the loop » (SITL), une méthode pour impliquer différentes parties-prenantes dans la conception d'un système d'apprentissage automatique[1] (ou machine learning), à la base des intelligences artificielles (IA) qui jalonnent le quotidien. L'idée : co-construire plutôt qu'imposer les solutions au grand public, en faisant intervenir dès la phase de conception une diversité d'acteurs. J'en retrace ici un court historique, une illustration et les quelques perspectives et limites qu'il me paraît intéressant de pointer, notamment au regard des questions relatives à ce qu'on appelle la « démocratie technique »."
1 - 20 of 40 Next ›
Showing 20 items per page