Skip to main content

Home/ QN2019/ Group items tagged bot

Rss Feed Group items tagged

Aurialie Jublin

Bienvenue dans le «World Wide Fake» - Libération - 0 views

  • Le Web existe officiellement depuis le mois de mars 1989. Il s’est construit sur différentes strates, dont la rétro-archéologie pourrait être la suivante. D’abord, le «World Wide Web». Le Web des documents : ses utilisateurs, ses ingénieurs, ses interfaces et ses intérêts économiques, tout sur la planète web tourne autour de l’axe documentaire. Il faut indexer, classer, donner accès à ce qui va très vite devenir une quasi-infinité de documents d’abord disponibles sous forme de texte, puis d’images, dans des pages et des sites.
  • Ensuite, un «World Live Web» car tout s’accélère, de la production des contenus à leur mise à disposition quasi instantanée dans les architectures de moteurs de recherche qui se font désormais fort d’indexer toute l’actualité et ce en temps réel.
  • uis, le «World Life Web». L’axe autour duquel tourne toute la planète web n’est plus celui des documents mais celui des «profils». Ce qui change tout, tant sur le plan trivial de l’ergonomie que sur celui - crucial - de l’économie.
  • ...8 more annotations...
  • Enfin, avec l’Internet des objets vient alors le règne du «World Wide Wear». Les interfaces sont désormais celles de nos vêtements, elles siègent sous la forme d’enceintes connectées au milieu même de nos maisons. Des technologies littéralement «prêtes à porter» autant qu’elles sont prêtes et toujours «à portée». Et, avec elles, l’anecdotisation des régimes de surveillance qui conduit tout droit au «World Wide Orwell».
  • Nous sommes aujourd’hui à l’étape d’après. Celle du «World Wide Fake». Un environnement, un écosystème dont l’essentiel des interactions est artificiellement fabriqué sur la base d’une spéculation qui n’a d’autre but que de s’entretenir elle-même. Issue d’une forme de capitalisme linguistique se déclinant en un capitalisme de surveillance, cette spéculation avait initialement pour but de nous maintenir le plus attentionnellement captifs possible, nous rappelant sans cesse qu’il fallait interagir, notamment par le biais de ces contremaîtres cognitifs que sont les notifications. Mais aujourd’hui le «faux» se déploie au sein des architectures techniques toxiques de plateformes prédatrices qui ont presque totalement phagocyté tout ce qui fut l’espace public du Web, et contraint nos usages à prendre place dans ces espaces privés et privatifs.
  • Aujourd’hui, «de faux internautes avec de faux cookies et de faux comptes sur des réseaux sociaux effectuent de faux mouvements de souris, activent de faux clics vers de faux sites webs [….], créant un simulacre d’Internet dans lequel la seule chose encore réelle ce sont les publicités», écrit Max Read dans un papier pour le New York Magazine.
  • Nous y sommes et dans des proportions encore plus ahurissantes : presque 52 % du trafic internet mondial en 2016 a été généré par des bots. De faux utilisateurs donc.
  • Le faux est souvent l’autre nom du «mensonge». Et on semble découvrir que tout le monde ment sur le Web. Puisque chacun est seul à disposer de ses propres chiffres au service de ses propres certitudes ou de ses propres intérêts comment pourrait-il en être autrement ? On a découvert, presque étonnés, que Facebook avait menti sur les chiffres d’audience de ses vidéos, qu’il mentait également sur les métriques liées à «l’engagement». On a découvert que Google mentait si on lui posait la question de savoir si l’Holocauste avait vraiment existé. On a compris qu’en plus de leurs architectures techniques toxiques, les grandes plateformes disposaient chacune de leur propre régime de vérité - celui de la popularité pour Google et celui de l’engagement pour Facebook - qui rendait encore plus difficile la construction d’un espace culturel commun permettant de faire société
  • Au niveau géopolitique même, de faux comptes utilisant de fausses publicités ont permis d’influencer le résultat de vraies élections. Les technologies de l’artefact, les «Deep Fakes», qui permettent à moindre coût de truquer le réel avec un effet de vraisemblance quasi indétectable, sont aujourd’hui en passe de devenir des technologies «grand public» : on peut grâce à elles remplacer le visage d’un acteur par celui d’un autre dans un film mais également modifier la vocalisation du discours tenu par un homme politique pour lui faire dire ce que l’on veut.
  • Ce faisant, c’est tout ce qui dans notre société permettait d’établir la valeur de preuve d’une image, d’un discours, d’un témoignage ou d’un fait, qui vole en éclats et qu’il nous faut réapprendre à définir et à construire. Voilà des années qu’avec d’autres, je milite pour une prise en compte et une intervention sur la dimension non pas économique mais simplement politique des grandes plateformes.
  • Hannah Arendt est morte en 1975 et n’a donc jamais connu Internet. Dans un entretien de 1974 sur la question du totalitarisme, elle écrivait ceci : «Quand tout le monde vous ment en permanence, le résultat n’est pas que vous croyez ces mensonges, mais que plus personne ne croit plus rien. Un peuple qui ne peut plus rien croire ne peut se faire une opinion. Il est privé non seulement de sa capacité d’agir mais aussi de sa capacité de penser et de juger. Et, avec un tel peuple, vous pouvez faire ce qu’il vous plaît.» C’est très exactement cela, le risque et la promesse du World Wide Fake si nous n’y faisons rien : la conjugaison d’un emballement spéculatif autour d’une industrie publicitaire de la falsification et de l’altération et l’annonce d’un effondrement de notre capacité collective à faire société dans un espace public commun. Et, avec un tel peuple, vous pouvez faire ce qu’il vous plaît
  •  
    "Aujourd'hui, plus de la moitié du trafic internet mondial est généré par des bots, c'est-à-dire des faux utilisateurs, qui manipulent les audiences et orientent les débats. Et c'est notre capacité collective à faire société qui est en jeu."
Aurialie Jublin

An Apology for the Internet - From the People Who Built It - 1 views

  • There have always been outsiders who criticized the tech industry — even if their concerns have been drowned out by the oohs and aahs of consumers, investors, and journalists. But today, the most dire warnings are coming from the heart of Silicon Valley itself. The man who oversaw the creation of the original iPhone believes the device he helped build is too addictive. The inventor of the World Wide Web fears his creation is being “weaponized.” Even Sean Parker, Facebook’s first president, has blasted social media as a dangerous form of psychological manipulation. “God only knows what it’s doing to our children’s brains,” he lamented recently.
  • To keep the internet free — while becoming richer, faster, than anyone in history — the technological elite needed something to attract billions of users to the ads they were selling. And that something, it turns out, was outrage. As Jaron Lanier, a pioneer in virtual reality, points out, anger is the emotion most effective at driving “engagement” — which also makes it, in a market for attention, the most profitable one. By creating a self-perpetuating loop of shock and recrimination, social media further polarized what had already seemed, during the Obama years, an impossibly and irredeemably polarized country.
  • The Architects (In order of appearance.) Jaron Lanier, virtual-reality pioneer. Founded first company to sell VR goggles; worked at Atari and Microsoft. Antonio García Martínez, ad-tech entrepreneur. Helped create Facebook’s ad machine. Ellen Pao, former CEO of Reddit. Filed major gender-discrimination lawsuit against VC firm Kleiner Perkins. Can Duruk, programmer and tech writer. Served as project lead at Uber. Kate Losse, Facebook employee No. 51. Served as Mark Zuckerberg’s speechwriter. Tristan Harris, product designer. Wrote internal Google presentation about addictive and unethical design. Rich “Lowtax” Kyanka, entrepreneur who founded influential message board Something Awful. Ethan Zuckerman, MIT media scholar. Invented the pop-up ad. Dan McComas, former product chief at Reddit. Founded community-based platform Imzy. Sandy Parakilas, product manager at Uber. Ran privacy compliance for Facebook apps. Guillaume Chaslot, AI researcher. Helped develop YouTube’s algorithmic recommendation system. Roger McNamee, VC investor. Introduced Mark Zuckerberg to Sheryl Sandberg. Richard Stallman, MIT programmer. Created legendary software GNU and Emacs.
  • ...45 more annotations...
  • How It Went Wrong, in 15 Steps Step 1 Start With Hippie Good Intentions …
  • I think two things are at the root of the present crisis. One was the idealistic view of the internet — the idea that this is the great place to share information and connect with like-minded people. The second part was the people who started these companies were very homogeneous. You had one set of experiences, one set of views, that drove all of the platforms on the internet. So the combination of this belief that the internet was a bright, positive place and the very similar people who all shared that view ended up creating platforms that were designed and oriented around free speech.
  • Step 2 … Then mix in capitalism on steroids. To transform the world, you first need to take it over. The planetary scale and power envisioned by Silicon Valley’s early hippies turned out to be as well suited for making money as they were for saving the world.
  • Step 3 The arrival of Wall Streeters didn’t help … Just as Facebook became the first overnight social-media success, the stock market crashed, sending money-minded investors westward toward the tech industry. Before long, a handful of companies had created a virtual monopoly on digital life.
  • Ethan Zuckerman: Over the last decade, the social-media platforms have been working to make the web almost irrelevant. Facebook would, in many ways, prefer that we didn’t have the internet. They’d prefer that we had Facebook.
  • Step 4 … And we paid a high price for keeping it free. To avoid charging for the internet — while becoming fabulously rich at the same time — Silicon Valley turned to digital advertising. But to sell ads that target individual users, you need to grow a big audience — and use advancing technology to gather reams of personal data that will enable you to reach them efficiently.
  • Harris: If you’re YouTube, you want people to register as many accounts as possible, uploading as many videos as possible, driving as many views to those videos as possible, so you can generate lots of activity that you can sell to advertisers. So whether or not the users are real human beings or Russian bots, whether or not the videos are real or conspiracy theories or disturbing content aimed at kids, you don’t really care. You’re just trying to drive engagement to the stuff and maximize all that activity. So everything stems from this engagement-based business model that incentivizes the most mindless things that harm the fabric of society.
  • Step 5 Everything was designed to be really, really addictive. The social-media giants became “attention merchants,” bent on hooking users no mater the consequences. “Engagement” was the euphemism for the metric, but in practice it evolved into an unprecedented machine for behavior modification.
  • Harris: That blue Facebook icon on your home screen is really good at creating unconscious habits that people have a hard time extinguishing. People don’t see the way that their minds are being manipulated by addiction. Facebook has become the largest civilization-scale mind-control machine that the world has ever seen.
  • Step 6 At first, it worked — almost too well. None of the companies hid their plans or lied about how their money was made. But as users became deeply enmeshed in the increasingly addictive web of surveillance, the leading digital platforms became wildly popular.
  • Pao: There’s this idea that, “Yes, they can use this information to manipulate other people, but I’m not gonna fall for that, so I’m protected from being manipulated.” Slowly, over time, you become addicted to the interactions, so it’s hard to opt out. And they just keep taking more and more of your time and pushing more and more fake news. It becomes easy just to go about your life and assume that things are being taken care of.
  • McNamee: If you go back to the early days of propaganda theory, Edward Bernays had a hypothesis that to implant an idea and make it universally acceptable, you needed to have the same message appearing in every medium all the time for a really long period of time. The notion was it could only be done by a government. Then Facebook came along, and it had this ability to personalize for every single user. Instead of being a broadcast model, it was now 2.2 billion individualized channels. It was the most effective product ever created to revolve around human emotions.
  • Step 7 No one from Silicon Valley was held accountable … No one in the government — or, for that matter, in the tech industry’s user base — seemed interested in bringing such a wealthy, dynamic sector to heel.
  • Step 8 … Even as social networks became dangerous and toxic. With companies scaling at unprecedented rates, user security took a backseat to growth and engagement. Resources went to selling ads, not protecting users from abuse.
  • Lanier: Every time there’s some movement like Black Lives Matter or #MeToo, you have this initial period where people feel like they’re on this magic-carpet ride. Social media is letting them reach people and organize faster than ever before. They’re thinking, Wow, Facebook and Twitter are these wonderful tools of democracy. But it turns out that the same data that creates a positive, constructive process like the Arab Spring can be used to irritate other groups. So every time you have a Black Lives Matter, social media responds by empowering neo-Nazis and racists in a way that hasn’t been seen in generations. The original good intention winds up empowering its opposite.
  • Chaslot: As an engineer at Google, I would see something weird and propose a solution to management. But just noticing the problem was hurting the business model. So they would say, “Okay, but is it really a problem?” They trust the structure. For instance, I saw this conspiracy theory that was spreading. It’s really large — I think the algorithm may have gone crazy. But I was told, “Don’t worry — we have the best people working on it. It should be fine.” Then they conclude that people are just stupid. They don’t want to believe that the problem might be due to the algorithm.
  • Parakilas: One time a developer who had access to Facebook’s data was accused of creating profiles of people without their consent, including children. But when we heard about it, we had no way of proving whether it had actually happened, because we had no visibility into the data once it left Facebook’s servers. So Facebook had policies against things like this, but it gave us no ability to see what developers were actually doing.
  • McComas: Ultimately the problem Reddit has is the same as Twitter: By focusing on growth and growth only, and ignoring the problems, they amassed a large set of cultural norms on their platforms that stem from harassment or abuse or bad behavior. They have worked themselves into a position where they’re completely defensive and they can just never catch up on the problem. I don’t see any way it’s going to improve. The best they can do is figure out how to hide the bad behavior from the average user.
  • Step 9 … And even as they invaded our privacy. The more features Facebook and other platforms added, the more data users willingly, if unwittingly, released to them and the data brokers who power digital advertising.
  • Richard Stallman: What is data privacy? That means that if a company collects data about you, it should somehow protect that data. But I don’t think that’s the issue. The problem is that these companies are collecting data about you, period. We shouldn’t let them do that. The data that is collected will be abused. That’s not an absolute certainty, but it’s a practical extreme likelihood, which is enough to make collection a problem.
  • Losse: I’m not surprised at what’s going on now with Cambridge Analytica and the scandal over the election. For long time, the accepted idea at Facebook was: Giving developers as much data as possible to make these products is good. But to think that, you also have to not think about the data implications for users. That’s just not your priority.
  • Step 10 Then came 2016. The election of Donald Trump and the triumph of Brexit, two campaigns powered in large part by social media, demonstrated to tech insiders that connecting the world — at least via an advertising-surveillance scheme — doesn’t necessarily lead to that hippie utopia.
  • Chaslot: I realized personally that things were going wrong in 2011, when I was working at Google. I was working on this YouTube recommendation algorithm, and I realized that the algorithm was always giving you the same type of content. For instance, if I give you a video of a cat and you watch it, the algorithm thinks, Oh, he must really like cats. That creates these feeder bubbles where people just see one type of information. But when I notified my managers at Google and proposed a solution that would give a user more control so he could get out of the feeder bubble, they realized that this type of algorithm would not be very beneficial for watch time. They didn’t want to push that, because the entire business model is based on watch time.
  • Step 11 Employees are starting to revolt. Tech-industry executives aren’t likely to bite the hand that feeds them. But maybe their employees — the ones who signed up for the mission as much as the money — can rise up and make a change.
  • Harris: There’s a massive demoralizing wave that is hitting Silicon Valley. It’s getting very hard for companies to attract and retain the best engineers and talent when they realize that the automated system they’ve built is causing havoc everywhere around the world. So if Facebook loses a big chunk of its workforce because people don’t want to be part of that perverse system anymore, that is a very powerful and very immediate lever to force them to change.
  • Duruk: I was at Uber when all the madness was happening there, and it did affect recruiting and hiring. I don’t think these companies are going to go down because they can’t attract the right talent. But there’s going to be a measurable impact. It has become less of a moral positive now — you go to Facebook to write some code and then you go home. They’re becoming just another company.
  • Step 12 To fix it, we’ll need a new business model … If the problem is in the way the Valley makes money, it’s going to have to make money a different way. Maybe by trying something radical and new — like charging users for goods and services.
  • Parakilas: They’re going to have to change their business model quite dramatically. They say they want to make time well spent the focus of their product, but they have no incentive to do that, nor have they created a metric by which they would measure that. But if Facebook charged a subscription instead of relying on advertising, then people would use it less and Facebook would still make money. It would be equally profitable and more beneficial to society. In fact, if you charged users a few dollars a month, you would equal the revenue Facebook gets from advertising. It’s not inconceivable that a large percentage of their user base would be willing to pay a few dollars a month.
  • Step 13 … And some tough regulation. Mark Zuckerberg testifying before Congress on April 10. Photo: Jim Watson/AFP/Getty Images While we’re at it, where has the government been in all this? 
  • Stallman: We need a law. Fuck them — there’s no reason we should let them exist if the price is knowing everything about us. Let them disappear. They’re not important — our human rights are important. No company is so important that its existence justifies setting up a police state. And a police state is what we’re heading toward.
  • Duruk: The biggest existential problem for them would be regulation. Because it’s clear that nothing else will stop these companies from using their size and their technology to just keep growing. Without regulation, we’ll basically just be complaining constantly, and not much will change.
  • McNamee: Three things. First, there needs to be a law against bots and trolls impersonating other people. I’m not saying no bots. I’m just saying bots have to be really clearly marked. Second, there have to be strict age limits to protect children. And third, there has to be genuine liability for platforms when their algorithms fail. If Google can’t block the obviously phony story that the kids in Parkland were actors, they need to be held accountable.
  • Stallman: We need a law that requires every system to be designed in a way that achieves its basic goal with the least possible collection of data. Let’s say you want to ride in a car and pay for the ride. That doesn’t fundamentally require knowing who you are. So services which do that must be required by law to give you the option of paying cash, or using some other anonymous-payment system, without being identified. They should also have ways you can call for a ride without identifying yourself, without having to use a cell phone. Companies that won’t go along with this — well, they’re welcome to go out of business. Good riddance.
  • Step 14 Maybe nothing will change. The scariest possibility is that nothing can be done — that the behemoths of the new internet are too rich, too powerful, and too addictive for anyone to fix.
  • García: Look, I mean, advertising sucks, sure. But as the ad tech guys say, “We’re the people who pay for the internet.” It’s hard to imagine a different business model other than advertising for any consumer internet app that depends on network effects.
  • Step 15 … Unless, at the very least, some new people are in charge. If Silicon Valley’s problems are a result of bad decision-making, it might be time to look for better decision-makers. One place to start would be outside the homogeneous group currently in power.
  • Pao: I’ve urged Facebook to bring in people who are not part of a homogeneous majority to their executive team, to every product team, to every strategy discussion. The people who are there now clearly don’t understand the impact of their platforms and the nature of the problem. You need people who are living the problem to clarify the extent of it and help solve it.
  • Things That Ruined the Internet
  • Cookies (1994) The original surveillance tool of the internet. Developed by programmer Lou Montulli to eliminate the need for repeated log-ins, cookies also enabled third parties like Google to track users across the web. The risk of abuse was low, Montulli thought, because only a “large, publicly visible company” would have the capacity to make use of such data. The result: digital ads that follow you wherever you go online.
  • The Farmville vulnerability (2007)   When Facebook opened up its social network to third-party developers, enabling them to build apps that users could share with their friends, it inadvertently opened the door a bit too wide. By tapping into user accounts, developers could download a wealth of personal data — which is exactly what a political-consulting firm called Cambridge Analytica did to 87 million Americans.
  • Algorithmic sorting (2006) It’s how the internet serves up what it thinks you want — automated calculations based on dozens of hidden metrics. Facebook’s News Feed uses it every time you hit refresh, and so does YouTube. It’s highly addictive — and it keeps users walled off in their own personalized loops. “When social media is designed primarily for engagement,” tweets Guillaume Chaslot, the engineer who designed YouTube’s algorithm, “it is not surprising that it hurts democracy and free speech.”
  • The “like” button (2009) Initially known as the “awesome” button, the icon was designed to unleash a wave of positivity online. But its addictive properties became so troubling that one of its creators, Leah Pearlman, has since renounced it. “Do you know that episode of Black Mirror where everyone is obsessed with likes?” she told Vice last year. “I suddenly felt terrified of becoming those people — as well as thinking I’d created that environment for everyone else.”
  • Pull-to-refresh (2009) Developed by software developer Loren Brichter for an iPhone app, the simple gesture — scrolling downward at the top of a feed to fetch more data — has become an endless, involuntary tic. “Pull-to-refresh is addictive,” Brichter told The Guardian last year. “I regret the downsides.”
  • Pop-up ads (1996) While working at an early blogging platform, Ethan Zuckerman came up with the now-ubiquitous tool for separating ads from content that advertisers might find objectionable. “I really did not mean to break the internet,” he told the podcast Reply All. “I really did not mean to bring this horrible thing into people’s lives. I really am extremely sorry about this.”
  • The Silicon Valley dream was born of the counterculture. A generation of computer programmers and designers flocked to the Bay Area’s tech scene in the 1970s and ’80s, embracing new technology as a tool to transform the world for good.
  •  
    Internet en 15 étapes, de sa construction à aujourd'hui, regards et regrets de ceux qui l'ont construit... [...] "Things That Ruined the Internet" les cookies 1994 / la faille Farmville 2007 / le tri algorithmique 2006 / le "like" 2009 / le "pull to refresh" 2009 / les "pop-up ads" 1996 [...]
Aurialie Jublin

[Fake] Internet serait-il devenu complètement fake? - Digital Society Forum - 0 views

  • Sur Internet, moins de 60% du trafic serait humain, explique l’auteur. Le reste des Internautes seraient des bots, des logiciels opérant de manière autonome sur le réseau. Au point de brouiller la frontière entre Internautes humains et non-humains. En 2013, la moitié des usagers de Youtube étaient ainsi des bots se faisant passer pour des êtres humains, ce qui avait fait craindre aux employés de la multinationale l’avènement d’une ère où les systèmes de détection du trafic frauduleux jugeraient réelle l’activité des bots, et fausse celle des êtres humains.
  • Au cours des deux dernières années, Facebook aurait également publié des chiffres erronés sur le renvoi du trafic depuis Facebook vers des sites externes, la portée des publications, ou encore le nombre de “vues” des vidéos postées sur la plateforme. Ce qui interroge, là encore, sur la notion de “réel” sur Internet.
  • “Tout ce qui semblait auparavant incontestablement réel semble maintenant légèrement faux; tout ce qui semblait auparavant légèrement faux a maintenant le pouvoir et la présence du réel”, déplore l’auteur. Et de multiplier les exemples: entre les vidéos complotistes pullulant sur Youtube, les trolls russes se faisant passer pour des soutiens de Donald Trump sur Facebook et le “deepfake”, une technique de synthèse permettant de falsifier le visage ou la voix d’une personne sur une vidéo grâce à l’intelligence artificielle, l’auteur s’inquiète de l’effondrement de toute distinction claire entre le réel et l’irréel sur Internet.
  • ...2 more annotations...
  • L’exemple de Lil Miquela , une “influenceuse” suivie par plus d’un million et demi de personnes sur Instagram, est à ce titre particulièrement révélateur. Partageant régulièrement ses états d’âme, ses séances de shopping et ses sorties entre amis sur le réseau social entre deux selfies, ce mannequin américano-brésilien est en réalité un avatar, créé grâce à l’imagerie de synthèse par une start-up californienne spécialisée en intelligence artificielle et en robotique. Un faux mannequin, donc, mais une influence bien réelle: là aussi, avertit l’auteur, la frontière entre le vrai et le faux s’émousse.
  • “Ce qui a vraiment disparu d’internet, ce n’est pas la réalité, c’est la confiance : le sentiment que les personnes et les choses que l’on y rencontre sont ce qu’elles prétendent être,” conclut l’auteur. Remédier à cet état de fait nécessite selon lui une réforme du modèle économique d’Internet qui a permis au mensonge, à la déformation et à la falsification de devenir lucratifs. Sans une telle réforme, estime-t-il, Internet risque de devenir une usine à “fakes”, et les revenus publicitaires qu’ils génèrent la seule réalité.
  •  
    "Une chronique du New York Magazine alerte sur l'abondance de contenus faux sur Internet. Selon son auteur, les manipulations de données et de faits y auraient atteint un seuil critique, au point de compromettre notre capacité à distinguer le réel de l'irréel."
Aurialie Jublin

Society in the loop : vers un intelligence artificielle plus démocratique ? -... - 0 views

  • Mais l’intelligence artificielle se diffuse également dans des sphères qui concernent plus directement la vie publique, et donc la société. Pour ne citer qu’eux : le classement de lycéens après leurs bacs[4], l’automatisation de procédures judiciaires[5] ou des horaires de ramassage scolaire[6], la dérégulation du flux automobile dans les villes dus à l’utilisation d’un service de GPS comme Waze[7], l’utilisation de la reconnaissance faciale dans des lieux publics[8] et privés[9], l’usage de « détecteurs de mensonges » aux frontières[10], la police prédictive[11], ou même plus simplement l’usage de systèmes reposant sur la captation de l’attention de l’utilisateur[12].  A leurs échelles, ces sujets touchent la vie sociale dans des dimensions qui pourraient légitimement demander à ce que des discussions plus démocratiques aient lieu. Ils entrent certes, plus ou moins directement dans la catégorie « intelligence artificielle » mais participent de la numérisation du monde à travers des algorithmes, et feront tous le pas vers l’IA si ce n’est déjà fait.
  • C’est là qu’intervient le passage qualitatif du « human in the loop » (HITL) au « society in the loop » (SITL). Pour le dire simplement, le SITL devient nécessaire lorsqu’un système utilisant l’intelligence artificielle a des implications importantes sur la sphère sociale. Iyad Rahwan explique : « alors que le HITL utilise le jugement d’un individu ou d’un groupe pour optimiser un système pensé trop étroitement, SITL embarque le jugement et les valeurs d’une société vue comme un tout, dans la définition la gouvernance algorithmique[13] de questions sociétales ». En résumé, le SITL est une forme de contrat social entre ceux qui doivent obéir aux règles et ceux qui écrivent les règles.
  • Coupons court au débat qui concerne les bulles de filtres : leur émergence et leurs effets dépendent du paramétrage des algorithmes de Facebook, de Google et des autres services susceptibles de créer ces bulles. Par conséquent, elles restent à leur main, notamment à travers leurs Conditions générales d’utilisation (CGU) et le secret d’affaires qui protègent ces systèmes (et les modèles d’affaires de captation du « temps de cerveau disponible » qui y sont directement liés). Pas de démocratie à cet endroit, quand bien même les impacts sur la démocratie pourraient être réels, même s’ils sont encore mal mesurés. C’est une des premières limites du modèle « Society in the loop ».
  • ...11 more annotations...
  • Dans le cas des véhicules autonomes en revanche, une vaste étude a été réalisée sur plusieurs années par le MIT Lab. Elle a concerné des millions de personne dans 233 pays (à travers le petit jeu http://moralmachine.mit.edu/) et a montré à quel point le traitement des questions éthique est variable, même lorsqu’on parle de conduite automobile ! Comme le relate Hubert Guillaud : « la question éthique diverge selon la culture, le niveau économique et la localisation géographique ; bien plus que selon des préférences individuelles (…) les Japonais ont plutôt tendance à préférer des véhicules qui épargnent les piétons alors que d’autres cultures, comme la culture chinoise, préfèrent des véhicules qui épargnent les passagers. » L’objectif d’une telle étude est d’apporter l’éclairage de la société toute entière afin que le système technique réponde au « bien commun ».
  • A l’initiative de Grégoire Japiot (@gregoire) et Matteo Mazzeri (@matemaz), le projet GEnIAL (voir le site internet) est « Une plateforme qui utilise les interfaces conversationnelles et l’intelligence artificielle afin de permettre à la population d’un territoire de mieux vivre dans sa ville à l’ère de la Smart City en offrant des moyens simples pour accéder aux services des administrations et des autres acteurs de la région. » Le projet, qui se revendique de « Society in the loop », est d’utilité publique et censé resté « la propriété des citoyens », contrairement aux services d’assistants proposés par les géants d’internet. Les données collectées ne sont pas commercialisées et la vie privée reste préservée. Grégoire, le fondateur, précise que les concertations citoyennes sont au cœur du projet. L’idée : intégrer dans le service les retours de la société (citoyens, administrations/institutions publiques, chercheurs et acteurs économiques) en vue d’élaborer des modèles d’apprentissage utilisés pour construire une « intelligence artificielle concertée ».
  • Concrètement, GEnIAL Bot, est une « solution qui vise à permettre aux utilisateurs d’interagir avec l’ensemble des informations d’un territoire via des interfaces conversationnelles de type chatbot et assistant vocal. » Au lieu de devoir utiliser des moteurs de recherche pour identifier les différents sites où se trouvent les informations recherchées ou bien de devoir téléphoner aux services concernés, les utilisateurs peuvent interroger GEnIAL Bot en s’adressant en langage naturel et se laisser guider sous forme de conversations vers l’information. Pour la partie technologique, GEnIAL « dispose d’une convention de partenariat avec le CERN qui lui permet de concevoir avec les équipes les plus pointues, une intelligence artificielle éthique et explicable, dont les modèles d’apprentissage sont pensés de manière à refléter l’identité du territoire et intégrer un processus de concertation continue avec ses habitants. »
  • A une échelle très locale, le projet GEnIAL pourrait entrer dans ce qu’il convient d’appeler la « démocratie technique ». La formule que j’emprunte ici à Callon, Barthes et Lascoumes dans l’ouvrage fondateur Agir dans un monde incertain, Essai sur la démocratie technique (Seuil, 2011) désigne notamment les dispositifs par lesquels des profanes peuvent peser sur les modes de conception et de diffusion des sciences et des techniques. A l’évocation de la démocratie technique, on pense souvent aux grandes polémiques et controverses qui ont agité des sujets technoscientifiques comme les OGM, l’enfouissement des déchets nucléaires, ou encore les traitements contre le SIDA. Ce dernier cas a montré que l’intrusion des malades parmi les experts a pu conduire à améliorer les protocoles des laboratoires pharmaceutiques, alors très éloignés de leurs vies.
  • Si ces exemples peuvent paraître éloignés des questions relatives à l’intelligence artificielle, ils permettent d’entrouvrir une autre dimension de la démocratie technique. Par-delà la pure contestation ou modification a posteriori d’une technique existante, Callon, Barthes et Lascoumes décrivent un modèle de « co-production des savoirs ». Ce modèle postule que les non-spécialistes peuvent produire des connaissances à partir de leurs intérêts propres. Ils sont les plus à même d’entrevoir les risques d’un projet et de les faire reconnaître comme légitimes lors d’une étape de conception commune. Ce faisant, ils participent pleinement à la production des sciences et des techniques. Ce modèle suscite des critiques : on pointe le fait que des profanes ne seraient pas capables de s’exprimer sur un sujet technique, et que par conséquent, l’avis des experts serait toujours supérieur, de meilleure qualité, et devrait être pris en compte en priorité.
  • De nombreux contre-exemples viennent infirmer ces thèses. L’expérience prouve que si les conditions sont réunies, des personnes éloignées d’un sujet technique ou scientifique peuvent tout à fait construire des rapports de grande qualité et reconnus comme tels par les experts eux-mêmes. Ce fut le cas lors des controverses concernant les OGM il y a de cela une vingtaine d’années. Callon, Barthes et Lascoumes racontent également comment les amateurs contribuent à améliorer la connaissance scientifique dans de nombreux domaines, comme par exemple l’astronomie.
  • pourquoi ce traitement démocratique si spécial devrait-il se limiter à l’intelligence artificielle ? Une des raisons est sans doute que l’on pressent que son déploiement va changer le monde et susciter des controverses qu’il vaut mieux anticiper. N’oublions pas cependant que de nombreuses technologies numériques (ou non) changent le monde plus insidieusement et suivant des échelles temporelles qui nous les rendent « invisibles à l’œil nu ». Légitimement, on pourrait aussi poser la question démocratique à leur endroit[20].
  • Ce que la démocratie technique questionne, c’est non seulement l’aménagement du progrès, mais aussi sa définition. C’est-à-dire la direction donnée à la civilisation. Entraîner une intelligence artificielle – même avec la méthodologie Society in the loop – c’est déjà faire le choix d’une intelligence artificielle. Ce qui ne veut pas dire que ce choix soit mauvais. Pas plus qu’il n’est naturellement bon. Disons que c’est un choix parmi d’autres. Ce point chaud qui concerne la définition du progrès est et sera de plus en plus au centre de toutes les questions liant technosciences et démocratie.
  • Parallèlement, l’Université de Montréal a bâti une « Déclaration pour un développement responsable de l’intelligence artificielle[23] ». Cette déclaration décrit dix principes phares pour guider le développement de l’IA, parmi lesquels un « principe de bien être » ou encore un « principe d’inclusion de la diversité » (
  • Toutes les controverses techniques n’ont pas vocation à passer sous les fourches caudines de la démocratie, il existe une multitude d’autres échelons pour co-construire, réguler, interdire ou favoriser des systèmes. En témoignent les nombreuses villes qui se « défendent » contre AirBnb ou Uber puis qui finissent par utiliser les données que ces sociétés récoltent, à d’autres fins (des « arrangements » a posteriori[25]). Par ailleurs, c’est aussi dans les écoles qui forment les ingénieurs, designers et entrepreneurs de demain et bien sûr dans les entreprises elles-mêmes, dont certaines décident d’être plus soucieuses des effets générés par leurs activités, que l’avenir se joue
  • Bien sûr, ces quelques pages souffrent de nombreuses limites et à de multiples niveaux. A mon sens néanmoins, le fond de la question consiste (aussi) à savoir quelle « dose » de démocratie nous sommes prêts à mettre dans nos ambitions technologiques. Et en retour, dans quelle mesure les technologies que nous produirons permettront ou non à la démocratie de continuer d’exister[26].
  •  
    "En 2017, Iyad Rahwan (@iyadrahwan), responsable du groupe des coopérations évolutives au MIT posait avec Joi Ito (@Joi) du MIT Medialab le concept de « Society in the loop » (SITL), une méthode pour impliquer différentes parties-prenantes dans la conception d'un système d'apprentissage automatique[1] (ou machine learning), à la base des intelligences artificielles (IA) qui jalonnent le quotidien. L'idée : co-construire plutôt qu'imposer les solutions au grand public, en faisant intervenir dès la phase de conception une diversité d'acteurs. J'en retrace ici un court historique, une illustration et les quelques perspectives et limites qu'il me paraît intéressant de pointer, notamment au regard des questions relatives à ce qu'on appelle la « démocratie technique »."
Aurialie Jublin

Human-guided burrito bots raise questions about the future of robo-delivery - 0 views

  •  
    "Kiwibots - rolling robots that deliver burritos and smoothies - have become a fixture on UC Berkeley's campus thanks to their creepy-cute "faces" and low delivery prices. But while the robots appear to be autonomous, the San Francisco Chronicle reports they're actually operated by remote workers in Colombia who make $2 an hour."
1 - 5 of 5
Showing 20 items per page