Skip to main content

Home/ QN2019/ Group items tagged éthique

Rss Feed Group items tagged

Asso Fing

« On cherche à éveiller la conscience éthique des développeurs et data scient... - 0 views

  • Comment la communauté Data For Good utilise-t-elle les algorithmes ? Qu’est-ce qui vous différencie des grandes entreprises tech ? Avec Data For Good, on veut permettre aux associations, aux projets citoyens et aux institutions d’avoir accès à la data science, qui est utilisée uniquement par les grandes entreprises comme les GAFA et les start-up pour l’instant, car c’est un service qui coûte très cher. Notre communauté bénévole soutient certains projets comme celui de l’association Frateli, qui travaille sur du mentorat. On leur a créé une plateforme de matching, avec des algorithmes, pour matcher en un clic un mentor avec un mentoré, alors qu’avant tout était fait à la main sur un tableur Excel. L’humain garde la décision finale, il peut changer les résultats donnés par l’algorithme, mais cela reste beaucoup plus rapide.
  • Notre but n’est pas de récolter des données, on ne fait pas des algorithmes qui utilisent les données des utilisateurs pour faire de la publicité. De plus, les codes sources produits par Data For Good sont tous en open source, donc si une autre association veut les utiliser, elle peut le faire gratuitement et librement. Les GAFA ouvrent certains de leurs codes sources, mais c’est avant tout pour attirer des développeurs, et ils n’ouvrent que des bribes de leurs codes. Et ils savent très bien que sans les données qu’ils possèdent, ces extraits de codes ne servent à rien.
  • Vous travaillez aussi chez AlgoTransparency, une plateforme qui cherche à décrypter les mécanismes de l’algorithme de YouTube : avez-vous réussi à savoir comment était construit cet algorithme, qui est un secret bien gardé par YouTube ? Sur YouTube, on est enfermé dans une spirale de recommandations qui ne montre pas forcément le meilleur de l’humanité... Sur AlgoTransparency, on a mis en place un robot qui est capable de mesurer quelle vidéo est recommandée, à partir de quelle vidéo. On a donc des données sur ces vidéos, mais comprendre comment fonctionne l’algorithme est très compliqué car celui-ci est très complexe, et il évolue en permanence car il est ré-entraîné tous les jours. Nous, on a décidé d’étudier nos données, en rentrant des mots clés, et de voir ce qu’il en sort.
  • ...4 more annotations...
  • L’algorithme de la plateforme, et YouTube le dit lui-même, c’est de maximiser le temps passé sur la plateforme, le « watch time ». Et quand l’algorithme voit que les gens passent plus de temps sur la plateforme quand ils regardent des vidéos complotistes par exemple, il va plus recommander ce contenu. Il fait juste le boulot pour lequel on l’a programmé.
  • Et dans un second temps, on pourrait créer pour la plateforme un statut hybride, qui serait entre l’hébergeur, qui n’a pas de responsabilité sur le contenu qu’il héberge, et le média, qui a toute la responsabilité sur ce qu’il partage. Pour l’instant, YouTube dit être un hébergeur, car il ne peut pas éditorialiser tout le contenu qui se trouve sur la plateforme. Pourtant, les algorithmes ont un rôle éditorial : quand ils recommandent un million de fois une vidéo à des êtres humains, il y a un choix fait derrière, l’algorithme a privilégié un contenu plutôt qu’un autre.
  • Par contre, là où on peut avoir peur, c’est quand ces algorithmes, notamment de machine learning (c’est-à-dire des algorithmes qui vont apprendre à partir des données qu’on leur a fourni pour prédire des choses), impactent la vie humaine : par exemple, lorsqu’on les utilise dans l’espace public pour faire de la reconnaissance faciale, ou quand les décisions concernant les peines de prison sont prises par des algorithmes. Si on ne sait pas quels sont les critères choisis pour définir les algorithmes, c’est là que ça devient dangereux. Et c’est pour cela qu’on demande l’ouverture de tous les codes sources utilisés dans les administrations (comme la loi Le Maire le recommande).
  • Est-ce que le problème de l’algorithme ne serait pas de décontextualiser les données ? Normalement, c’est aux data scientists de garder en tête le contexte des données qu’ils étudient, et de savoir qu’elles peuvent être biaisées : par exemple, connaître le quartier où habitent les utilisateurs peut être un biais sur leur niveau social. Dans le serment d’Hippocrate de Data For Good, on cherche au mieux à éveiller la conscience éthique des data scientist, en « informant les parties prenantes sur (…) l’utilisation des données », en assurant que « les individus ne soient pas discriminés par rapport à des critères illégaux ou illégitimes », en « respectant la vie privée et la dignité humaine » et en « assumant ses responsabilités en cas de difficulté ou de conflits d’intérêts ».
  •  
    "Et si les développeurs et data scientists prêtaient serment, comme les médecins, pour une utilisation des données plus éthique ? Data For Good, une communauté de data scientists et de développeurs bénévoles au service de projets d'intérêt général, en a fait une de ses missions. Ce « serment d'Hippocrate » des data scientists sera mis en ligne le 26 juin, lors d'un « Demo Day » qui présentera les projets soutenus par Data For Good. Curieux d'en savoir plus, nous avons interrogé Frédéric Bardolle, membre de Data For Good et d'Algotransparency, une plateforme qui décrypte les mécanismes de l'algorithme de YouTube. "
Aurialie Jublin

Le Libre peut-il faire le poids ? - Framablog - 0 views

  • l’économie des géants du numérique est, pour certains, basée sur une attitude extrêmement agressive : il faut être le moins cher possible, perdre de l’argent à en crever et lever des fonds à tire-larigot pour abattre ses concurrents avec comme logique un pari sur la quantité d’argent disponible à perdre par participants. Celui qui ne peut plus se permettre de vider les poches de ses actionnaires a perdu. Tout simplement. Si ces entreprises imaginent, un jour, remonter leurs prix pour envisager d’être à l’équilibre ou rentable, l’argument du « ce n’est pas possible puisque ça rouvrira une possibilité de concurrence » sortira du chapeau de ces génies pour l’interdire. Du capitalisme qui marche sur la tête.
  • La deuxième grande technique des géants du numérique est basée sur la revente de statistiques collectées auprès de leurs utilisateurs. Ces données privées que vous fournissez à Google, Facebook Inc,, Twitter & co permettent à ces sociétés de disposer d’une masse d’informations telle que des entreprises sont prêtes à dégainer leurs portefeuilles pour en dégager des tendances.
  • Une troisième technique consiste à reprendre les données collectées auprès des utilisateurs pour afficher de la pub ciblée, donc plus efficace, donc plus cher. C’est une technique connue, alors je ne développe pas.
  • ...11 more annotations...
  • Une autre technique est plus sournoise. Pas pour nous autres, vieux loubards, mais pour les jeunes : le placement produit. Même si certain Youtubeurs en font des blagues pas drôles (Norman…), ce truc est d’un vicieux.
  • Ces influenceurs sont friands de plateformes taillées pour leur offrir de la visibilité et clairement organisées pour attirer l’œil des Directeurs de Communication des marques. Mastodon, Pixelfed, diaspora* et les autres ne permettent pas de spammer leurs utilisateurs, n’attirent donc pas les marques, qui sont la cible des influenceurs, ces derniers n’y dégageant, in fine, aucun besoin d’y être présents.
  • On peut attendre que les Uber se cassent la figure calmement, on peut attendre que le droit décide enfin de protéger les données des utilisateurs, on peut aussi attendre le jour où les consommateurs comprendront qu’ils sont les seuls responsables de l’inintérêt de ce qu’ils regardent à la télé, au cinéma, en photos ou encore que les mastodontes du numérique soient démantelés. Bref, on peut attendre. La question est : qu’aurons-nous à proposer quand tout ceci finira par se produire ?
  • Après la FinTech, la LegalTech, etc, faites place à la LowTech ou SmallTech. Je ne connaissais pas ces expressions avant de tomber sur cet article dans le Framablog et celui de Ubsek & Rica d’Aral. On y apprend que c’est un mouvement qui s’oppose frontalement aux géants, ce qui est fantastique. C’est une vision du monde qui me va très bien, en tant que militant du Libre depuis plus de 10 ans maintenant. On peut visiblement le rapprocher de l’initiative CHATONS. Cependant, j’ai du mal à saisir les moyens qui pourraient être mis en œuvre pour sa réussite.
  • Les mentalités actuelles sont cloisonnées : le Libre, même s’il s’impose dans quelques domaines, reste mal compris. Rien que l’idée d’utiliser un programme au code source ouvert donne des sueurs froides à bon nombre de DSI. Comment peut-on se protéger des méchants si tout le monde peut analyser le code et en sortir la faille de sécurité qui va bien ? Comment se démarquer des concurrents si tout le monde se sert du même logiciel ? Regardez le dernier changelog : il est plein de failles béantes : ce n’est pas sérieux !
  • Parlons aussi de son mode de fonctionnement : qui se souvient d’OpenSSL utilisé par tout le monde et abandonné pendant des années au bénévolat de quelques courageux qui n’ont pas pu empêcher l’arrivée de failles volontaires ? Certains projets sont fantastiques, vraiment, mais les gens ont du mal à réaliser qu’ils sont, certes, très utilisés mais peu soutenus. Vous connaissez beaucoup d’entreprises pour lesquelles vous avez bossé qui refilent une petite partie de leurs bénéfices aux projets libres qui les font vivre ?
  • On peut faire un vrai parallèle entre la situation de la Presse en ligne et les services numériques. Trouver des gens pour payer l’accès à un Nextcloud, un Matomo ou que sais-je est une gageure. La seule différence qui me vient à l’esprit est que des services en ligne arrivent à s’en sortir en coinçant leurs utilisateurs dans des silos : vous avez un Windows ? Vous vous servirez des trucs de Microsoft. Vous avez un compte Gmail, vous vous servirez des trucs de Google. Les premiers Go sont gratuits, les autres seront payants. Là où les journaux généralistes ne peuvent coincer leurs lecteurs, les géants du numérique le peuvent sans trop de souci.
  • Perso, je l’ai déjà dit, j’adhère volontiers à cette vision du monde horizontale et solidaire. Malgré tout, mon envie de travailler, d’avoir un salaire, une couverture sociale, une activité rentable, et peut-être un jour une retraite, me poussent à grimacer. Si les bribes d’idéologie LowTech orientent les gens vers des associations, comment fait-on pour sortir de terre une entreprise éthique, rentable et solidaire ?
  • L’idée, connue, serait de s’attaquer au marché des entreprises et des collectivités pour laisser celui des particuliers aux associations sérieuses. Mais là encore, on remet un pied dans le combat pour les logiciels libres contre les logiciels propriétaires dans une arène encerclée par des DSI pas toujours à jour. Sans parler de la compétitivité, ce mot adoré par notre Président, et de l’état des finances de ces entités. Faire le poids face à la concurrence actuelle, même avec les mots « éthique, solidaire et responsable » gravés sur le front, n’est pas évident du tout.
  • Cette conférence vue au FOSDEM, The Cloud Is Just Another Sun, résonne terriblement en moi. L’intervenant y explique que les outils libres que nous utilisons dans le cloud sont incontrôlables. Qui vous certifie que vous tapez bien dans un MariaDB ou un ES quand vous n’avez accès qu’a une boite noire qui ne fait que répondre à vos requêtes ? Rien.
  • Pour finir, ne mettons pas complètement de côté l’existence réelle d’un marché : Nextcloud en est la preuve, tout comme Dolibarr et la campagne de financement réussie d’OpenDSI. Tout n’est peut-être pas vraiment perdu. C’est juste très compliqué.
  •  
    "Dans un article assez lucide de son blog que nous reproduisons ici, Dada remue un peu le fer dans la plaie. Faiblesse économique du Libre, faiblesse encore des communautés actives dans le développement et la maintenance des logiciels et systèmes, manque de visibilité hors du champ de perception de beaucoup de DSI. En face, les forces redoutables de l'argent investi à perte pour tuer la concurrence, les forces tout aussi redoutables des entreprises-léviathans qui phagocytent lentement mais sûrement les fleurons du Libre et de l'open source… Lucide donc, mais aussi tout à fait convaincu depuis longtemps de l'intérêt des valeurs du Libre, Dada appelle de ses vœux l'émergence d'entreprises éthiques qui permettraient d'y travailler sans honte et d'y gagner sa vie décemment. Elles sont bien trop rares semble-t-il. D'où ses interrogations, qu'il nous a paru pertinent de vous faire partager. Que cette question cruciale soit l'occasion d'un libre débat : faites-nous part de vos réactions, observations, témoignages dans les commentaires qui comme toujours sont ouverts et modérés. Et pourquoi pas dans les colonnes de ce blog si vous désirez plus longuement exposer vos réflexions."
Aurialie Jublin

À ceux qui ne voient aucun problème à travailler avec Facebook ou Google - No... - 0 views

  • La Free Software Foundation (FSF) est la principale organisation de défense du logiciel libre. La Software Freedom Conservancy « est une organisation à but non lucratif qui promeut, améliore, développe et défend les projets libres et open source (FLOSS) ». Ce mois-ci, la Software Freedom Conservancy organise la première conférence internationale Copyleft sponsorisée par Google, Microsoft et la FSF. En fait, Google est une telle force pour le bien dans le monde qu’elle est autorisée à sponsoriser une conférence Copyleft alors même que ces licences sont bannies au sein de la compagnie. Si même la FSF n’a aucun problème avec le fait d’avoir son logo juste à côté de celui de Google et Microsoft, qui suis-je pour critiquer ces sociétés ?
  • Mozilla n’a aucun problème avec Google, elle s’associe souvent avec eux et utilise même Google Analytics. Si une fondation aussi honnête et éthique qui a tellement à cœur de protéger notre vie privée n’a aucun problème avec le fait d’avoir Google comme moteur de recherche principal ou de recevoir des millions de dollars de leur part, qui suis-je pour critiquer Google sur la vie privée ?
  • Le CEO d’APPLE, Tim Cook, a personnellement approuvé cet engagement pour la vie privée et c’est pourquoi Apple a intégré Google comme moteur de recherche par défaut dans leur navigateur, c’est aussi pourquoi ils ne crachent pas non plus sur les 12 milliards de dollars de revenus que cet accord leur apporte. Parce que Google est tout comme Apple et a construit ses produits pour protéger notre vie privée. Pour quelle autre raison Apple autoriserait leur présence sur ses smartphones et mettrait en danger notre vie privée ? Si Tim Cook est content d’avoir Google dans son iPhone alors il doit certainement y avoir quelque chose qui ne tourne pas rond chez moi.
  • ...6 more annotations...
  • Si Apple est un exemple trop commercial pour vous, alors il y a GNOME, un projet porté par l’organisation à but non lucratif Fondation Gnome. Ils développent un environnement graphique ergonomique et populaire pour systèmes Unix Linux. GNOME ne voit aucun problème avec Google. En fait, Google siège à leur conseil d’administration et les application sur GNOME offrent un support de première classe aux applications Google.
  • Si Gmail était mauvais pour la vie privée, si par exemple, Google lisait tous vos messages et les utilisait pour créer un profil marketing (je sais, voilà que je recommence avec mes théories du complot à la noix) alors la fondation GNOME n’en ferait certainement pas la promotion dans ses logiciels. Si ils étaient obligés de supporter Gmail juste parce que c’est un service populaire mais détestaient le faire, ils afficheraient un message d’avertissement pour vous protéger. Quelque chose comme « Lorsque vous utilisez Gmail, Google Inc. utilise le contenu de vos messages pour vous profiler. Ne continuez que si vous en comprenez les dangers ». Mais ils ne le font pas. Au contraire, ils le mettent en premier et rendent sa configuration aussi simple que possible donc utiliser Gmail ne doit pas poser de problèmes.
  • Quand j’ai ajouté le support de Fastmail dans Geary, mes changements on été refusés. Si FastMail était un fournisseur de messageries éthique, je suis certain que ça n’aurait pas été le cas. Je ne doute pas que l’équipe aurait promu un service de messagerie éthique plutôt qu’un service non éthique qui lit les messages des gens et les profile. Désormais je m’inquiète et je me demande ce que les gens de GNOME connaissent de FastMail que moi je ne connais pas. Qu’est-ce donc que les gens sournois de Fastmail sont en train de nous préparer ?
  • La Nordic Privacy Arena est un événement annuel réunissant des délégués généraux de la protection des données et des professionnels de la vie privée. Lors de l’édition de cette année, Facebook a fait une présentation et les organisateurs m’ont demandé  d’être gentil avec Facebook et Google, de garder mes remarques pour ma propre présentation et de ne pas embarrasser l’orateur avec des questions après sa présentation comme j’avais pu le faire lors de la session de Mozilla.  
  • Par ailleurs, la présentation Facebook était assurée par Nicolas de Bouville, qui officiait précédemment à la CNIL, une organisation connue pour ses fabuleux pantouflages. Donc, si Nicolas a choisi de travailler pour Facebook après son passage à la CNIL, Facebook ne peut pas être si mauvais.
  • À la lumière de ces soutiens massifs au capitalisme de surveillance de la part d’organisations respectueuses, qui disent œuvrer à la protection de nos droits humains, de notre vie privée et de la démocratie, j’en suis venu à la conclusion que je devais être le seul à être dans l’erreur.   Si Google, Facebook, etc., n’étaient qu’à moitié aussi nuisibles que ce pour quoi je les fais passer, ces organisations ne passeraient pas d’accords avec eux, elles ne les soutiendraient pas non plus.
  •  
    "De nombreuses organisations de défense des libertés numériques, essentiellement anglo-saxonnes (Access, FSF, Mozilla, GNOME, etc.), sont financées par Google ou Facebook. Ces deux sociétés vivent pourtant de l'exploitation des données personnelles de leurs utilisateurs, au mépris de leurs vies privées et de leurs libertés. Ce ne sont des acteurs sains ni pour Internet ni pour la démocratie. Aral Balkan, activiste et développeur, pointe dans son billet au titre ironique les contradictions et l'hypocrisie de ces organisations. Ce billet traduit en grande partie ce que nous pensons chez Nothing2Hide (quitte à frôler l'asphyxie financière). Nous en publions une traduction française ici."
Aurialie Jublin

Demain, les nains… - Framablog - 0 views

  • Les géants du numérique, avec leurs « licornes » à plusieurs milliards de dollars, nous ont confisqué le potentiel d’Internet. Alimentée par la très courte vue et la rapacité du capital-risque et des start-ups, la vision utopique d’une ressource commune décentralisée et démocratique s’est transformée en l’autocratie dystopique des panopticons de la Silicon Valley que nous appelons le capitalisme de surveillance. Cette mutation menace non seulement nos démocraties, mais aussi l’intégrité même de notre personne à l’ère du numérique et des réseaux1.
  • Alors que la conception éthique décrit sans ambiguïté les critères et les caractéristiques des alternatives éthiques au capitalisme de surveillance, c’est l’éthique elle-même qui est annexée par les Big Tech dans des opérations de relations publiques qui détournent l’attention des questions systémiques centrales2 pour mettre sous les projecteurs des symptômes superficiels3.
  • Small Tech elle est conçue par des humains pour des humains 4 ; elle n’a pas de but lucratif 5 ; elle est créée par des individus et des organisations sans capitaux propres6 ; elle ne bénéficie d’aucun financement par le capitalisme de la surveillance des Big Tech7 ; elle respecte la vie privée par défaut8 ; elle fonctionne en pair à pair9 ; elle est copyleft10 ; elle favorise les petits plutôt que les grands, les simples plutôt que les complexes et tout ce qui est modulaire plutôt que monolithique11 ; elle respecte les droits humains, leurs efforts et leur expérience12 ; elle est à l’échelle humaine13.
  • ...6 more annotations...
  • Ces critères signifient que la Small Tech : est la propriété des individus qui la contrôlent, et non des entreprises ou des gouvernements ; respecte, protège et renforce l’intégrité de la personne humaine, des droits humains, de la justice sociale et de la démocratie à l’ère du numérique en réseau ; encourage une organisation politique non-hiérarchisée et où les décisions sont prises à l’échelle humaine ; alimente un bien commun sain ; est soutenable ; sera un jour financée par les communs, pour le bien commun. ne rapportera jamais des milliards à quiconque.
  • Des entreprises comme Google et Facebook sont des fermes industrielles pour les êtres humains. Leurs produits sont les machines agricoles. Ils doivent fournir une façade brillante pour garder notre attention et nous rendre dépendants afin que nous, le bétail, puissions volontairement nous autoriser à être exploités. Ces institutions ne peuvent être réformées. Les Big Tech ne peuvent être réglementées que de la même manière que la Big Tobacco pour réduire ses méfaits sur la société. Nous pouvons et devrions investir dans une alternative éthique : la Small Tech
  • Nous construisons la Small Tech principalement pour le bien commun, pas pour faire du profit. Cela ne signifie pas pour autant que nous ne tenons pas compte du système économique dans lequel nous nous trouvons actuellement enlisés ou du fait que les solutions de rechange que nous élaborons doivent être durables. Même si nous espérons qu’un jour Small Tech sera financé par les deniers publics, pour le bien commun, nous ne pouvons pas attendre que nos politiciens et nos décideurs politiques se réveillent et mettent en œuvre un tel changement social. Alors que nous devons survivre dans le capitalisme, nous pouvons vendre et faire des profits avec la Small Tech. Mais ce n’est pas notre but premier. Nos organisations se préoccupent avant tout des méthodes durables pour créer des outils qui donnent du pouvoir aux gens sans les exploiter, et non de faire du profit. Small Tech n’est pas une organisation caritative, mais une organisation à but non lucratif
  • La vie privée, c’est avoir le droit de décider de ce que vous gardez pour vous et de ce que vous partagez avec les autres. Par conséquent, la seule définition de la protection de la vie privée qui importe est celle de la vie privée par défaut. Cela signifie que nous concevons la Small Tech de sorte que les données des gens restent sur leurs appareils. S’il y a une raison légitime pour laquelle cela n’est pas possible (par exemple, nous avons besoin d’un nœud permanent dans un système de pair à pair pour garantir l’accessibilité et la disponibilité), nous nous assurons que les données sont chiffrées de bout en bout et que l’individu qui possède l’outil possède les clés des informations privées et puisse contrôler seul qui est à chacun des « bouts » (pour éviter le spectre du Ghosting)
  • La configuration de base de notre technologie est le pair à pair : un système a-centré dans lequel tous les nœuds sont égaux. Les nœuds sur lesquels les individus n’ont pas de contrôle direct (p. ex., le nœud toujours actif dans le système pair à pair mentionné dans la note précédente) sont des nœuds de relais non fiables et non privilégiés qui n’ont jamais d’accès aux informations personnelles des personnes.
  • La Small Tech est conçue par des humains, pour des humains ; c’est une approche résolument non-coloniale. Elle n’est pas créée par des humains plus intelligents pour des humains plus bêtes (par exemple, par des développeurs pour des utilisateurs – nous n’utilisons pas le terme utilisateur dans Small Tech. On appelle les personnes, des personnes.) Nous élaborons nos outils aussi simplement que possible pour qu’ils puissent être compris, maintenus et améliorés par le plus grand nombre. Nous n’avons pas l’arrogance de supposer que les gens feront des efforts excessifs pour apprendre nos outils. Nous nous efforçons de les rendre intuitifs et faciles à utiliser. Nous réalisons de belles fonctionnalités par défaut et nous arrondissons les angles.
  •  
    "Et si les géants de la technologie numérique étaient concurrencés et peut-être remplacés par les nains des technologies modestes et respectueuses des êtres humains ? Telle est l'utopie qu'expose Aral Balkan ci-dessous. Faut-il préciser que chez Framasoft, nous avons l'impression d'être en phase avec cette démarche et de cocher déjà des cases qui font de nous ce qu'Aral appelle une Small Tech (littéralement : les petites technologies) par opposition aux Big Tech, autrement dit les GAFAM et leurs successeurs déjà en embuscade pour leur disputer les positions hégémoniques. Article original sur le blog d'Aral Balkan : Small technology"
Aurialie Jublin

Une IA concertée et open source comme outil éducatif pour les citoyens et les... - 0 views

  • Un autre aspect particulier du projet est d'explorer le concept de "privacy by using" et de faire du projet un outil de sensibilisation et d'éducation aux problématiques d'éthique et de protection de la vie privée dans les services intégrant de l'IA. 
  • Dans ce sens, nous travaillons sur des contenus et des formats (ateliers et rencontres de type barcamp) spécifiquement pensés de manière ludique pour les écoles afin de sensibiliser dès le plus jeune âge aux problématiques liées aux biais et à l'économie de l'attention, problématiques inhérentes à la "vie numérique" de l'époque actuelle et qui vont s'avérer toujours plus critiques avec le développement de l'IA (de plus en plus d'enfants sont confrontés très tôt à des services potentiellement problématiques, en particulier avec le boom des assistants vocaux).
  • Ainsi, en combinant la méthode "society in the loop" et l'approche "privacy by using", le projet permet de constituer de façon concertée une base de connaissances libre et ouverte tout en participant à l'éducation de la société sur les enjeux et les bonnes pratiques d'une intelligence artificielle d'intérêt général éthique et responsable.
  •  
    "Je travaille depuis quelques temps avec Matteo Mazzeri sur un projet de recherche appliquée en partenariat avec le CERN (cf. https://twitter.com/Genial_Project) qui propose une approche assez singulière de l'articulation entre intelligence artificielle (IA) et service public. Il s'agit de concevoir une "IA concertée" et open source qui permette de développer des services d'intérêt général / à vocation de service public. L'originalité de notre approche est d'appliquer le concept de "society in the loop" exposé par le MIT Medialab (concept très bien expliqué en français par Irénée Régnauld dans cet article) de manière à proposer une méthodologie, un travail humain sur les données et des modèles d'apprentissage qui permettent de refléter au plus près les besoins de "la société" et d'aboutir à une IA éthique et responsable."
Aurialie Jublin

Society in the loop : vers un intelligence artificielle plus démocratique ? -... - 0 views

  • Mais l’intelligence artificielle se diffuse également dans des sphères qui concernent plus directement la vie publique, et donc la société. Pour ne citer qu’eux : le classement de lycéens après leurs bacs[4], l’automatisation de procédures judiciaires[5] ou des horaires de ramassage scolaire[6], la dérégulation du flux automobile dans les villes dus à l’utilisation d’un service de GPS comme Waze[7], l’utilisation de la reconnaissance faciale dans des lieux publics[8] et privés[9], l’usage de « détecteurs de mensonges » aux frontières[10], la police prédictive[11], ou même plus simplement l’usage de systèmes reposant sur la captation de l’attention de l’utilisateur[12].  A leurs échelles, ces sujets touchent la vie sociale dans des dimensions qui pourraient légitimement demander à ce que des discussions plus démocratiques aient lieu. Ils entrent certes, plus ou moins directement dans la catégorie « intelligence artificielle » mais participent de la numérisation du monde à travers des algorithmes, et feront tous le pas vers l’IA si ce n’est déjà fait.
  • C’est là qu’intervient le passage qualitatif du « human in the loop » (HITL) au « society in the loop » (SITL). Pour le dire simplement, le SITL devient nécessaire lorsqu’un système utilisant l’intelligence artificielle a des implications importantes sur la sphère sociale. Iyad Rahwan explique : « alors que le HITL utilise le jugement d’un individu ou d’un groupe pour optimiser un système pensé trop étroitement, SITL embarque le jugement et les valeurs d’une société vue comme un tout, dans la définition la gouvernance algorithmique[13] de questions sociétales ». En résumé, le SITL est une forme de contrat social entre ceux qui doivent obéir aux règles et ceux qui écrivent les règles.
  • Coupons court au débat qui concerne les bulles de filtres : leur émergence et leurs effets dépendent du paramétrage des algorithmes de Facebook, de Google et des autres services susceptibles de créer ces bulles. Par conséquent, elles restent à leur main, notamment à travers leurs Conditions générales d’utilisation (CGU) et le secret d’affaires qui protègent ces systèmes (et les modèles d’affaires de captation du « temps de cerveau disponible » qui y sont directement liés). Pas de démocratie à cet endroit, quand bien même les impacts sur la démocratie pourraient être réels, même s’ils sont encore mal mesurés. C’est une des premières limites du modèle « Society in the loop ».
  • ...11 more annotations...
  • Dans le cas des véhicules autonomes en revanche, une vaste étude a été réalisée sur plusieurs années par le MIT Lab. Elle a concerné des millions de personne dans 233 pays (à travers le petit jeu http://moralmachine.mit.edu/) et a montré à quel point le traitement des questions éthique est variable, même lorsqu’on parle de conduite automobile ! Comme le relate Hubert Guillaud : « la question éthique diverge selon la culture, le niveau économique et la localisation géographique ; bien plus que selon des préférences individuelles (…) les Japonais ont plutôt tendance à préférer des véhicules qui épargnent les piétons alors que d’autres cultures, comme la culture chinoise, préfèrent des véhicules qui épargnent les passagers. » L’objectif d’une telle étude est d’apporter l’éclairage de la société toute entière afin que le système technique réponde au « bien commun ».
  • A l’initiative de Grégoire Japiot (@gregoire) et Matteo Mazzeri (@matemaz), le projet GEnIAL (voir le site internet) est « Une plateforme qui utilise les interfaces conversationnelles et l’intelligence artificielle afin de permettre à la population d’un territoire de mieux vivre dans sa ville à l’ère de la Smart City en offrant des moyens simples pour accéder aux services des administrations et des autres acteurs de la région. » Le projet, qui se revendique de « Society in the loop », est d’utilité publique et censé resté « la propriété des citoyens », contrairement aux services d’assistants proposés par les géants d’internet. Les données collectées ne sont pas commercialisées et la vie privée reste préservée. Grégoire, le fondateur, précise que les concertations citoyennes sont au cœur du projet. L’idée : intégrer dans le service les retours de la société (citoyens, administrations/institutions publiques, chercheurs et acteurs économiques) en vue d’élaborer des modèles d’apprentissage utilisés pour construire une « intelligence artificielle concertée ».
  • Concrètement, GEnIAL Bot, est une « solution qui vise à permettre aux utilisateurs d’interagir avec l’ensemble des informations d’un territoire via des interfaces conversationnelles de type chatbot et assistant vocal. » Au lieu de devoir utiliser des moteurs de recherche pour identifier les différents sites où se trouvent les informations recherchées ou bien de devoir téléphoner aux services concernés, les utilisateurs peuvent interroger GEnIAL Bot en s’adressant en langage naturel et se laisser guider sous forme de conversations vers l’information. Pour la partie technologique, GEnIAL « dispose d’une convention de partenariat avec le CERN qui lui permet de concevoir avec les équipes les plus pointues, une intelligence artificielle éthique et explicable, dont les modèles d’apprentissage sont pensés de manière à refléter l’identité du territoire et intégrer un processus de concertation continue avec ses habitants. »
  • A une échelle très locale, le projet GEnIAL pourrait entrer dans ce qu’il convient d’appeler la « démocratie technique ». La formule que j’emprunte ici à Callon, Barthes et Lascoumes dans l’ouvrage fondateur Agir dans un monde incertain, Essai sur la démocratie technique (Seuil, 2011) désigne notamment les dispositifs par lesquels des profanes peuvent peser sur les modes de conception et de diffusion des sciences et des techniques. A l’évocation de la démocratie technique, on pense souvent aux grandes polémiques et controverses qui ont agité des sujets technoscientifiques comme les OGM, l’enfouissement des déchets nucléaires, ou encore les traitements contre le SIDA. Ce dernier cas a montré que l’intrusion des malades parmi les experts a pu conduire à améliorer les protocoles des laboratoires pharmaceutiques, alors très éloignés de leurs vies.
  • Si ces exemples peuvent paraître éloignés des questions relatives à l’intelligence artificielle, ils permettent d’entrouvrir une autre dimension de la démocratie technique. Par-delà la pure contestation ou modification a posteriori d’une technique existante, Callon, Barthes et Lascoumes décrivent un modèle de « co-production des savoirs ». Ce modèle postule que les non-spécialistes peuvent produire des connaissances à partir de leurs intérêts propres. Ils sont les plus à même d’entrevoir les risques d’un projet et de les faire reconnaître comme légitimes lors d’une étape de conception commune. Ce faisant, ils participent pleinement à la production des sciences et des techniques. Ce modèle suscite des critiques : on pointe le fait que des profanes ne seraient pas capables de s’exprimer sur un sujet technique, et que par conséquent, l’avis des experts serait toujours supérieur, de meilleure qualité, et devrait être pris en compte en priorité.
  • De nombreux contre-exemples viennent infirmer ces thèses. L’expérience prouve que si les conditions sont réunies, des personnes éloignées d’un sujet technique ou scientifique peuvent tout à fait construire des rapports de grande qualité et reconnus comme tels par les experts eux-mêmes. Ce fut le cas lors des controverses concernant les OGM il y a de cela une vingtaine d’années. Callon, Barthes et Lascoumes racontent également comment les amateurs contribuent à améliorer la connaissance scientifique dans de nombreux domaines, comme par exemple l’astronomie.
  • pourquoi ce traitement démocratique si spécial devrait-il se limiter à l’intelligence artificielle ? Une des raisons est sans doute que l’on pressent que son déploiement va changer le monde et susciter des controverses qu’il vaut mieux anticiper. N’oublions pas cependant que de nombreuses technologies numériques (ou non) changent le monde plus insidieusement et suivant des échelles temporelles qui nous les rendent « invisibles à l’œil nu ». Légitimement, on pourrait aussi poser la question démocratique à leur endroit[20].
  • Ce que la démocratie technique questionne, c’est non seulement l’aménagement du progrès, mais aussi sa définition. C’est-à-dire la direction donnée à la civilisation. Entraîner une intelligence artificielle – même avec la méthodologie Society in the loop – c’est déjà faire le choix d’une intelligence artificielle. Ce qui ne veut pas dire que ce choix soit mauvais. Pas plus qu’il n’est naturellement bon. Disons que c’est un choix parmi d’autres. Ce point chaud qui concerne la définition du progrès est et sera de plus en plus au centre de toutes les questions liant technosciences et démocratie.
  • Parallèlement, l’Université de Montréal a bâti une « Déclaration pour un développement responsable de l’intelligence artificielle[23] ». Cette déclaration décrit dix principes phares pour guider le développement de l’IA, parmi lesquels un « principe de bien être » ou encore un « principe d’inclusion de la diversité » (
  • Toutes les controverses techniques n’ont pas vocation à passer sous les fourches caudines de la démocratie, il existe une multitude d’autres échelons pour co-construire, réguler, interdire ou favoriser des systèmes. En témoignent les nombreuses villes qui se « défendent » contre AirBnb ou Uber puis qui finissent par utiliser les données que ces sociétés récoltent, à d’autres fins (des « arrangements » a posteriori[25]). Par ailleurs, c’est aussi dans les écoles qui forment les ingénieurs, designers et entrepreneurs de demain et bien sûr dans les entreprises elles-mêmes, dont certaines décident d’être plus soucieuses des effets générés par leurs activités, que l’avenir se joue
  • Bien sûr, ces quelques pages souffrent de nombreuses limites et à de multiples niveaux. A mon sens néanmoins, le fond de la question consiste (aussi) à savoir quelle « dose » de démocratie nous sommes prêts à mettre dans nos ambitions technologiques. Et en retour, dans quelle mesure les technologies que nous produirons permettront ou non à la démocratie de continuer d’exister[26].
  •  
    "En 2017, Iyad Rahwan (@iyadrahwan), responsable du groupe des coopérations évolutives au MIT posait avec Joi Ito (@Joi) du MIT Medialab le concept de « Society in the loop » (SITL), une méthode pour impliquer différentes parties-prenantes dans la conception d'un système d'apprentissage automatique[1] (ou machine learning), à la base des intelligences artificielles (IA) qui jalonnent le quotidien. L'idée : co-construire plutôt qu'imposer les solutions au grand public, en faisant intervenir dès la phase de conception une diversité d'acteurs. J'en retrace ici un court historique, une illustration et les quelques perspectives et limites qu'il me paraît intéressant de pointer, notamment au regard des questions relatives à ce qu'on appelle la « démocratie technique »."
Aurialie Jublin

Acrasie : l'intime désaccord - 0 views

  • Ce phénomène que nous essayons de mettre en lumière ici, qui fait que nous prenons des décisions qui vont à l’encontre de nos valeurs, est plus fréquent qu’on ne pourrait le croire. Il est même quasi-quotidien chez certains d’entre nous. En philo éthique, c’est ce qu’on appelle l’acrasie (du grec akrasia). « Je vois le bien, je l’approuve, et je fais le mal ». C’est ce que Médée explique à Jason dans Métamorphoses d’Ovide (non, ce n’est pas une sitcom). Et ça résume bien la situation dans laquelle beaucoup d’entre nous se trouvent quotidiennement : ils ne sont pas d’accord avec le fait d’être assis sur leur canapé devant Netflix, à s’empiffrer de chips et à scroller sur Instagram, cependant, ils sont confrontés à des choix qu’ils n’arrivent (apparemment) pas à résoudre.
  • Cette caractéristique du comportement, propre à pas mal d’entre nous, c’est ce que Alain Anquetil, auteur d’un travail de recherche sur la question, appelle « l’expression molle d’une préférence pour le statu quo ».
  • L’acrasie par contre, c’est bien cette incontinence, cette faiblesse de ne pas arriver à prendre la bonne décision, alors que précisément nous savons quelle est cette « bonne » décision. Parce que je ne reçois aucune gratification instantanée dans le fait d’utiliser Qwant à la place de Google. Cependant, si je suis d’accord avec les arguments énoncés un peu plus haut, je devrais opter pour un autre moteur de recherche.
  • ...7 more annotations...
  • Vous l’aurez compris : les pays avec le plus haut score d’acceptation étaient ceux dans lesquels les gens devaient faire un effort, et une démarche, afin de se désinscrire, alors que ceux dans lesquels il fallait tout simplement s’inscrire (ce qui semble, il est vrai, le plus logique) ont eu beaucoup de mal à fédérer plus de 10 % de réponses positives. Les conclusions de l’enquête ? Que ce soit en Suède, en Autriche ou même en France, les personnes interrogées ne sont certainement pas CONTRE le don d’organe, mais encore faudrait-il qu’elle fasse l’effort de le dire et d’exprimer leur choix. Nous sommes donc là en face d’un pur cas d’acrasie (les gens ont d’ailleurs souvent un vrai avis moral et éthique sur la question du don d’organe) : peu importe la raison, quand il s’agit de passer à l’action, l’incontinence reprend le dessus.
  • Comme le souligne Attali, l’engagement citoyen de façade est parfois doublé d’un égoïsme social présent lorsqu’il s’agit de nos intérêts personnels et de nos habitudes.
  • Le philosophe Ruwen Ogien pose la question de façon très ouverte dans La Faiblesse de la Volonté : « À quelles conditions un agent rationnel peut-il choisir le pire alors que le meilleur est accessible ? ». Quel est l’effet de dissonance cognitive qui est à l’œuvre, et qui nous fait penser que ces baskets, chèrement payées, valent l’argent que nous y mettons ? Le mimétisme ? La sensibilité aux histoires et aux émotions véhiculées par les marques ? 
  • Le « pré-engagement ». C’est la façon dont vous allez vous engager socialement par rapport à vos convictions, en les exprimant à vos proches, amis ou collègues. Reprenons l’exemple de la consommation de viande : une fois que vous avez dit à tous vos collègues que vous ne mangez plus de viande parce que vous êtes choqués par le traitement fait aux animaux dans l’élevage industriel, vous pourrez bien sur en reprendre, mais vous risquez quand même de passer pour quelqu’un de pas très « fiable ».
  • Les « intentions de mise en œuvre ». Contrairement au pré-engagement, les intentions de mise en œuvre s’adressent uniquement à vous même. Il s’agit tout simplement d’outils pour vous motiver et vous organiser de façon à mettre en œuvre ce que vous avez prévu. Un exemple très parlant, et pourtant totalement banal, est celui de la to-do list.
  • Les « embûches ». La légende dit que pour finaliser Notre-Dame de Paris dans le temps imparti, Victor Hugo s’est débarrassé de ses vêtements, afin de ne plus avoir de moyen de sortir de chez lui, et de s'obliger à rester assis devant son bureau – n’ayant plus rien d’autre à faire que d’écrire. Résultat : il a rendu son ouvrage plusieurs jours avant la date limite.
  • Si l’acrasie représente cette faiblesse de volonté, l’encrasie serait donc cette force de caractère nous permettant d’agir conformément à nos valeurs, à ce que nous pensons profondément être bon, et non à ce qui nous arrange ou ce qui peut arranger nos petites affaires sur le moment présent. C’est un long chemin, mais il ne faut pas le considérer comme hors d'atteinte pour autant. Au contraire.
  •  
    "Nous avons pris l'habitude de blâmer les géants du numérique pour tous les maux de la Terre. Serait-ce de leur faute si nos données personnelles sont revendues et utilisées contre notre gré ? Est-ce à cause d'eux que nous devenons de vraies loques humaines, incapables de faire autre chose de que scroller une quantité invraisemblable de contenu par jour, et d'emmagasiner des informations dont nous n'avons (en vrai) rien à faire ? Bonne nouvelle : les individus derrière l'excellente newsletter Tech Trash vous révèlent dans cet article initialement publié sur leur site le principal responsable de vos faits et gestes (qui ne sont pas, contrairement à ce que vous pensez peut-être, téléguidés par la Silicon Valley) : VOUS. Et un mécanisme de nos cerveaux baptisé acrasie : le fait de ne pas parvenir à prendre la bonne décision, alors que précisément nous savons quelle est cette « bonne » décision. "
Aurialie Jublin

Contributopia : Dégoogliser ne suffit pas ! Peut-on faire du libre sans visio... - 0 views

  •  
    "Peut-on faire du libre sans vision politique ? Suite à sa campagne « Dégooglisons Internet » (oct 2014 - oct 2017), l'association a fait le bilan, calmement. Et il n'est pas brillant. En quelques années, les GAFAM/BATX/NATU (Google, Apple, Facebook, Amazon, Microsoft, Baidu, Alibaba, Tencent, Xiaomi, Netflix, AirBnb, Tesla, Uber) ont « colonisé » le monde, en formatant nos interactions, en normalisant nos relations, en orientant nos consommations, en contrôlant notre pouvoir d'agir. À l'œuvre derrière cette mécanique, une mutation économique et sociale : le capitalisme de surveillance. Avec sa nouvelle feuille de route « Contributopia », Framasoft souhaite mettre en place des outils et accompagner des dynamiques collectives qui permettraient de pouvoir agir plutôt que de subir. Il ne s'agit plus seulement de savoir « ce que nous refusons » (le logiciel propriétaire, les attaques contre nos libertés fondamentales, etc.), mais aussi de définir « quel monde nous souhaitons », et comment le logiciel libre et les communs peuvent nous aider à y le mettre en œuvre. Nous essaierons donc de poser les faits qui démontrent que l'open source se porte (très) bien mais que le logiciel libre (= open source + valeurs + éthique) soit dans une ornière depuis plusieurs années. Pour sortir de l'ornière, mais aussi de l'épuisement, ne devrions-nous pas faire un pas de côté et réinterroger les pratiques, les fonctionnements et les visions de nos communautés libristes ? Ne plus voir le logiciel libre comme une fin en soi nous permettant de nous libérer nous (libristes), mais comme un outil inspirant capable de favoriser l'émancipation de toutes et tous, et d'accélérer des transformations sociales positives ? La question politique a toujours été centrale dans le mouvement du logiciel libre, mais les questions économiques, techniques et juridiques - elles aussi profondément politiques, mais évitant soigneusement notre capacit
Aurialie Jublin

Learning analytics et université : quels risques pour la vie privée des étudi... - 0 views

  • Un professeur du Wisconsin soulignait à juste titre que « quand des personnes défendent des budgets, elles doivent ensuite prouver que les crédits obtenus ont été utilisés intelligemment. Et un des moyens d’y parvenir est de s’appuyer sur les données d’utilisation. »
  • Par ailleurs, cette surveillance est parfois réalisée à l’insu des étudiants qui ne mesurent pas que l’accès à telle ressource électronique, le temps passé sur tel article ou le téléchargement d’un livre électronique est consciencieusement collecté. Par conséquent, si l’étudiant n’a pas connaissance de ces techniques d’analyse d’apprentissage, il n’a pas la possibilité d’exercer son opposition à ce traitement de données. En outre, l’analyse d’apprentissage suppose, comme pour tout traitement de données, une sécurisation des données collectées qui pourraient être utilisées à des fins qui ne correspondent pas aux finalités initiales du traitement. Ou bien elles pourraient être utilisées par un prestataire sur lequel l’établissement n’a aucun contrôle.
  • Dans ce contexte, Briney participe à Data Doubles un projet financé par l’Institue Museum and Library Services qui consiste à mesurer l’impact sur les étudiants de l’utilisation de leurs données par les universités et les bibliothèques. Ce serait intéressant de construire un projet similaire en France.
  • ...1 more annotation...
  • Et bien évidemment plus on recueille de données, plus le risque de ré-identification est fort. La responsable de la vie privée de l’Université de Berkley a produit une grille de questions qu’il convient de se poser afin de réduire les risques : Degré de transparence et de prédictabilité : dans quelle mesure les personnes sont-elles informées sur l’objet de la collecte de données et l’utilisation qui en sera faite ? Degré d’anonymité et de choix : dans quelle mesure les données sont-elles rendues anonymes, ou la personne a-t-elle le choix de participer ? Degré d’accès, de propriété et de contrôle : quel est le niveau d’accès et de propriété des données pour les individus, les institutions, les vendeurs de prestations et le public ? Responsabilité en matière d’utilisation éthique, de gérance et de gouvernance : quels principes éthiques et quelles mesures de responsabilisation les entités qui manipulent les données des étudiant·e·s démontrent-elles ? Quels sont les standards de sécurité et techniques mis en oeuvre ?
  •  
    "Le développement du big data traverse l'ensemble des secteurs de notre société y compris les universités. En effet, le milieu universitaire est également confronté à une production exponentielle de données réalisée dans le cadre de la recherche, c'est évident, mais aussi par les étudiants. Un article de l'Université de l'Arizona publié en début d'année rappelait combien les étudiants étaient scrutés notamment à travers l'utilisation de leur carte étudiante. L'objectif de l'université était de pouvoir prédire quels sont les étudiants qui abandonneront leurs études en cours d'année ou de cursus. Qui dit étudiant, dit aussi bibliothèque universitaire. Les BU pourraient être tentées de céder « à la mesure, la collecte, l'analyse et la présentation de rapports basés sur des données des apprenants en contexte d'apprentissage » (source), autrement dit aux méthodes de Learning Analytics."
Aurialie Jublin

Concrètement, comment rendre les algorithmes responsables et équitables ? | I... - 0 views

  • Et rappelle la difficulté à définir mathématiquement l’équité, comme l’a souligné l’informaticien Arvind Narayanan (@random_walker) lors de la dernière édition de la conférence FAT (la conférence annuelle sur l’équité, la responsabilité et la transparence). Outre les biais et déséquilibres statistiques, rappelle David Robinson (@drobinsonian), responsable des associations EqualFuture et Upturn (et qui a notamment publié un rapport sur la question de l’examen public des décisions automatisées (.pdf)), leur impact dépend surtout de la manière dont sont utilisés ces systèmes, avec le risque, que pointait Eubanks, que les plus discriminés soient encore plus surveillés par ces systèmes.
  • Pour remédier à ces problèmes, beaucoup d’agences américaines ont recours à des chercheurs extérieurs pour déjouer les biais de leurs systèmes. En avril, l’AI Now Institute a défini un cadre (voir le rapport (.pdf)) pour les organismes publics qui souhaitent mettre en place des outils de prise de décision algorithmique, recommandant notamment de mettre à contribution la communauté de la recherche et de permettre à ceux que le système calcul de faire appel des décisions prises à leur sujet.
  • Leurs recommandations invitent les systèmes à respecter le droit d’information du public, à recourir à des examens par des chercheurs indépendants, à améliorer l’expertise des organismes qui les conçoivent et à développer des modalités pour permettre au public de contester les décisions prises. L’initiative recommande aux agences publiques de répertorier et décrire les systèmes de décision automatisés, y compris d’évaluer leur portée et impact. Elle recommande également de mettre en place des modalités d’accès afin que des chercheurs, des experts indépendants, des associations ou des journalistes puissent accéder et évaluer ces systèmes et pour cela doivent s’assurer notamment que leurs fournisseurs privés de systèmes acceptent ces vérifications. Elle souligne également que les agences doivent monter en compétences pour être expertes des systèmes qu’elles mettent en place, notamment pour mieux informer le public, et invite les fournisseurs de solutions à privilégier l’équité, la responsabilité et la transparence dans leurs offres.
  • ...7 more annotations...
  • Mais ce n’est pas la seule piste qui permettrait d’interroger les biais des systèmes automatisés. Microsoft travaille à un outil de détection automatique des biais, Facebook également (notamment via le projet Fairness Flow annoncé par Isabel Kloumann du département d’IA de FB research à la dernière conférence de F8 Conference parmi une longue liste d’outils pour l’IA) rapporte la Technology Review.
  • La mathématicienne Cathy O’Neil (@mathbabedotorg, blog), qui s’est fait connaître en dénonçant les dangers de ces outils, a lancé une entreprise d’audit algorithmique. Visiblement, souligne Wired, ses premiers clients sont des entreprises qui ont besoin de certifier qu’elles sont équitables : comme cela a été le cas de Rentlogic, une entreprise qui évalue les immeubles automatiquement pour leur attribuer une note, ou comme Pymetrics, une entreprise qui utilise des tests de personnalité pour aider les entreprises à embaucher qui avait besoin d’assurer que ses logiciels n’étaient pas discriminants.
  • Dans son livre, Weapons of Math Destruction, Cathy O’Neil avait émis l’idée de créer un serment d’Hippocrate pour les datascientists, sous la forme d’un code de conduite édictant quelques principes moraux. Elle soulignait dans une remarquable interview pour Wired, que ce code de conduite n’était certes pas suffisant en soi, notamment parce que les datascientists ne sont pas seuls à décider de ce qui sera implémenté dans les services développés par les entreprises. Pour autant, ces techniciens ne peuvent pas seulement suivre « les recommandations des manuels d’optimisation qu’ils utilisent, sans tenir compte des conséquences plus larges de leur travail ».
  • Cathy O’Neil a proposé une matrice éthique, basée sur les travaux du philosophe Ben Mepham qui l’a utilisé en bioéthique, qui aide à saisir ce sur quoi ce que l’on développe a un impact, et de l’autre ce dont s’inquiète les gens qui sont impactés par ce que l’on développe. Cette grille confronte quelques notions (exactitude, cohérence, partialité, transparence, équité, rapidité) à leur impact sur chacune des parties prenantes. La matrice sert à créer une conversation. Chaque case propose des questions : « qui souffre si le système se trompe ? » Le but est de révéler des problèmes. Quand la réponse pose problème, la case est colorée de rouge.
  • Elle propose également de se poser plusieurs questions, comme « les algorithmes que nous déployons vont-ils améliorer les processus humains qu’ils remplacent ? » Bien souvent, on constate qu’ils fonctionnent beaucoup plus mal que les systèmes précédents. Pour elle, il est également nécessaire de se demander : « pour qui l’algorithme échoue-t-il ? » Un système de reconnaissance facial échoue-t-il plus souvent pour les femmes que pour les hommes, pour les gens de couleurs que pour les blancs, pour les personnes âgées que pour les jeunes ?… Enfin, elle invite à se poser une troisième catégorie de questions : « est-ce que cela fonctionne pour la société (donc à très large échelle) ? Est-ce que nous enregistrons les erreurs du système ? Peut-on les réintroduire dans l’algorithme pour l’améliorer ? Est-ce que le système a des conséquences non intentionnelles ?… » Et la chercheuse de rappeler qu’aucunes de ces questions ne mettent en danger les secrets des algorithmes que les entreprises veulent protéger.
  • Le militant pour la protection de la vie privée Aral Balkan (@aral) estime qu’un code d’éthique risque surtout d’être utilisé comme caution de vertu par les entreprises pour continuer à faire comme d’habitude. Appliquer le RGPD aux États-Unis aurait plus d’impact pour prévenir les dommages algorithmiques. Sur son blog, Virginia Eubanks a réagi en proposant plutôt un « serment de non-violence numérique », qui, dans la forme au moins, est plus impliquant pour celui amené à le prononcer que de signer à quelques grands principes vagues
  • Mais l’enjeu demeure de les mettre en pratique. « Tout code d’éthique des données vous indiquera que vous ne devez pas collecter des données de sujets expérimentaux sans leur consentement éclairé. Mais ce code de conduite ne vous dira pas comment implémenter ce consentement éclairé. Or, celui-ci est facile si vous interrogez quelques personnes pour une expérience de psychologie. Mais il signifie quelque chose de bien différent en ligne ». Et ce n’est pas la même chose bien sûr de demander la permission via une fenêtre pop-up par exemple ou que via une case précochée cachée… La mise en oeuvre de principes éthiques englobe des questions qui vont des choix dans l’interface utilisateur aux choix de structuration des données ou d’interrogation des données de connexion. Et pose la question de rendre néanmoins le service utilisable sans dégrader l’expérience utilisateur…
  •  
    "Face aux multiples biais inscrits dans la production même des données utilisées par les algorithmes et les outils d'apprentissage automatisés, le risque, rappelle la chercheuse Kate Crawford (@katecrowford), co-fondatrice de l'AI Now Institute (@AINowInstitute), est que « plutôt que de concevoir des systèmes censés résoudre les problèmes, nous les exacerbions »."
Aurialie Jublin

CHATONS, ces hébergeurs alternatifs qui ne collectent pas vos données personn... - 0 views

  • en détenant bien un quart des capitaux des entreprises américaines, Apple, Microsoft et Google forment à eux trois une domination économique, technologique et culturelle monstrueuse. Par principe de précaution, a-t-on réellement envie de totalement dépendre de ces géants de la télécommunication ?
  • C'est là que se situe tout l'intérêt d'avoir recours à des hébergeurs locaux. "Plutôt que de machinalement faire confiance au 'cloud', mot qui veut surtout dire 'serveur d'un géant du numérique', il est important de pousser la réflexion autour des hébergeurs transparents et neutres", propose Pierre-Yves Gosset. Outre-Atlantique par exemple, on a vu comme le Patriot Act avait servi de passe-droit aux autorités américaines voulant obliger les entreprises à leur céder des données personnelles de citoyens surveillés. Stocker ses informations dans des endroits moins centralisés, c'est donc aussi complexifier l'accès à nos données personnelles.
  •  
    "Aujourd'hui, Framasoft va plus loin encore. L'association qui promeut la culture du libre veut créer un réseau d'hébergeurs libres. But : mettre à disposition des internautes la possibilité de ne pas stocker toutes leurs données personnelles au même endroit, c'est-à-dire chez les géants du numérique qui tiennent le monde entier dépendant d'eux. Pour cela, à la façon d'une AMAP, il suffit à chaque aspirant libriste [NDLR : citoyen attaché aux valeurs éthiques du logiciel libre] de consulter cette carte afin de choisir un hébergeur pas loin de chez lui. À condition d'avoir la fibre et un garage, il est également possible de soi-même devenir hébergeur. "
Aurialie Jublin

Technologie : l'âge sombre | InternetActu.net - 0 views

  • Pire, la technologie s’est fait la complice de tous les défis auxquels nous sommes confrontés : à la fois d’un système économique hors de contrôle qui ne cesse d’élargir les inégalités, la polarisation politique comme le réchauffement climatique. Pour Bridle, la technologie n’est pas la solution à ces défis, elle est devenue le problème. Il nous faut la comprendre plus que jamais, dans sa complexité, ses interconnexions et ses interactions : mais cette compréhension fonctionnelle ne suffit pas, il faut en saisir le contexte, les conséquences, les limites, le langage et le métalangage.
  • Trop souvent, on nous propose de résoudre ce manque de compréhension de la technologie par un peu plus d’éducation ou son corollaire, par la formation d’un peu plus de programmeurs. Mais ces deux solutions se limitent bien souvent en une compréhension procédurale des systèmes. Et cette compréhension procédurale vise surtout à renforcer la « pensée computationnelle », c’est-à-dire la pensée des ingénieurs et des informaticiens qui n’est rien d’autre que le métalangage du solutionnisme technologique 
  • Les systèmes techniques sont devenus de plus en plus complexes. Trop critiques et interconnectés pour être compris, pensés ou conçus. Leur compréhension n’est disponible plus que pour quelques-uns et le problème est que ces quelques-uns sont les mêmes que ceux qui sont au sommet des structures de pouvoir. Pour James Bridle, il y a une relation causale entre la complexité des systèmes, leur opacité, et les violences et inégalités qu’ils propagent.
  • ...32 more annotations...
  • Le cloud (l’informatique en nuage) n’est plus une métaphore du réseau, c’est l’incarnation de ce système global et surpuissant qu’aucun d’entre nous ne peut désormais attraper. Ce nuage est pourtant une bien mauvaise métaphore. Rien de ce qu’il recèle n’y est sans poids, rien n’y est amorphe ou invisible. Le cloud cache une infrastructure physique complexe faite de lignes téléphoniques, de fibre optique, de satellite, de vastes entrepôts d’ordinateurs, qui consomment d’énormes quantités d’énergie et qui influent sur de multiples juridictions. Le cloud est l’incarnation d’une nouvelle industrie.
  • De la sécurité nationale aux secrets industriels, il y a beaucoup de raisons à obscurcir ce que recouvre ce nuage. Mais ce qui s’en évapore est assurément notre propriété (dans les nuages, tout appartient à d’autres) et notre agentivité, c’est-à-dire notre capacité à faire.
  • Le réseau donne l’impression d’être à la fois l’idéal de progrès le plus abouti et l’idéal de base de notre culture tout en paraissant avoir émergé inconsciemment, poursuivant son but d’interconnexion sans fin pour lui-même et par lui-même… « Nous présumons que l’interconnexion est inhérente et inévitable. Le réseau semble être devenu le résultat du progrès, son accomplissement ultime », à l’image de machines qui accompliraient ainsi leurs propres désirs. Internet semble avoir accompli l’idéal des Lumières, l’idéal du progrès : celui que plus de connaissance et plus d’information conduit toujours à prendre de meilleures décisions.
  • Mais n’est-ce pas plutôt le contraire auquel nous assistons ? « Ce qui était censé éclairer le monde l’a obscurci. L’abondance d’information et la pluralité d’opinion accessible à tous n’ont pas produit un consensus cohérent, mais au contraire a déchiré la réalité en narrations simplistes, en théories fumeuses et en politique d’opinion. Contrairement au Moyen Âge, où l’âge sombre était lié à une perte de connaissance antique, l’âge sombre moderne est lié à une abondance de connaissance dont nous ne savons plus démêler collectivement l’apport. »
  • L’obscurité dont parle Bridle c’est notre incapacité à voir clairement ce qui est devant nous, avec capacité et justice. Pour Bridle pourtant, ce constat ne doit pas être lu comme une condamnation de la technologie. Au contraire. Pour relever l’âge sombre qui s’annonce, il nous faut nous engager plus avant dans la technologie, avec elle, mais avec une compréhension radicalement différente de ce qu’il est possible d’en faire, en retrouver un sens que la seule recherche d’efficacité nous a fait perdre. Tout comme le changement climatique, les effets de la technologie s’étendent sur le globe et affectent tous les aspects de nos vies. Mais comme le changement climatique, ses effets sont potentiellement catastrophiques et résultent de notre incapacité à comprendre les conséquences de nos propres inventions. Nous devons changer de manière de voir et penser le monde, nous invite Bridle, un peu facilement ou naïvement.
  • « En rapprochant la simulation de l’approximation, les grands prêtres de la pensée computationnelle pensent remplacer le monde par des modèles biaisés de lui-même ; et en le faisant, les modeleurs s’assurent du contrôle du monde. » James Bridle s’inscrit dans la continuité des constats de l’historien des sciences David Noble qui, dans Le progrès sans le peuple notamment, soulignait combien la pensée des ingénieurs avait contribué à donner du pouvoir aux puissants plutôt que favoriser l’équité ou la démocratie ; comme dans celle de Richard Sclove du Loka Institute, qui dans Choix technologiques, choix de société, soulignait combien les enjeux démocratiques restaient le parent pauvre de la question technologique.
  • La pensée computationnelle s’infiltre partout : elle devient notre culture. Elle nous conditionne à la fois parce qu’elle nous est illisible et à la fois parce que nous la percevons comme neutre émotionnellement et politiquement. Les réponses automatisées nous semblent plus dignes de confiance que celles qui ne le sont pas. Dans la pensée computationnelle, nous sommes victimes du biais d’automatisation : « nous avons plus confiance dans l’information automatisée que dans notre propre expérience, même si elle est en conflit avec ce qu’on observe ». Les conducteurs de voitures comme les pilotes d’avion ont plus tendance à croire leurs instruments que leur expérience, même si celle-ci n’est pas alignée.
  • Pour Bridle, l’informatique, en ce sens, est un piratage de notre capacité cognitive, de notre capacité attentionnelle, qui renvoie toute responsabilité sur la machine. « À mesure que la vie s’accélère, les machines ne cessent de prendre en main de plus en plus de tâches cognitives, renforçant par là leur autorité – sans regarder les conséquences ». « Nous nous accommodons de mieux en mieux et de plus en plus aux confortables raccourcis cognitifs que nous proposent nos machines. L’informatique remplace la pensée consciente. Nous pensons de plus en plus comme des machines, ou plutôt nous ne pensons plus du tout ! ».
  • « Ce qui est difficile à modéliser, à calculer, à quantifier, ce qui est incertain ou ambigu, est désormais exclu du futur possible. » L’informatique projette un futur qui ressemble au passé (« Les algorithmes ne prédisent pas le futur, ils codifient le passé », disait déjà Cathy O’Neil). La pensée computationnelle est paresseuse. Elle propose finalement des réponses faciles. Elle nous fait croire qu’il y a toujours des réponses.
  • les réseaux souffrent d’une gouvernance fragmentée, sans responsabilités claires, peu cartographiés et sous-financés ; des infrastructures en silos ; des investissements privés comme publics insuffisants et plus encore un manque de compréhension de la complexité de leur fonctionnement… expliquent leur fragilité intrinsèque et la difficulté de leur maintenance. Ajoutez à cela les impacts du changement climatique sur leur maintenance et leur évolution et vous comprendrez que les réseaux ne sont pas dimensionnés pour faire face au futur. Bref, non seulement l’informatique contribue largement au réchauffement climatique, mais elle risque d’en être l’une des principales victimes.
  • Mais les grands volumes de données ne produisent pas de la connaissance automatiquement. Dans la recherche pharmacologique par exemple, les dépenses et investissements n’ont jamais été aussi forts alors que les découvertes, elles, n’ont jamais produit aussi peu de nouveaux traitements. On appelle cela la loi d’Eroom : l’exact inverse de la loi de Moore. Le nombre de résultats de recherche chute et ces résultats sont de moins en moins dignes de confiance. Si les publications scientifiques n’ont jamais été aussi volumineuses (au détriment de leur qualité), les rétractions ont augmenté et le nombre de recherches ayant un impact significatif, elles, ont diminué proportionnellement. La science connaît une crise de réplicabilité majeure.
  • Plusieurs facteurs expliquent ce revirement de la loi du progrès. La première est que les choses les plus évidentes à découvrir ont été exploitées. La régulation est également devenue plus exigeante et la société moins tolérante aux risques. Mais le problème principal relève certainement des méthodes désormais employées. Historiquement, la découverte de médicament était le fait de petites équipes de chercheurs qui se concentrait intensément sur de petits groupes de molécules. Mais depuis 20 ans, ces processus ont été largement automatisés, sous la forme de ce qu’on appelle le HTS (High-throughput screening pour criblage à haut débit) qui consiste en des recherches automatisées de réactions potentielles via de vastes bibliothèques de composants. Le HTS a priorisé le volume sur la profondeur. Ce qui a marché dans d’autres industries a colonisé la recherche pharmaceutique : automatisation, systématisation et mesures… Certains commencent à douter de l’efficacité de ces méthodes et voudraient revenir à l’empirisme humain, au hasard, au bordel, au jeu… À nouveau, « la façon dont nous pensons le monde est façonnée par les outils à notre disposition ». Nos instruments déterminent ce qui peut être fait et donc, ce qui peut être pensé. À mesure que la science est de plus en plus technologisée, tous les domaines de la pensée humaine le sont à leur tour. Les vastes quantités de données ne nous aident qu’à voir les problèmes des vastes quantités de données.
  • Les bourses et places de marchés d’antan ont été remplacées par des entrepôts, des data centers, anonymes, dans des banlieues d’affaires impersonnelles. La dérégulation et la numérisation ont transformé en profondeur les marchés financiers. La vitesse des échanges s’est accélérée avec la technologie. Les transactions à haute fréquence (HFT, High-frequency trading) reposent sur la latence et la visibilité. La latence, c’est-à-dire la rapidité d’échange où des millions peuvent s’échanger en quelques millisecondes et la visibilité (sauf pour les non-initiés), c’est-à-dire le fait que les échanges sont visibles de tous les participants, instantanément. Les échanges reposent sur des algorithmes capables de calculer des variations éclair et de masquer les mouvements de fonds. Les échanges sont plus opaques que jamais : ils s’imposent sur des forums privés, les « dark pools » (en 2015, la SEC, l’organisme américain de réglementation et de contrôle des marchés financiers, estimait que les échanges privés représentaient 1/5e du total des échanges)… Les échanges financiers ont été rendus obscurs et plus inégaux que jamais, rappelle Bridle.
  • Pour Bridle, l’une des clefs qui expliquent que les inégalités se renforcent avec la technologie est intrinsèquement liée à l’opacité des systèmes. Comme les robots des entrepôts d’Amazon et ses employés commandés par des commandes vocales émanant de robots, nous sommes en train d’arranger le monde pour rendre les machines toujours plus efficaces, quitte à ce que le monde devienne incompréhensible et inadapté aux humains. Les travailleurs deviennent le carburant des algorithmes, utiles seulement pour leurs capacités à se déplacer et à suivre des ordres. Pour Bridle, les startups et les Gafam signent le retour des barons voleurs, ces tyrans industriels du XIXe siècle. La technologie est venue couvrir d’un voile d’opacité la prédation : l’avidité s’est habillée de la logique inhumaine des machines. Amazon ou Uber cachent derrière des pixels lumineux un système d’exploitation sans faille
  • Pour la sociologue Deborah Cowen (@debcowen), nous sommes entrés dans la tyrannie de la techne explique-t-elle dans The Deadly Life of Logistics (2014) : l’efficacité est devenu primordiale sur tous les autres objectifs, sur toutes les autres valeurs
  • Autre exemple avec How-Old.net un outil de reconnaissance faciale qui tente de prédire l’âge d’une personne, et qui a été utilisée pour deviner l’âge de migrants arrivants au Royaume-Uni. Microsoft, qui a développé cette application, s’est défendu et a dénoncé cette utilisation… comme les 2 chercheurs chinois. Ceux-ci expliquaient néanmoins dans leur défense que leur système était « sans préjugé » (sic). Comme souvent, on nous explique que la technologie, et plus encore l’apprentissage automatisé, est neutre. Mais « la technologie n’émerge pas de nulle part. Elle est toujours la réification de croyances et de désirs, notamment de ses créateurs. Leurs biais sont encodés dans les machines et les bases de données ou les images que nous prenons du monde. »
  • Pour Bridle, le problème n’est pas tant que les machines puissent réécrire la réalité, mais que la réalité, le passé comme le futur, ne puissent plus être correctement racontés. DeepDream de Google illustre parfaitement cela. L’enjeu n’est pas pour nous de comprendre ce qu’est l’image, mais de nous demander ce que le réseau de neurones veut y voir ?
  • Pour Bridle, nous devrions ajouter une 4e loi aux trois lois de la robotique d’Asimov. Les machines intelligentes devraient être capables de s’expliquer aux humains. Ce devrait être une loi première, car éthique. Mais le fait que ce garde-fou ait déjà été brisé laisse peu d’espoir quant au fait que les autres règles le soient à leur tour. « Nous allons devoir affronter un monde où nous ne comprendrons plus nos propres créations et le résultat d’une telle opacité sera toujours et inévitablement violent ».
  • Pour Bridle, l’alliance entre l’humain et la machine peut encore fonctionner, comme l’a montré Garry Kasparov avec les échecs avancés, consistant à ce qu’une IA et qu’un humain jouent ensemble plutôt qu’ils ne s’affrontent. C’est dans la perspective d’associer les talents des humains et des machines, d’associer leurs différences d’une manière coopérative plutôt que compétitive que nous parviendrons à réduire l’opacité computationnelle. La perspective que l’intelligence des machines nous dépasse dans nombre de disciplines est une perspective destructrice. Nous devons trouver la voie d’une éthique de la coopération avec les machines, plutôt qu’un affrontement.
  • Bridle s’en prend également longuement à la surveillance et notamment à la surveillance d’Etat pour souligner combien elle nous est masquée et continue à l’être, malgré les révélations d’Edward Snowden. Vous pouvez lire n’importe quel e-mail dans le monde d’une personne dont vous avez l’adresse. Vous pouvez regarder le trafic de tout site web. Vous pouvez suivre les mouvements de tout ordinateur portable à travers le monde. Pour Bridle, cela nous a montré qu’il n’y a pas de restriction possible à la capacité de surveillance du réseau. L’échelle et la taille de la surveillance a excédé ce que nous pensions comme étant techniquement possible.
  • En opposition au secret, nous demandons de la transparence, mais elle n’est peut-être pas le bon levier. La NSA et Wikileaks partagent la même vision du monde avec des finalités différentes, rappelle Bridle. Les deux pensent qu’il y a des secrets au coeur du monde qui, s’ils étaient connus, pourraient rendre le monde meilleur. Wikileaks veut la transparence pour tous. La NSA veut la transparence pour elle. Les deux fonctionnent sur une même vision du monde. Wikileaks ne voulait pas devenir le miroir de la NSA, mais voulait briser la machine de surveillance. En 2006, Assange a écrit « Conspiracy as Governance » (.pdf). Pour lui, tout système autoritaire repose sur des conspirations, car leur pouvoir repose sur le secret. Les leaks minent leur pouvoir, pas par ce qui fuite, mais parce que la peur et la paranoïa dégradent la capacité du système autoritaire à conspirer. Mais les fuites de données ne suffisent pas à remettre en cause ou à abattre l’autorité. Les révélations ne font pas bouger l’opinion, sinon, nous aurions réagi bien avant les révélations de Snowden. Tant que les organisations de surveillance ne changent pas de l’intérieur, ceux qui sont en dehors de ces organisations, comme les lanceurs d’alertes, n’ont pas de capacité d’action. Ils attendent que des fonctionnaires ou que la justice confirment ce qu’ils avancent.
  • Mais la lumière du calcul nous dépossède de pouvoir, car elle nous fait crouler sous l’information et nous donne un faux sens de la sécurité. C’est là encore une conséquence de la pensée computationnelle. « Notre vision est devenue universelle, mais notre capacité d’action, elle, s’est réduite plus que jamais. » A l’image du réchauffement climatique, à nouveau, « nous savons de plus en plus de choses sur le monde, mais nous sommes de moins en moins capable d’agir sur lui ». Au final, nous nous sentons plus démunis que jamais. Plutôt que de reconsidérer nos hypothèses, nous nous enfonçons dans la paranoïa et la désintégration sociale.
  • Le monde est devenu trop complexe pour des histoires simples. En fait, « la démultiplication de l’information ne produit pas plus de clarté, mais plus de confusion ». L’un des symptômes de la paranoïa consiste à croire que quelqu’un vous surveille. Mais cette croyance est désormais devenue raisonnable, s’amuse Bridle en évoquant la surveillance d’Etat comme la surveillance des services numériques. Nous sommes entièrement sous contrôle, tant et si bien qu’on peut se demander qui est paranoïaque désormais ?
  • « Les théories conspirationnistes sont le dernier ressort des sans pouvoirs, imaginant ce que serait que d’être puissant », avance Bridle. Pour le spécialiste de la postmodernité, Frederic Jameson, les théories conspirationnistes sont « la cartographie cognitive des plus démunis dans un âge postmoderne ». C’est la figure dégradée de la logique par ceux qui ont le moins de capital culturel, une tentative désespérée de se représenter un système qu’ils ne comprennent pas. Encerclé par l’évidence de la complexité, l’individu a recours à un récit simpliste pour tenter de regagner un peu de contrôle sur la situation. À mesure que la technologie augmente et accélère le monde, celui-ci devient plus complexe. Les théories conspirationnistes deviennent alors des réponses, étranges, intriquées et violentes, pour s’en accommoder.
  • Ainsi, si vous cherchez de l’information sur les vaccins, vous tomberez invariablement sur de l’information contre les vaccins. Si vous cherchez de l’information sur la rotondité de la terre, vous tomberez inexorablement sur ceux qui pensent qu’elle est plate. Ces opinions divergentes semblent devenir la majorité tant elles sont exprimées et répétées avec force. « Ce qui se passe quand vous désirez en savoir de plus en plus sur le monde entre en collision avec un système qui va continuer à assortir ses réponses à n’importe quelle question, sans résolution ». Vous trouverez toujours quelqu’un pour rejoindre vos points de vue. Et toujours un flux pour les valider. Voici l’âge de la radicalisation algorithmique (à l’image de ce que disait Zeynep Tufekci de YouTube). Les théories conspirationnistes sont devenues la narration dominante. Elles expliquent tout. Dans la zone grise des connaissances, tout prend un sens.
  • Les failles des algorithmes sont les dernières failles du capitalisme où certains s’infiltrent non pas pour le renverser, mais pour tenter de gratter un peu d’argent que les plus gros systèmes s’accaparent. Au final, des vidéos automatisées finissent par être vues par des enfants. Leurs personnages préférés y font n’importe quoi, parfois suggèrent des scènes de meurtre ou de viols. Ces effets de réseaux causent des problèmes réels. Les algorithmes de YouTube ont besoin d’exploitation pour produire leurs revenus. Derrière leurs aspects séduisants, ils encodent les pires aspects du marché, notamment l’avidité. « La capacité à exploiter l’autre est encodée dans les systèmes que nous construisons », pointe très justement James Bridle, puisque leur efficacité repose sur leur capacité à extraire de l’argent de nos comportements.
  • À défaut d’une solution, Google annonçait en avril que l’application YouTube Kids allait devenir « non-algorithmique »… À croire, comme le pointait très justement le chercheur Olivier Ertzscheid, que l’algorithimsation n’est pas une solution sans limites.
  • Pour Bridle, les humains sont dégradés des deux côtés de l’équation : à la fois dans l’exploitation qui est faite de leur attention et à la fois dans l’exploitation de leur travail. Ces nouvelles formes de violence sont inhérentes aux systèmes numériques et à leur motivation capitaliste. Le système favorise l’abus et ceux qui le produisent sont complices, accuse-t-il. L’architecture qu’ils ont construite pour extraire le maximum de revenus des vidéos en ligne a été hackée par d’autres systèmes pour abuser d’enfants à une échelle massive. Les propriétaires de ces plateformes ont une responsabilité forte dans l’exploitation qu’ils ont mise en place. « C’est profondément un âge sombre quand les structures qu’on a construites pour étendre la sphère de communications sont utilisées contre nous d’une manière systématique et automatique. »
  • Pour Bridle, les fausses nouvelles ne sont pas le produit de l’internet. Elles sont le produit de la cupidité et de la démocratisation de la propagande où tout a chacun peut devenir un propagandiste. Elles sont un amplificateur de la division qui existe déjà dans la société, comme les sites conspirationnistes amplifient la schizophrénie.
  • Mais ce qu’il y a de commun avec le Brexit, les élections américaines ou les profondeurs de YouTube, c’est que malgré tous les soupçons, il reste impossible de savoir qui fait ça, qu’elles sont leurs motivations, leurs intentions. On peut regarder sans fin ces flux vidéos, on peut parcourir sans fin les murs de mises à jour de statuts ou de tweets… cela ne permet pas de discerner clairement ce qui est généré algorithmiquement ou ce qui est construit délibérément et soigneusement pour générer des revenus publicitaires. On ne peut pas discerner clairement la fiction paranoïaque, l’action d’États, la propagande du spam… Ces confusions servent les manipulateurs quels qu’ils soient bien sûr, mais cela les dépasse aussi. C’est la manière dont le monde est. Personne ne semble réellement décider de son évolution… « Personne ne veut d’un âge sombre, mais nous le construisons quand même et nous allons devoir y vivre. »
  • Exploiter plus de données pour construire de meilleurs systèmes est une erreur. Cette méthode ne parviendra pas à prendre en compte la complexité humaine ni à la résoudre. Le développement de l’information n’a pas conduit à une meilleure compréhension du monde, mais au développement de points de vue alternatifs et concurrents. Nous devons changer nos façons de penser comme nous y invitait Lovecraft. Nous ne survivrons pas plus à l’information brute qu’à la bombe atomique. Le nouvel âge sombre est un lieu où le futur devient radicalement incertain et où le passé devient irrévocablement contesté. Mais c’est le présent dans lequel nous devons vivre et penser. Nous ne sommes pas sans pouvoir ni capacités. Mais pour cela nous devons nous défaire des promesses illusoires de la pensée computationnelle. Penser le monde autre, c’est ce à quoi nous invite James Bridle dans le nouvel âge sombre.
  • Reste à savoir si cet âge sombre des technologies est vraiment notre avenir. L’âge sombre du Moyen Âge n’a jamais vraiment existé ailleurs que dans les lacunes des historiens. On peut douter également de cette nouvelle obscurité ou regretter le titre faussement prophétique. Reste que la complexité et l’intrication du monde que décrit James Bridle, montrent combien il nous faut, plus que jamais, nous défaire justement d’une vision simple et manichéenne de la technologie.
  •  
    "Ce New Dark Age porte un titre prophétique et apocalyptique. Un peu trop peut-être. C'est effectivement un livre très critique sur notre rapport à la technologie, très éloigné du rapport souvent curieux et amusé que Bridle portait aux technologies avec la nouvelle esthétique. En une dizaine de chapitres, Bridle explore les glitchs qui sont désormais devenus des schismes, des scissions, des ruptures… comme s'ils n'étaient plus aussi distrayants. Dans son livre, il montre combien les bugs se cristallisent en caractéristiques. Combien la complexité technique que nous avons construite s'entremêle pour produire des effets en réseau, complexes, profonds, intriqués que nous ne parvenons plus vraiment à démêler. Son constat principal consiste à dire que ces dysfonctionnements ne sont pas amenés à être corrigés. Ils sont au contraire intrinsèques à la nature même des technologies qui se déploient aujourd'hui. Contrairement à ce que nous annonçaient les pionniers et les prophètes des technologies, pour Bridle, la technologie n'annonce pas de nouvelles Lumières ou une Renaissance, mais, comme Jules Michelet parlait du Moyen Âge, un âge sombre, une ère d'obscurité pour ne pas dire d'obscurantisme. Ni les réseaux sociaux, ni l'intelligence artificielle, ni les systèmes techniques ne vont nous aider à faire monde commun. Au contraire."
Aurialie Jublin

Livre blanc PrivacyTech (pdf) - Une nouvelle gouvernance pour les données du ... - 0 views

  •  
    Une économie digitale performante et éthique nécessite une libre circulation des données personnelles sous le contrôle des individus. Le RGPD (Règlement Général sur la Protection des Données), lancé le 25 mai 2018, est un pas en avant majeur vers une nouvelle économie centrée sur l'individu grâce : au nouveau droit à la portabilité (Article 20) qui encourage la circulation des données, à une série de mesures et principes visant à augmenter la protection des individus comme le consentement spécifique et informé et le privacy by design. Le RGPD s'inscrit dans la stratégie de Marché Unique du Digital (Digital Single Market) de l'Union Européenne et a pour but de créer les conditions pour une économie sans barrières qui bénéficierait autant aux individus et aux entreprises qu'à la société dans son ensemble. Presque un an après le lancement du RGPD, nous observons un paysage prometteur d'organisations qui commencent à s'adapter au nouveau règlement, autant en Europe que dans le reste du monde. Mais il reste encore beaucoup à faire, particulièrement en ce qui concerne la mise en œuvre du contrôle des données par l'individu et de la portabilité. La tâche est éminemment complexe et requiert une coordination internationale, multisectorielle et multi-expertises. Pour réussir nous avons définitivement besoin d'une nouvelle approche ambitieuse qui pourrait partir de l'Europe pour s'étendre à l'international. Dans un tel contexte, nous proposons d'engager un échange constructif entre tous les acteurs de la donnée personnelle (entreprises, administrations, académies, associations) qui voudraient joindre leurs efforts au sein d'une nouvelle forme d'organisation dont le but serait de construire, harmoniser et proposer des standards technologiques, terminologies et bonnes pratiques pour la circulation et la protection des données personnelles, ainsi qu'une gouvernance adaptée. Les grandes pro
Aurialie Jublin

[Écologie] Le monde du logiciel est en train de se détruire... Manifeste pour... - 0 views

  • Tout est lent, et cela ne va pas dans le bon sens. Certaines voix s’élèvent. Je vous invite notamment à lire “Le désenchantement du logiciel”. Tout est insupportablement lent, tout est ÉNORME, tout finit par devenir obsolète… La taille des sites web explose. Un site web est aussi gros que le jeu Doom. Le phénomène ne touche pas que le Web mais aussi l’IoT, le mobile… Le saviez-vous ? Il faut 13% de CPU pour faire clignoter un curseur…
  • Tout grossit : la taille des applications, les données stockées, la taille des pages web, la mémoire des téléphones… Les téléphones ont maintenant 2 Go de mémoire, échanger une photo de 10 Mo par mail est maintenant classique… À la limite, cela ne serait peut-être pas un problème si tous les logiciels étaient utilisés, efficaces et performants… Mais cela n’est pas le cas,
  • Alors tout le monde se cale sur une lenteur. Tout est uniformément lent. On se cale sur cela et tout va bien. Être performant aujourd’hui, c’est arriver à atteindre un ressenti utilisateur qui correspond à cette lenteur uniforme. On élague les choses qui pourraient être trop visibles. Une page qui met plus de 20 secondes à se charger, c’est trop lent. Par contre, 3 secondes c’est bien. 3 secondes ? Avec les multicoeurs de nos téléphones/PC et les data centers partout dans le monde, le tout relié par des supers technologies de communication (4G, fibre…),c’est un peu bizarre non ? Si on regarde la débauche de ressources pour le résultat obtenu, 3 secondes, c’est énorme. D’autant plus que les bits circulent dans nos processeurs avec des unités de temps du niveau de la nanoseconde. Donc oui, tout est uniformément lent.
  • ...29 more annotations...
  • Il est nécessaire de revenir à plus d’efficience, de « challenger » les besoins en matériel, de redéfinir ce qu’est la performance. Tant que l’on se satisfera de cette lenteur uniforme avec des solutions pour ne pas ralentir plus (comme l’ajout de matériel), nous n’avancerons pas. La dette technique, notion largement assimilée par les équipes de développement, n’est malheureusement pas adaptée à ce problème (on y reviendra). Nous sommes sur une dette de ressources matérielles et de mauvaise adéquation entre le besoin utilisateur et la solution technique. On parle ici d’efficience et non pas uniquement de performance. L’efficience est une histoire de mesure du gaspillage. L’ISO définie l’efficience avec comme domaine : Time behaviour, Resource utilization et Capacity. Pourquoi ne pas pousser plus ces concepts ?
  • Développez du code Java pour un serveur J2EE ou pour un téléphone Android, ce n’est pas pareil. Des structures spécifiques existent par exemple pour traiter des données en Android mais les structures classiques sont toujours utilisées. Les développeurs ont perdu le lien avec le hardware. C’est malheureux car c’est passionnant (et utile) de savoir comment fonctionne un processeur. Pourquoi : abstraction et spécialisation (nous verrons cela plus loin). Car en perdant ce lien, on perd une des forces du développement. Ce lien est important chez les hackers ou chez les développeurs d’informatique embarquée mais malheureusement de moins en moins présent chez les autres développeurs.
  • Les pratiques devops pourraient répondre à cette perte de lien. Là, c’est pareil, nous n’allons pas jusqu’au au bout : généralement le devops va se focaliser à bien gérer le déploiement d’une solution logicielle sur une infrastructure mixte (matérielle et un peu logicielle). Il faudrait aller plus loin en remontant par exemple les métriques de consommation, en discutant sur les contraintes d’exécution… plutôt que de “scaler” juste parce que c’est plus simple.
  • Certaines technologies ont une utilité mais sont maintenant systématiquement utilisées. C’est le cas par exemple des ORM qui sont devenus systématiques. Aucune réflexion n’est faite sur son intérêt en début des projets. Résultat : on a rajouté une surcouche qui consomme, qu’il faut maintenir et des développeurs qui n’ont plus l’habitude d’effectuer des requêtes natives. Cela ne serait pas un problème si chaque développeur connaissait très bien le fonctionnement des couches d’abstraction : comment fonctionne HIBERNATE par exemple ? On s’appuie hélas de façon aveugle sur ces frameworks.
  • Le besoin d’abstraction est lié à un autre défaut: nous attendons toujours des outils miracles. La silver bullet qui améliorera encore plus nos pratiques. Le langage idéal, le framework pour aller plus vite, l’outil de gestion miracle des dépendances… C’est la promesse à chaque fois d’un nouveau framework : gagner du temps en développement, être plus performant… Et on y croit, on fonce. On abandonne les frameworks sur lesquels nous avions investi, sur lesquels on avait passé du temps… et on passe au nouveau. C’est le cas actuellement des frameworks JS. L’histoire du développement est pavé de framework oubliés, non maintenus, abandonnés… Nous sommes les champions pour réinventer ce qui existe déjà. Si on le gardait suffisamment longtemps, on aurait le temps de maîtriser un framework, de l’optimiser, de le comprendre. Mais ce n’est pas le cas. Et que l’on ne me dise pas que si on n’avait pas continuellement réinventé la roue, on aurait encore des roues en pierre… Innover serait d’améliorer les frameworks existants .
  • Sur les langages, c’est la même rengaine. Attention, je ne préconise pas de rester sur l’assembleur et sur le C… C’est le cas par exemple dans le monde Android, pendant plus de 10 ans les développeurs ont pu travailler sur des outils et des frameworks Java. Et comme cela, par magie, le nouveau Langage de la communauté est Kotlin. On imagine l’impact sur les applications existantes (si elles doivent changer), il faut recréer des outils, retrouver des bonnes pratiques… Pour quel gain?
  • Sincèrement, on ne voit aucun ralentissement sur les cycles de renouvellement des technologies. C’est toujours un rythme frénétique. Nous trouverons bien le Graal un jour. Le problème est ensuite l’empilement de ses technologies. Comme aucune ne meurt vraiment et que l’on en maintient toujours des parties, on développe d’autres couches pour s’adapter et continuer à maintenir ces bouts de code ou ces librairies. Le problèmen’est pas le code legacy,, c’est la glue que l’on développe autour qui pêche.
  • Au final, on passe du temps à résoudre des problèmes techniques internes, on recherche des outils pour résoudre les problèmes que l’on ajoute, on passe son temps à s’adapter à ses nouveaux outils, on ajoute des surcouches (voir chapitre précédent…) … et on n’a pas améliorer la qualité intrinsèque du logiciel ou les besoins auxquels on doit répondre.
  • Au final, le rythme frénétique des changements ne nous permet pas de nous stabiliser sur une technologie. J’avoue qu’en tant que vieux développeur que je suis, j’ai été découragé par le changement Java vers Kotlin pour Android. C’est peut-être pour certains de véritables challenges, mais quand je repense au temps que j’ai passé sur l’apprentissage, sur la mise en place d’outils
  • Ensuite, comme aucune solution ne meurt vraiment, que de nouvelles arrivent… on se retrouve avec des projets avec des multitudes de technologies à gérer avec les compétences associées aussi… On s’étonne ensuite que le marché du recrutement de développeur soit bouché. Pas étonnant.. Il y a énormément de développeurs mais il est difficile de trouver un développeur React avec 5 ans d’expérience qui connaîsse le Go. Le marché est fractionné, comme les technologies. C’est peut-être bon pour les développeurs car cela crée de la rareté et cela fait monter les prix, mais pas pour le projet !
  • Cependant, cet apprentissage continu des technologies pose le problème d’apprentissage de domaines transverses : accessibilité, agilité, performance… En effet, qu’est-ce qui nous prouve que les outils et les langages que nous allons choisir ne vont pas changer dans 4 ans ? Rust, Go… dans 2 ans ? Rien ne tend à donner une tendance.
  • On ne se remet pas en question car on veut s’amuser. Le fun est important, car si l’on s’ennuie dans son boulot, on va déprimer. Par contre, on ne peut pas, sous prétexte de vouloir du fun tout le temps, changer nos outils continuellement. Il y a un déséquilibre entre l’expérience du développeur et l’expérience de l’utilisateur. On veut du fun, mais qu’est-ce que cela va réellement apporter à l’utilisateur ? Un produit plus « joyeux » ? Non, nous ne sommes pas des acteurs.
  • On ne se pose pas de question sur l’éthique de notre domaine, sur sa durabilité… Cela vient peut-être du fait que notre domaine n’a pas réellement de code éthique (comme par exemple les médecins ou les avocats). Mais sommes-nous en tant que développeurs réellement libres si l’on ne peut pas avoir une autocritique ? Nous sommes peut être asservis à une cause portée par d’autres personnes ? Le problème n’est pas simple mais nous avons dans tous les cas une responsabilité. Sans code éthique, c’est le plus fort et le plus malhonnête qui est le plus fort. Le buzz et les pratiques pour manipuler les utilisateurs sont de plus en plus répandus. Sans Dark Pattern ton produit ne sera rien. Les plus gros (GAFA…) n’en sont pas arrivés là pour rien.
  • Est-ce que la solution est politique ? Il faut légiférer pour mieux gouverner le monde du logiciel. On le voit avec les dernières réponses législatives aux problèmes concrets : RGPD, notification des cookies… la source du problème n’est pas résolue. Peut-être parce que les politiques ne comprennent que très mal le monde du logiciel.
  • Car si cette structuration n’est pas faite, les développeurs vont perdre la main sur ce qu’ils font. Or le manque d’éthique de la profession est critiqué à l’extérieur. Rachel Coldicutt (@rachelcoldicutt) directrice de DotEveryOne, un think tank britannique qui promeut une technologie plus responsable, encourage à former des diplômés non-informaticiens qui traiteraient de ces problèmes (Voir plus précisément dans l’article d’Internet Actu). Pour poursuivre sur ce dernier article, cela serait dans la droite ligne de l’informatique, domaine issu du monde militaire où les ingénieurs et développeurs seraient formés à suivre des décisions et des commandements.
  • Le monde du logiciel s’intègre dans un système organisationnel classique. Grands groupes, sous-traitances via des ESN, web agencies… Tous suivent les mêmes techniques de gestion des projets informatiques. Et tout le monde va « dans le mur ». Aucune analyse sérieuse n’est faite sur le coût global d’un logiciel (TCO), sur son impact sur la société, sur son bénéfice, sa qualité… C’est la rapidité de release(Time to Market), la surcharge featurale (fonctionnelle), la productivité immédiate, qui comptent. Premièrement car les gens externes à ce monde ne connaissent que trop peu la technicité du logiciel et son monde. Il est virtuel donc simple (sic). Mais ce n’est pas le cas. Les écoles de commerce et autres usines de managers n’ont pas de cours de développement. Comment peuvent-ils bien diriger et piloter des projets ?
  • On continue a vouloir chiffrer des projets informatiques comme de simples projets alors que des mouvements comme le no estimate propose des approches innovantes. Les projets continuent d’échouer : le chaos report rapporte que simplement 30% des projets réussissent bien. Et face à cette mauvaise gouvernance, les équipes techniques continuent de se battre sur les technologies. Dommages collatéraux : la qualité, l’éthique, l’environnement… et au final l’utilisateur. Cela ne serait pas si critique si le logiciel n’avait pas un impact aussi fort sur le monde. Software eats the world… et oui, on le « bouffe »…
  • Si ces décisions absurdes arrivent, ce n’est pas uniquement la faute du développeur mais bien de l’organisation. Et qui dit organisation dit management (sous-différente forme). Si l’on revient au livre de Morel, il parle de piège cognitif dans lesquels les managers et les techniciens tombent souvent. C’est le cas de la navette Challenger qui a été quand même lancée malgré la connaissance du problème d’un joint défectueux. Les managers ont sous-évalué les risques et les ingénieurs ne les ont pas prouvés. Chacun a reproché à l’autre de ne pas fournir assez de preuves scientifiques. C’est souvent ce qui se passe dans les entreprises : des warnings sont levés par certains développeurs mais le management ne les prend pas assez au sérieux.
  • En même temps, on revient aux causes précédentes (silver bullet, on s’amuse…), il est nécessaire d’avoir une vraie ingénierie et une vraie analyse des technologies. Sans cela, les équipes techniques seront toujours non-écoutées par le management. Des outils et benchmark existent mais ils sont encore trop peu connus. Par exemple, Technologie Radar qui classe les technologies en terme d’adoption.
  • Ce phénomène de décision absurde est renforcé par le tissu complexe du développement logiciel : Les sociétés historiquement hors du numérique sous-traitent à des entreprises du numérique, les ESN sous-traitent aux freelances… Le partage de responsabilité technique / management est encore plus complexe et les décisions absurdes plus nombreuses.
  • Mais cela ne s’arrête pas là. On peut aussi voir l’usage de l’open-source comme une sorte de sous-traitance. Idem pour l’usage de framework. On est juste consommateur passif, on se déleste de plein de problématiques (qui ont un impact sur les ressources, la qualité…).
  • C’est d’autant plus facile que le domaine est passionnant et que la pratique des sides-projects, du temps passé sur les projets open-source hors des horaires de bureau est chose commune… La recherche de “fun” et le temps passé bénéficient alors plus aux organisations qu’aux développeurs. Difficile dans ce cas de chiffrer le coût réel d’un projet. Et pourtant, cela ne serait pas un problème si on arrivait à des logiciels « au top ».
  • Le développeur n’est ici plus un artisan du code, mais plutôt un pion dans un système critiquable du point de vue humain. Cela n’est pas visible, tout va bien et on s’amuse. En apparence seulement, car certains domaines du développement logiciel vont plus loin et rendent beaucoup plus visible cette exploitation : Le domaine du jeux-vidéo où les heures explosent.
  • Et donc, toutes ces maladresses (logiciel trop lourd, sans qualité…) se retrouvent chez les utilisateurs. Comme on doit releaser au plus vite les logiciels, que l’on ne tente pas de résoudre les inefficiences internes, et que l’on ne met pas plus de ressource pour faire de la qualité, on arrive à des logiciels médiocres. Mais on a tellement d’outils de monitoring et de suivi des utilisateurs pour détecter ce qui se passe directement chez eux qu’au final, on pense que ce n’est pas grave. Cela serait une bonne idée si les outils étaient bien utilisés. Or la multitude d’informations récoltées (en plus des bugs remontés par les utilisateurs) n’est que faiblement utilisée. Trop d’information, difficulté de cibler la vraie source du problème… on s’y perd et au final, c’est l’utilisateur qui trinque. Tous les logiciels sont maintenant en bêta-test. A quoi bon faire de la sur-qualité, autant attendre que l’utilisateur le demande. Et on revient ainsi au premier chapitre : un logiciel uniformément lent … et médiocre.
  • Heureusement, on est sauvé par la non-sensibilisation des utilisateurs au monde du logiciel. C’est un monde effectivement virtuel et magique qu’ils ont l’habitude d’utiliser. On leur a mis en main les outils mais sans notice explicative. Comment évaluer la qualité d’un logiciel, les risques sur l’environnement, les problèmes de sécurité… si l’on n’a pas des notions d’informatique, même rudimentaires ?
  • L’informatique du 21ème siècle est ce que l’agroalimentaire était pour les consommateurs au 20ème siècle. Pour des raisons de productivité, on a poussé des solutions médiocres avec un calcul court-termiste : mise sur le marché de plus en plus rapide, profit en hausse constante… agriculture intensive, malbouffe, pesticides… avec des impacts importants sur la santé, sur l’environnement… Les consommateurs savent maintenant (de plus en plus) les conséquences désastreuses de ces dérives, l’industrie agroalimentaire doit donc se réinventer, techniquement, commercialement et éthiquement. Pour le logiciel, quand les utilisateurs comprendront les tenants et les aboutissants des choix techniques, l’industrie du logiciel devra gérer les mêmes problèmes. En effet, le retour au bon sens et aux bonnes pratiques n’est pas une chose simple pour l’agroalimentaire. Dans l’IT, on commence à le voir avec ses conséquence sur la vie privée des utilisateurs (mais nous n’en sommes qu’aux balbutiements).
  • On va dans la mauvaise direction. L’industrie de l’informatique a déjà effectué dans les années 70 des erreurs avec des impacts non-négligeables. L’exclusion des femmes de l’informatique en fait partie. Non seulement cela a été fatal pour certaines industries mais on peut se poser la question de comment on peut maintenant adresser des réponses à seulement 50% de la population informatique, avec une représentativité très faible. Le chemin est maintenant difficile à retrouver.
  • Mais l’impact du monde IT ne s’arrête pas là. La source et le modèle d’une grosse partie de l’informatique sont issus de la Silicon valley. Si l’on écarte les gagnants de la Silicon Valley, les populations locales subissent la montée des prix, le déclassement, la pauvreté…
  • Dans sa lancée vers le progrès technique, le monde du logiciel crée aussi sa dette environnementale…
  •  
    "Le monde du logiciel va mal et si l'on n'agit pas, on risque de le regretter. Environnement, qualité, exclusion… Software Eats The World (Le logiciel mange le monde…) ? Oui un peu trop. "
Aurialie Jublin

TRIBUNE. Comment la France s'est vendue aux Gafam - Le Point - 0 views

  • L'histoire du déclin du numérique français est une tragédie en trois actes. Il y eut d'abord les «  30 honteuses du numérique  », où une petite élite arrogante et dénuée de vision stratégique a démantelé notre industrie informatique et électronique grand public. Elle a débranché les travaux de recherches les plus intéressants et laissé nos meilleurs développeurs partir à l'étranger faute de pouvoir les associer à des projets ambitieux. Vient ensuite la capitulation vis-à-vis des grands acteurs américains. Ainsi, de nombreux politiques et hauts fonctionnaires français leur ont permis d'intégrer leurs technologies au cœur des prérogatives régaliennes de l'État : défense, renseignement, éducation, sécurité, mais aussi culture. Plusieurs d'entre eux quitteront leurs fonctions pour aller rejoindre ces sociétés. Le troisième acte se joue en ce moment. Alors que nos dirigeants se préparent à une vente à la découpe, il reste cependant un mince espoir d'inventer une autre manière d'utiliser le réseau plus en phase avec nos principes et nos valeurs. Mais pouvons-nous encore changer la doctrine des politiques numériques de la France  ? Quand on écoute nos hommes politiques, le déclassement de l'Europe vis-à-vis de l'Internet est présenté comme une fatalité. Un accident de l'Histoire à l'issue duquel les clés du monde de demain auraient été données aux États-Unis et à la Chine.
  • Nous aurions pu avoir un autre destin, car si les États-Unis avaient la vision et l'argent, c'est en Europe qu'ont été inventées deux des briques fondamentales de l'Internet : Linux et le Web. Mais à la différence du standard GSM, ces dernières ont eu le malheur d'être conçues par des individus talentueux hors des grandes institutions. Snobés chez nous, ces deux projets deviendront le moteur des plateformes numériques américaines et chinoises et l'instrument de leur domination mondiale.
  • Tout commence dans les années 70, avec l'abandon du réseau Cyclades de Louis Pouzin au profit du Minitel. Louis Pouzin en est le concepteur et il est l'inventeur de la segmentation des données en «  Datagramme  ». Il sera récompensé (avec Tim Berners-Lee et Vinton Cerf) par la reine d'Angleterre pour ses contributions essentielles à la création de l'Internet et il reste à ce jour un inconnu du grand public en France. Il faudra attendre 1994 pour que nos chercheurs acceptent enfin de s'intéresser à autre chose qu'à des technologies incompatibles avec l'Internet.
  • ...8 more annotations...
  • Quasiment au même moment, Alcatel décide de transférer ses usines vers la Chine. Son PDG veut appliquer la stratégie du «  fabless  », à savoir délocaliser la production tout en conservant le design en France. Ce sera une grossière erreur d'analyse. Lorsque les smartphones deviennent un succès international, la France n'a plus de capacités industrielles dans ce secteur, alors qu'elle était l'un des principaux fabricants dans le monde.
  • Alors que la Silicon Valley parie sur les talents et les start-up, la France préfère s'embourber dans des grands projets institutionnels sans avenir. Mais ces projets permettent aux politiques de faire des annonces et aux industriels déjà établis de bénéficier de la manne de l'argent public. Ainsi, le projet Quaero, qui visait à créer un «  Google Européen  », a été lancé par Jacques Chirac. Il terminera rapidement dans les oubliettes technologiques. Plus récemment, le Cloud souverain, qui se targuait d'être la réponse française à Amazon et Microsoft, sera abandonné en rase campagne puis revendu (et sans ironie aucune)… au chinois Huawei. Au final, beaucoup d'argent aura été dépensé soit pour concurrencer l'Internet lui-même soit pour contourner les start-up qui voulaient développer des solutions alternatives aux Gafam. C'est une génération entière d'entrepreneurs et de chercheurs que l'on a écartés pour redéfinir la politique industrielle du secteur. Tout récemment, le rapport sur l'intelligence artificielle de Cédric Villani n'a pas fait mention des deux meilleures solutions open sources dans le domaine : SciKit Learn et Keras qui se trouvent être… françaises.
  • L'acte deux commence avec le quinquennat Hollande. Un changement d'attitude va s'opérer vis-à-vis des grandes plateformes. La défaite est désormais entérinée en coulisses. Il ne s'agit plus d'exister au niveau mondial, mais de négocier avec les Gafam tout en faisant mine de s'indigner publiquement de leurs abus de position dominante.
  • Microsoft est devenue le partenaire de l'Éducation nationale, et Google le parrain de la Grande École du Numérique. La société de Big Data Palantir, proche des services secrets américains, a conclu un contrat avec la DGSI (et peut-être la DGSE  ?), et elle est également présente chez Airbus. Enfin, à l'échelon des collectivités territoriales, les régions vont s'appuyer sur Facebook pour «  la formation au numérique  ».Comment, dans ces conditions, se plaindre des conséquences des réseaux sociaux et de l'impact des Gafam sur notre démocratie quand nous leur avons ouvert si largement les portes de l'État  ?
  • En effet, ce gouvernement prend un risque inconsidéré en pariant notre avenir sur une hypothétique transformation numérique autour de «  l'intelligence artificielle  ». Si nous ne nous donnons pas les moyens de réguler la manière dont ses entreprises et ce type de technologies fonctionnent, nous pourrions détruire notre modèle social en tentant de copier ceux de la Chine ou des États-Unis. L'ironie du sort veut que, désormais, certains industriels et chercheurs américains s'appuient sur l'Europe et sa réglementation sur les données personnelles pour sortir d'un modèle numérique qui n'est pas «  durable  ». Aux États-Unis, le ministère de la Santé a ainsi lancé une grande étude sur l'impact des écrans et le Sénat a analysé, dans un rapport très détaillé, les manipulations des réseaux sociaux qui ont eu lieu lors de la dernière campagne présidentielle.
  • Il existe pourtant un scénario de sortie de crise. En effet, la meilleure réponse à la crise de confiance systémique vis-à-vis des Gafam est de soutenir les mouvements autour des technologies «  éthiques  ». Il s'agit d'un nouveau terrain de croissance industrielle pour l'Europe, comme le Bio l'a été pour l'agriculture. De nombreux entrepreneurs réfléchissent à d'autres façons de concevoir la technologie, s'appuyant beaucoup moins sur la donnée et créant moins d'intrusions vis-à-vis de leurs utilisateurs. C'est le mouvement autour des logiciels éthiques et du Slow Web. Ce mouvement, qui s'est réuni en septembre dernier à Copenhague, souhaite définir un meilleur équilibre entre usage numérique et monde réel pour ne pas rendre ces technologies aliénantes. Il prône notamment l'arrêt de certaines pratiques toxiques comme le profilage (micro targeting) ou la manipulation de nos émotions via des messages ciblés sur nos mobiles dont nous avons vu les conséquences désastreuses lors du référendum sur le Brexit ou l'élection américaine.
  • Nous devons désormais exiger que les choix technologiques faits par l'État (comme les décisions politiques dans ces domaines) soient lisibles et compréhensibles par l'ensemble des citoyens… Car s'il s'agit de faire de la France une colonie numérique des plateformes et qui ne profiterait qu'à une petite bourgeoisie d'Internet, alors il faudra le dire clairement  
  • Il est temps également de voir émerger une nouvelle forme de résistance citoyenne. Car l'usage de ces technologies n'est pas neutre, la substitution de l'action de l'État par des algorithmes rend caduque l'égalité de traitement entre chaque Français. Le remplacement de nos services publics par un «  État plateforme  » totalitaire (à l'instar du «  Crédit social  » qui voit chaque Chinois recevoir une note qui détermine leur capacité à se déplacer ou à obtenir un crédit) n'est pas la vision que nous souhaitons promouvoir. C'est pourtant ce qui se prépare dans certains cabinets ministériels lorsqu'il est question d'État plateforme…
  •  
    "Pour le pionnier du Web français Tariq Krim, l'histoire du déclin du numérique français est une tragédie en 3 actes. Il existe pourtant une sortie de crise."
Aurialie Jublin

Artificial Intelligence & Human Rights | Berkman Klein Center - 0 views

  •  
    L'intelligence artificielle (IA) est en train de changer le monde sous nos yeux. Le potentiel que présente l'IA pour améliorer nos vies est énorme. Des systèmes reposant sur l'IA sont déjà plus performants que des médecins spécialistes pour diagnostiquer certaines maladies, tandis que l'utilisation de l'IA dans le système financier élargit l'accès au crédit à des emprunteurs qui étaient autrefois ignorés. Toutefois, l'IA présente aussi des inconvénients qui viennent assombrir son potentiel considérable. Les systèmes reposant sur l'IA ont une incidence sur le droit à la vie privée étant donné qu'ils dépendent de la collecte et de l'utilisation de vastes quantités de données pour faire des prédictions qui, dans de nombreux cas, ont pour effet de perpétrer des tendances sociales de préjugés et de discrimination. Ces possibilités dérangeantes ont donné lieu à un mouvement qui cherche à intégrer des considérations éthiques dans le développement et la mise en œuvre de l'IA. Ce projet, en revanche, démontre l'utilité considérable d'utiliser la législation sur les droits de la personne pour évaluer et aborder les répercussions complexes de l'IA sur la société. La législation sur les droits de la personne fournit un ensemble de normes communément admis et un langage commun ainsi qu'une infrastructure institutionnelle pour contribuer à faire en sorte que le potentiel de l'IA soit réalisé et que ses plus grands périls soient évités. Notre projet vise à faire progresser la conversation émergente sur l'IA et les droits de la personne en évaluant les répercussions sur les droits de la personne de six utilisations courantes de l'IA. Notre cadre de travail reconnaît que les systèmes d'IA ne sont pas déployés sur un canevas vierge, mais plutôt sur la toile de fond de conditions sociales qui ont elles-mêmes des répercussions complexes préexistantes sur les droits de la personne
Aurialie Jublin

Bientôt un Uber ou un Airbnb coopératif et éthique ? - 0 views

  •  
    "Réponses directes à l'uberisation, les plateformes coopératives, propriétés de leurs utilisateurs, respectueuses des travailleurs et des données personnelles, peinent encore à se faire connaître pour rencontrer une large audience. Décryptage d'un modèle qui commence tout juste à émerger."
Aurialie Jublin

Retour sur MyData2018 : quelle(s) approche(s) collective(s) des données perso... - 0 views

  • L’entrée en vigueur du RGPD a clairement été l’événement marquant de 2018 et beaucoup d’intervenants s’y sont référés. Le principe d’équité y est affirmé. Or il s’agit d’un principe qui recouvre une dimension collective : l’équité suppose un groupe, contrairement aux autres principes (transparence, légalité, limitation de but, rétention, intégrité et confidentialité, minimisation des données, précision). Toutefois le texte ne donne pas de définition de l’équité dans le contexte de la gestion des données personnelles a fait remarquer Jussi Leppälä, Privacy Officer (Global) chez Valmet. Finalement, les intervenants s’accordaient à dire que le RGPD est un texte axé sur les besoins individuels plutôt que collectifs. Il protège l’individu, mais ne porte pas de vision véritablement collective des données personnelles.
  • Sur cette question de l’équité, l’exemple d’openSCHUFA donné par Walter Palmetshofer (Open Knowledge Allemagne) est inspirant : une campagne de collecte de données a été faite auprès de milliers d’individus pour comprendre l’algorithme de credit-scoring (pointage de crédit) de SCHUFA, bureau de crédit privé allemand. Cela a permis à des individus de pouvoir demander, preuves à l’appui, à corriger des décisions prises par l’algorithme. De manière générale, le biais algorithmique est un enjeu sociétal important, surtout pour les groupes les plus fragiles dont les données personnelles sont plus exposées et davantage victimes de biais algorithmiques (à ce sujet, lire Internet Actu).
  • D’autres intervenants ont insisté sur la nécessité d’accompagner les entreprises vers plus de prises en compte de leur responsabilité sociale. Le modèle de gouvernance qui domine actuellement étant l’hégémonie d’acteurs économiques (GAFA, BATX) raconte Bruno Carballa Smichowski, de Chronos, le rééquilibrage des pouvoirs doit venir des Etats. Ces derniers disposent de données personnelles, mais peuvent également demander des comptes et pousser les acteurs qui utilisent les données à être plus ouverts et actifs : littératie, infrastructure, open innovation, construire la confiance et faire reculer la peur, ou encore impliquer les personnes concernées (Hetan Shah et Jeni Tennison), sont autant d’actions que les pouvoirs publics peuvent mettre en place.
  • ...9 more annotations...
  • Depuis le lancement de MyData, la nécessité de développer les enjeux collectifs des données personnelles apparaît chaque année plus forte. En parallèle, les communs numériques apparaissent de plus en plus comme un modèle alternatif désirable face aux comportements abusifs des acteurs dominants. Les communs autorisent par nature une gestion transparente et au service de la communauté, car gérés par leurs membres.
  • Si sa remarque a donné naissance au track “OurData” en 2017 et en 2018,, le terme de “commun” était pourtant quasiment absent des discussions du track OurData, essentiellement tourné vers l’acteur public et la régulation. L’exemple d’OpenSCHUFA se rattache néanmoins au courant des communs en donnant un exemple concret.
  • L’idée derrière la coopérative de données qui s’intègrerait au modèle MyData/Self Data viserait plutôt à créer un commun : une association d’individus développant des outils et services (chat, moteur de recherche,…) leur permettant de gérer leurs données de A à Z. Il existe plusieurs coopératives de données de ce type : diglife.coop, schluss, open.coop,…
  • Laura James (doteveryone) a suggéré  cette session afin d’échanger avec les participants sur la faisabilité de créer une ou des coopératives “de masse”, appartenant à leurs membres et gérées par eux. L’objectif serait d’offrir aux gens de meilleurs services que les géants de la technologie et les entreprises de type Silicon Valley. Laura James constate que si le problème avec les géants numériques est leur modèle d’entreprise (capitalisme de surveillance) et le modèle de propriété (extraction de richesse au profit de quelques-uns), la “data coop” doit permettre d’offrir une technologie en laquelle nous pouvons avoir confiance – c’est-à-dire préservant notre vie privée, accessible, fiable, équitable, basée sur les sources ouvertes existantes, avec un meilleur support et une véritable durabilité.
  • Est-ce que le peu de succès de Digital Life Collective est dû à un manque d’intérêt de la part des consommateurs pour les questions liées aux données personnelles ? Ou bien est-ce que les enjeux ne sont pas encore bien compris par les gens ? Les porteurs de coopératives présents à la session échangent sur plusieurs éléments de réponse. D’abord, il n’y a pas une absence d’intérêt pour les questions de privacy mais une perception et un traitement différent selon les personnes (par les « millenials » par exemple). Ensuite, les consommateurs veulent-ils avoir à supporter la responsabilité qui va avec la reprise du contrôle sur leurs données ? Rien n’est moins sûr : comme les services gratuits d’aujourd’hui, cela doit être simple. Mais le contrôle implique nécessairement des responsabilités… Les consommateurs ont aussi besoin de services pratiques. Il faut travailler l’expérience utilisateur. Enfin, il faut une littératie des données pour créer un véritable intérêt et dissiper la peur et les malentendus autour de ce sujet.
  • Comment avoir une véritable gouvernance partagée tout en ayant une organisation suffisamment grande ? A peine 10 personnes sont vraiment actives au sein de Digital Life Collective. Schluss recherche une manière de faire participer davantage les membres. C’est un problème récurrent pour les coopératives, et toute organisation dont la gestion s’appuie sur l’ensemble de ses membres. Toutefois, l’un des participants soulignait que même si seul 1% s’implique dans la prise de décisions, tous reçoivent les bénéfices de la coopérative ! Ca n’est pas la gestion parfaitement partagée et idéale, mais cela fonctionne quand même. Avant de renoncer au modèle participatif, quelques modèles de gouvernance pourraient être expérimentés pour faciliter les prises de décision participatives au sein de la coopérative : les jurys citoyens, sociocracy 3.0 (utilisé par certaines entreprises télécom en Finlande), …
  • Dans les sessions de la thématique “OurData”, nous avons eu le plaisir d’entendre à chaque fois (ou presque) que la propriété appliquée aux données personnelles n’a aucun sens. Bien que ce track, plus qu’aucun autre, soit prédisposé à un tel constat,depuis quelques années, la position de la communauté MyData s’est éclaircie à ce sujet et on voit de moins en moins de personnes prôner ce modèle de propriété et de revente individuelle de ses données..
  • En découle un modèle collectif basé non pas sur des titres de propriété individuels mais sur des droits d’usage. Le RGPD en crée quelques-uns mais d’autres questions restent en suspens, comme le droit à la mémoire collective, notamment pour les catégories les plus défavorisées, ou encore l’équité, qui s’oppose à une régulation par les lois du marché.
  • La plupart des intervenants postulent que c’est l’acteur public qui doit agir : en créant de nouveaux droits associés aux données personnelles, en accompagnant les acteurs privés à fournir des solutions plus éthiques et transparentes, en s’engageant pour une culture et une littératie de la donnée pour tous, en actant juridiquement que les données personnelles sont le résultat d’un processus collectif qui appartient à la société qui l’a co-généré et qu’il ne peut y avoir de propriété associée (en France la CNIL est très claire sur ce dernier point, nous avons besoin d’une voie aussi claire au niveau européen !), en promouvant leur valeur sociale, et non commerciale, et enfin qu’il fasse que le fruit de ce travail doit servir à répondre à des problématiques collectives telles que la santé, l’éducation, la culture, la protection de l’environnement, …
  •  
    "LE CONSTAT : LA GESTION ACTUELLE DES DONNÉES PERSONNELLES S'INTÉRESSE PEU AU COLLECTIF MyData s'intéresse à toutes les dimensions que recouvre le contrôle des données personnelles : si la privacy occupe souvent le devant de la scène, MyData explore également la transparence des organisations et des technologies, l'équité et la dimension collective des données personnelles."
Aurialie Jublin

Éducation, gendarmerie... Ces services publics qui disent adieu à Google - 0 views

  • Dans le cadre de sa transformation numérique, l'État met "sur un pied d'égalité les logiciels libres et propriétaires au sein de l'administration" depuis septembre 2012. Et publie chaque année son socle logiciels libres, une liste préconisée pour les services de l'état et les particuliers, adaptée à chaque usage numérique : édition de documents, navigateur internet ou encore solution de stockage en ligne.
  • "Le gouvernement demande aux logiciels libres d'être une contre-offre, mais nous n'offrons pas de service de qualité professionnelle, nous aspirons à ce qu'ils utilisent nos logiciels de façon indépendante, témoigne "Pouhiou" porte-parole de l'association de logiciels libres Framasoft. L'État est engagé dans la consommation des GAFAM, pas du numérique libre."
  • Dans cette lutte contre le géant américain, une entreprise tire son épingle du jeu depuis quelques mois. Le moteur de recherche français Qwant, qui ne traque pas ses utilisateurs contrairement à Google, s'immisce un peu partout comme en témoigne le hashtag dédié #SwitchToQwant. L'éducation nationale, déjà engagée dans une démarche éthique avec l'utilisation des logiciels libres Framasoft, a adopté Qwant Junior depuis 2016 dans l'Académie de Versailles.
  •  
    "Petit à petit, le service public s'organise contre le monopole de Google. Des outils associatifs font leur apparition sur les sites internet des collectivités comme Framasoft ou OpenStreetMap, et certaines entreprises comme Qwant investissent l'éducation nationale."
Cécile Christodoulou

La Silicon Valley et le « serment de la tech » - 0 views

  •  
    "Il est urgent de répondre à la chute de la confiance dans les compagnies technologiques. [...] Le site Doteveryone, qui se veut la plate-forme d'un Internet « plus juste », a recensé des dizaines d'initiatives."
1 - 20 of 31 Next ›
Showing 20 items per page