Group items tagged

Mais ce n’est pas la seule piste qui permettrait d’interroger les biais des systèmes automatisés. Microsoft travaille à un outil de détection automatique des biais, Facebook également (notamment via le projet Fairness Flow annoncé par Isabel Kloumann du département d’IA de FB research à la dernière conférence de F8 Conference parmi une longue liste d’outils pour l’IA) rapporte la Technology Review.

La mathématicienne Cathy O’Neil (@mathbabedotorg, blog), qui s’est fait connaître en dénonçant les dangers de ces outils, a lancé une entreprise d’audit algorithmique. Visiblement, souligne Wired, ses premiers clients sont des entreprises qui ont besoin de certifier qu’elles sont équitables : comme cela a été le cas de Rentlogic, une entreprise qui évalue les immeubles automatiquement pour leur attribuer une note, ou comme Pymetrics, une entreprise qui utilise des tests de personnalité pour aider les entreprises à embaucher qui avait besoin d’assurer que ses logiciels n’étaient pas discriminants.

Dans son livre, Weapons of Math Destruction, Cathy O’Neil avait émis l’idée de créer un serment d’Hippocrate pour les datascientists, sous la forme d’un code de conduite édictant quelques principes moraux. Elle soulignait dans une remarquable interview pour Wired, que ce code de conduite n’était certes pas suffisant en soi, notamment parce que les datascientists ne sont pas seuls à décider de ce qui sera implémenté dans les services développés par les entreprises. Pour autant, ces techniciens ne peuvent pas seulement suivre « les recommandations des manuels d’optimisation qu’ils utilisent, sans tenir compte des conséquences plus larges de leur travail ».

Cathy O’Neil a proposé une matrice éthique, basée sur les travaux du philosophe Ben Mepham qui l’a utilisé en bioéthique, qui aide à saisir ce sur quoi ce que l’on développe a un impact, et de l’autre ce dont s’inquiète les gens qui sont impactés par ce que l’on développe. Cette grille confronte quelques notions (exactitude, cohérence, partialité, transparence, équité, rapidité) à leur impact sur chacune des parties prenantes. La matrice sert à créer une conversation. Chaque case propose des questions : « qui souffre si le système se trompe ? » Le but est de révéler des problèmes. Quand la réponse pose problème, la case est colorée de rouge.

Elle propose également de se poser plusieurs questions, comme « les algorithmes que nous déployons vont-ils améliorer les processus humains qu’ils remplacent ? » Bien souvent, on constate qu’ils fonctionnent beaucoup plus mal que les systèmes précédents. Pour elle, il est également nécessaire de se demander : « pour qui l’algorithme échoue-t-il ? » Un système de reconnaissance facial échoue-t-il plus souvent pour les femmes que pour les hommes, pour les gens de couleurs que pour les blancs, pour les personnes âgées que pour les jeunes ?… Enfin, elle invite à se poser une troisième catégorie de questions : « est-ce que cela fonctionne pour la société (donc à très large échelle) ? Est-ce que nous enregistrons les erreurs du système ? Peut-on les réintroduire dans l’algorithme pour l’améliorer ? Est-ce que le système a des conséquences non intentionnelles ?… » Et la chercheuse de rappeler qu’aucunes de ces questions ne mettent en danger les secrets des algorithmes que les entreprises veulent protéger.

Le militant pour la protection de la vie privée Aral Balkan (@aral) estime qu’un code d’éthique risque surtout d’être utilisé comme caution de vertu par les entreprises pour continuer à faire comme d’habitude. Appliquer le RGPD aux États-Unis aurait plus d’impact pour prévenir les dommages algorithmiques. Sur son blog, Virginia Eubanks a réagi en proposant plutôt un « serment de non-violence numérique », qui, dans la forme au moins, est plus impliquant pour celui amené à le prononcer que de signer à quelques grands principes vagues

Mais l’enjeu demeure de les mettre en pratique. « Tout code d’éthique des données vous indiquera que vous ne devez pas collecter des données de sujets expérimentaux sans leur consentement éclairé. Mais ce code de conduite ne vous dira pas comment implémenter ce consentement éclairé. Or, celui-ci est facile si vous interrogez quelques personnes pour une expérience de psychologie. Mais il signifie quelque chose de bien différent en ligne ». Et ce n’est pas la même chose bien sûr de demander la permission via une fenêtre pop-up par exemple ou que via une case précochée cachée… La mise en oeuvre de principes éthiques englobe des questions qui vont des choix dans l’interface utilisateur aux choix de structuration des données ou d’interrogation des données de connexion. Et pose la question de rendre néanmoins le service utilisable sans dégrader l’expérience utilisateur…

Kristy Milland, an activist with the MTurk advocacy network We Are Dynamo, says she’s given up collaborating with Daemo because “There hasn’t been any deep, involved worker input…. It’s built by academics with the bias they bring to such a platform that they expect will provide them with free data to publish down the road. Just like Amazon built MTurk with their needs in mind, even if many of the roadblocks this caused may have been unintentional.”

The “platform cooperativism” concept, as articulated by technologist Trebor Scholz and other academics, is that worker control can be integrated by working with the democratic aspects of the online sphere: entrepreneurial horizontalism and a pluralistic culture of innovation. But with online workspaces proliferating at breakneck speed, it’s a race to see whether these more principled worker-led models will ever be able to compete for market share with the app-based workforce of MTurk. Similarly, small-scale cab-service cooperatives are emerging in the United States, but Uber and Lyft’s mega brands are displacing cabbies by the minute.

The problem with crowd labor isn’t that it’s big, or complex; it’s that workers can’t control their means of technological production. According to Joshua Danielson of the Bay Area start-up cooperative Loconomics, Daemo’s model “has the potential to provide an alternative to Amazon Turk,” if the platform combines a good product and good jobs for the producers. The key, he says via e-mail, is “creating a cooperative business model that can be self-sufficient and be able to attract clients. The latter is the more challenging one given the deep pockets of the current players. That said, it’s important to remember that workers are the product, not the platform, and they hold an immense amount of power if they can organize.”

The digital frontier offers endless room both for exploitation and for social transformation. But if workers can get ahead of corporations in harnessing the potential of open-source technology, they can disrupt the incumbent Silicon Valley oligarchs from below. So far, technology hasn’t emancipated labor nearly as rapidly as it has liberalized markets. Cooperative thinking can make technological power part of the solution, but only if it’s matched with people power.