Group items tagged

Pour l'éditorialiste Tim Harford, le succès de Google Flu Trends, le système de prévision de la grippe de Google fondé sur les requêtes des internautes sur le moteur de recherche est devenu l'emblème des Big Data en montrant que l'analyse des données produit des résultats précis, que chaque point peut-être capturé (rendant l'échantillonnage statistique obsolète), que la corrélation suffit et que les modèles statistiques et scientifiques ne sont pas nécessaires. Pourtant, estime Harford, les Big données ne vont cesser de nous décevoir si nous ignorons quelques leçons de statistiques simples. Plus vous avez de données, plus les problèmes sont importants... Et Google Flu en devenant moins précis avec le temps l'a bien montré, car si on ne sait pas ce qu'il y a derrière une corrélation, vous n'avez aucune idée de ce qui pourrait la rendre moins efficace. Si Google Flu est devenu moins efficace c'est peut-être parce que Google lui-même a déplacé les données en suggérant automatiquement des diagnostics aux gens qui entraient leurs symptômes médicaux sur le moteur... Google Flu demain sera recalibré et amélioré, mais cet épisode doit nous apprendre quelque chose si nous ne voulons pas qu'il se répète. Autre problème bien connu des statisticiens, le biais d'échantillonnage, c'est-à-dire quand un échantillon choisi au hasard ne reflète pas la population qu'il est sensé représenté. Or, même dans le Big Data, l'échantillon ne représente jamais TOUTE la population. Quand bien même nous étudierions tous les messages de Twitter, les utilisateurs de Twitter ne sont pas représentatifs de la population dans son ensemble (au contraire, ils sont plutôt jeunes et urbains). Bump, l'application pour détecter les nids de poules de l'agglomération de Boston, détecte surtout les nids de poules des quartiers riches. Enfin, les algorithmes ne sont pas infaillibles, ils génèrent beaucoup de faux positifs. Les Big Data sont là : il v

Nouvelle revue scientifique pour analyser les rapports de la statistique et de la société, produite par la Société française de statistique.

Pour Jeff Leek, les spécialistes de Big Data et de la statistique ont un rôle à jouer dans nombre de domaine de recherche. Or, le fait que nous puissions désormais collecter des données facilement fait que l'on peut mesurer et étudier des choses qu'on ne pouvait faire avant. La solution statistique est devenue une solution pour nombre de champs de recherche et leur permet de travailler sur des données et des problèmes qu'ils ignoraient jusqu'alors, comme c'est déjà le cas dans le domaine de la génomique. Mais pas seulement estime Jeff Leek, les Big data devraient avoir des effets rapides sur l'imagerie médicale, la visualisation de données...

Pour Euclid - http://euclidanalytics.com - les données sur les clients seront demain cruciales tant pour les magasins en ligne que pour les magasins réels. D'où l'idée d'Euclid d'utiliser les smartphones des clients pour développer les statistiques de fréquentations des magasins physiques (pourcentage de passants qui entrent dans le magasin, la durée passée dans le magasin, la fréquence des visites...). Le but : rendre le monde réel plus lisible par les machines, estime Scott Crosby, le fondateur d'Euclid. Le PDG d'une chaine de café a ainsi utilisé les statistiques fournis pour voir que dans son café installé à l'université de Californie, à Berkeley, les gens passaient beaucoup plus de temps en moyenne à l'intérieur de son café que dans les autres ce qui lui a permis d'aménager son café pour le rendre plus confortable. D'autres clients (un marchand de meuble) ont pu mesurer ainsi que des clients venaient par exemple 3 fois dans le magasin avant de se décider pour un achat ou encore que le catalogue papier envoyé n'avait aucun effet perceptible en magasin. Le système coûte environ 200 $ par mois par magasin. Quant à la vie privée, un panneau informe les visiteurs du dispositif technologique et leur permet de visiter une page web pour se rendre invisible au système. Euclid pourrait demain proposer d'autres fonctionnalités : par exemple, si les magasins acceptent de partager les données qu'ils recueillent, il pourrait être en mesure de dire quels types de magasins les clients visitent et d'adapter la publicité en conséquence.

Pierre Barthélémy rappelle que de nombreuses études biomédicales ou psychologiques décrivent des effets qui n'existent peut-être pas, car on n'arrive pas à les reproduire. Même chose pour les neurosciences estime un article de Nature. Et l'étude de mettre en avant le biais de publication qui minimise les publications qui modèrent des résultats... En neuroscience, beaucoup d'études s'appuyent sur de petits échantillons de personnes. Selon cette analyse méta, la puissance statistique moyenne des études en neurosciences est comprise en 8 et 31%, ce qui n'est pas suffisant pour faire démonstration. Des négligences méthodologiques courantes qui font peser le doute sur la fiabilité des neurosciences. De bonnes pratiques existent aussi : 15% des études ont une puissance statistique supérieure à 90 %. Les auteurs d el'article proposent de multiplier les collaborations pour augmenter la taille des échantillons et de favoriser la transparence sur les données et méthodologies.

La frénésie pour les Big Data semble avoir rendu la pratique de l'échantillonnage blasphématoire, estime la consultante Meta S. Brown. Les pionniers de la fouille de données souhaitaient renforcer l'autonomisation des gens qui n'avaient pas nécessairement de connaissance statistique. Les Big Data permettent aussi de repérer les cas extrêmes, l'inhabituel. Pourtant, l'échantillonnage n'est pas mort, tant s'en faut. "Utiliser plus de données ne veut pas dire mieux les utiliser", rappelle la consultante. Les ressources utilisées pour une seule analyse pourraient être suffisantes pour produire de nombreuses petites études plus utiles depuis des échantillons. Un échantillon de données peut-être plus qualitatif qu'un vaste ensemble de données.

Le recueil de statistiques de ComScore sur le numérique.

Dioulé Chartier du cabinet D'CAp Research vient de publier une étude sur l'usage du système D en France : http://www.net-conversations.fr/observatoire.htm Le but : savoir comment les Français changent d'attitude face à la crise. L'étude évoque l'apparition de l'économie en réseau, un phénomène plus massif qu'il y paraît d'autant qu'il échappe aux statistiques et aux observations des économistes. Face à la crise, à la fragmentation des modes de vies, l'entraidre, la débrouille et le système D sont souvent des moyens pour faire face. Ce qui est nouveau dans cette débrouille outillée par le web, c'est le changement d'échelle, estime la consultante. Le problème c'est que ces échanges informels se déroulent en-dehors des cadres sociaux et légaux. Comment accompagner ce mouvement en lui adjoignant des filets sociaux ?

La compréhension de base des statistiques, la diplomatie post-étatique, la culture remix, la cognition appliquée, l'écriture pour des formes nouvelles, l'étude du gaspillage, les technologies domestiques... 

"Depuis 1975, 547 films de cinéma ont donné lieu à environ 2 000 jeux vidéo. L'adaptation de films est aujourd'hui une catégorie représentant environ 10 % de l'édition de jeux vidéo. "

Frahad Manjoo nous amène au coeur du fonctionnement du département de ressources humaines de Google, le People Operation (Pops) dont le fonctionnement s'appuie sur un logiciel sophistiqué destiné au traitement des statistiques recueillies auprès des salariés. L'ambition ici est de dégager des certitudes empiriques sur chaque aspect de la vie des employés de Google -pas uniquement le niveau de salaire ou de prestations approprié mais également des détails d'apparence triviale, comme la taille ou la forme optimale des tables de la cafétéria, ou la longueur de la queue à l'heure du déjeuner. Google a embauché des chercheurs en sciences sociales pour étudier son organisation. En développant une politique très attractive de congé maternité, Google a ainsi considérablement réduit le départ des jeunes mères de son entreprise. Bref, Google mesure les avantages qu'il apporte à ses salariés afin qu'ils fidélise ses employés. Par la mesure, les ingénieurs de Google ont ainsi déterminé que 4 entretiens suffisaient pour embaucher quelqu'un. Les données montrent également que les managers intermédiaires sont utiles. Vers un renouveau du management par les données ? C'est ce que laisse penser ce passionnant article !

Pour Nassim Taleb, les Big Data peuvent fournir plus d'informations, mais surtout plus de fausses informations. Peut-on faire confiance aux sciences orientées par les statistiques ? Plus il y a de variables, plus les corrélations peuvent montrer des significations. Le bruit est antifragile, estime Taleb. Il y a de l'information cachée dans les Big Data, mais l'aiguille est dans une botte de foin plus grande.

Bien qu'appliqué à la médecine, la réflexion de Dominique Dupagne, l'auteur de "La revanche du rameur", pourrait s'appliquer à bien d'autres choses. Il revient sur les théories de l'économiste américain Robert Lucas qui estimait que les statistiques n'aident pas à prédire les comportements futur des agents économiques. "Une corrélation observée peut devenir trompeuse si elle est utilisée dans un but de prévision ou d'évaluation." Pour Lucas, les agents ne modifient pas forcément leur comportement face à un nouvel indicateur qui les concerne. Charles Goodhart, allait même plus loin encore : "Lorsqu'un indicateur est choisi pour guider une politique économique, il perd du même coup la valeur informative qui l'avait qualifié pour remplir cette fonction. Pour le sociologue américain Donald Campbell : "Plus un indicateur quantitatif est utilisé pour prendre des décisions, plus il va être manipulé et plus son usage va aboutir à corrompre le processus qu'il était censé améliorer". Et Dominique Dupagne d'afficher son sceptiscisme face aux méthodes d'évaluation et de rémunération incitatives. Alors quelles évaluations mettre en place ? Pour Dupagne, la solution est d'avoir une palette d'indicateurs très large et de conserver le secret sur ces indicateurs.

Henry Farrell et Cosma Shalizi ont publié une très intéressante critique de l'économie comportementale. "Le vrai problème, cependant, est que les idées de Thaler et Sunstein présument que les bons technocrates peuvent utiliser les résultats statistiques et expérimentaux pour guider les gens à faire des choix qui répondent à leurs véritables intérêts." Le paternalisme libertaire est-il un moyen de renforcer l'autorité des experts et d'exclure la population des choix de sociétés qui sont les siens ? Qui contestera les décisions des technocrates ? Un sociologue montrait que l'augmentation des taux de dons d'organes s'expliquent mieux par l'amélioration de l'efficacité organisationnelle des structures de dons que par des régimes qui favorisent par défaut le don. Enfin, l'économie comportementale traite les citoyens comme des consommateurs, sans nécessairement leurs expliquer les choix qui sont fait pour eux. Tout cela est parfaitement juste, mais n'est-ce pas déjà le cas des choix par défauts faits bien souvent par des gens bien peu bienveillants pour le bien commun ? Thaler et Sunstein me semblent juste rappeler que l'intérêt général devrait plus souvent primer. 

Les décideurs économiques et réglementaires à travers le monde n'ont pas accès aux données dont ils ont besoin pour comprendre l'importance qu'ont prises les données dans l'économie estime Michael Mandel. Les agences statistiques et les indicateurs de croissance économiques évaluent les nombres de biens, mais pas les données. Nous savons combien les entreprises investissent dans l'équipement ou la construction, mais pas combien ils dépensent dans la construction de bases de données. L'économie pilotée par les données n'est pas mesurée par les catégories traditionnelles de l'économie, qui sait surtout mesurer des biens et des services produits. Dans son mémo, l'institut des politiques progressives tente d'évaluer cette économie immatérielle.  

Google a une confession à nous faire : il ne nous comprend pas. Si vous lui demandez quels sont les "19 lacs les plus profonds des Etats-Unis", il va vous donner un bon résultat basé sur les mots clefs de la requête et les sites qui ont une autorité significative sur ces mots et groupes de mots, mais, explique Amit Singhal, responsable de la recherche chez Google, le moteur ne comprend pas la question. Pour répondre, "nous croisons les doigts et espérons que quelqu'un a écrit quelque chose sur ce sujet".  L'avenir de la recherche à Google pourrait être une histoire très différente, estime Lance Ulanoff pour Mashable>. C'est ce que lui a expliqué Amit Singhal, qui développe une nouvelle vision de la requête chez Google, qui sache aller au-delà des mots au profit des "entités" de mots, des attributs et des relations entre ces entités. En d'autres termes, l'avenir du moteur de recherche ne va pas être seulement de comprendre votre question sur les lacs, mais comprendre qu'un lac est un espace d'eau enclavé par des terres et vous renseigner sur leurs profondeurs et surfaces relatives.  Google a été le premier à utiliser les liens comme "substituts de recommandation", explique Amit Singhal. Google a d'abord fondé ses résultats sur le contenu des liens et l'autorité de ceux-ci. Au fil du temps, Google a ajouté une foule de signaux sur le contenu, comme les mots clefs, permettant de bâtir de meilleurs résultats de requête. "Nous avons réalisé que les mots "New" et "York" quand ils apparaissaient ensemble changeaient la signification de ces deux mots." Google a alors développé des statistiques heuristiques permettant de reconnaitre, quand les deux mots apparaissaient ensemble, formaient un nouveau type de mot. Toutefois, le moteur ne comprend toujours pas que New York est une ville, avec une population ou une localisation particulière...  Google veut désormais transformer les mots qui apparaissent sur une page de requête en entité

Nous sommes malades du facteur d'impact, estime le scientifique Stephen Curry, car les revues sont appréciées les unes par rapport aux autres par seulement 15 % des articles qu'elles publient. Selon lui, le facteur d'impact est "un indicateur statistiquement indéfendable du rendement des revues". Et cela ne s'est pas arrangé quand le facteur d'impact s'est mis à classer non plus des documents, mais des personnes en devenant le facteur déterminant des subventions et promotions. Face aux critiques accumulées à leur encontre, aucun scientifique ne devrait encore les utiliser sans ressentir une certaine honte, estime le chercheur.  

Des chercheurs de l'université de Columbia ont mis en place une carte interactive de la consommation d'énergie des immeubles de New York - http://modi.mech.columbia.edu/nycenergy/ . La carte est est basée sur une analyse statistique pour estimer la consommation annuelle d'énergie des bâtiments (pas sur des données réelles).

Pour le scientifique des données Michael Wu - http://lithosphere.lithium.com/t5/user/viewprofilepage/user-id/151 -, il y a 3 types d'utilisation des Big Data : l'analyse descriptive est la plus simple, elle consiste à résumer ce qu'il se passe. 80 % des analyses sont de ce type. L'analyse prédictive utilise des techniques d'apprentissage statistique pour faire des prédictions, elle ne cherche pas à prédire le futur, mais à prédire des données que vous n'avez pas, comme c'est le cas de l'analyse de sentiment, qui utilise du texte pour en produire des scores. L'analyse prescriptive, elle, recommande plusieurs actions et montre le résultat probable de chaque décision

Dans la dernière lettre de leur Fondation, Bill et Melinda Gates tentent de démystifier 3 mythes de l'économie du développement : non, les pauvres ne sont pas condamnés à rester pauvres ; non, l'aide étrangère n'est pas une grande perte ; et non, sauver des vies ne conduit pas à la surpopulation. Aujourd'hui, il y a 36 pays dans le monde dont le revenu national brut par habitant est de moins de 1035 dollars qui définit les pays pauvres. Mais, estime Gates, plus de 70% des pays aura un revenu par personne supérieur à la Chine d'aujourd'hui. Statistiquement...