Group items tagged

Un constat : nous sommes entrés dans la révolution Big Data. En 2007, le nombre de données stockées et accessibles était évalué 281 exa-octets. En 2012 ce chiffre sera passé à 1,8 zetta-octets. La quantité de données numériques croît de façon exponentielle, augmentant de 30% chaque année depuis 1999. Les évolutions des usages de la mémoire numérique sont à l'origine de cette explosion : nous enregistrons nos photos, nos vidéos, mais les machines enregistrent également toutes nos transactions en ligne, etc. Cette masse de données représente des enjeux considérables de stockage et de traitement qui sont en passe d'être résolus. Le cloud est une des réponses et le développement de la capacité de mémoire des machines en est un autre, des questions dont nous avions déjà parlé ici. Pour Jean-Daniel Fekete, le principal enjeu de cette masse monstrueuse de données n'est pourtant pas technique, selon lui le véritable enjeu est l'utilisation et l'analyse de ces données.

ParaView est une application multi-plateforme pour la visualisation des données en 2 et 3 dimensions, distribuée sous forme de logiciel libre (BSD-2). ParaView est conçu pour pouvoir être exécuté aussi bien sur des machines mono-processeur que sur des plateformes parallèles de grande taille, et a été testé avec succès sous Linux, Windows, Mac OS X, IBM Blue Gene, Cray XT3 et divers autres systèmes UNIX, en série et en parallèle. Sur une machine parallèle, ParaView peut traiter efficacement de très grands ensembles de données : à ce jour, ParaView a été utilisé par Sandia National Laboratories pour visualiser des maillages structurés contenant jusqu'à 6 milliards d'éléments, et des maillages non structurés en contenant un quart de milliard.

"Ces vingt dernières années ont vu le développement de techniques et d'outils informatiques qui permettent d'automatiser la collecte et la mise en forme de données, en particulier celles provenant d'internet[1]. Plus puissantes et plus faciles d'accès, ils sont aussi de plus en plus utilisés dans de nombreuses professions. Leur diffusion intéresse donc les chercheurs en sciences sociales, à la fois parce qu'elles permettent de collecter rapidement des informations sur divers aspects du monde social, mais aussi parce qu'elle conteste un peu plus leur monopole dans la production de données quantitatives. On se propose ici de réaliser un rapide tour d'horizon sur cette question qui souligne le potentiel, et évoque certains enjeux, du recours croissant à ces méthodes pour nos disciplines"

"Quelles relations établir entre la gigantesque masse de données fourbie par les ordinateurs - les fameux Big Data -, les modèles utilisés pour les analyser, et les humains qui les interprètent ? C'est la question que s'est posée Nate Silver, dans une brillante analyse de la science météorologique, parue dans le New York Times."

e bulletin examine les  r é sul t a t s  de   l a   c ompi - l a t i on de s  donné e s  de  vente des enregistrements sonores 1 obtenues de Nielsen SoundScan  par l'Observatoire de la culture et  des communications du Québec  (OCCQ) pour la période 2002 à  2011. Il présente une analyse des  résultats quant aux ventes totales  d'albums et de pistes musicales et  quant à la répartition de celles-ci  selon la provenance et la langue. 

ui s'exprime sur les grands sujets internationaux, et depuis quelles parties du globe ? Pour le savoir, rien de tel que de consulter les (mini) messages officiels qui s'échangent sur Twitter. Mais le monde manquait d'un agrégateur des prises de position des divers acteurs des relations internationales sur ce réseau social. C'est désormais chose faite : l'Agence France-Presse (AFP) a publié l'e-diplomacy hub, un outil permettant de visualiser en temps réel, sur une carte du monde, l'essentiel de ce qu'elle nomme l'e-diplomatie - soit les tweets des chefs d'Etat et de gouvernement, des ambassadeurs, des fonctionnaires internationaux, des penseurs et des activistes.

"Le récent conflit qui oppose le site FourmiSanté et l'Assurance Maladie (1) vient s'ajouter à une longue liste de confrontations liées à des données "fermées". Partout en Europe, nous assistons à la multiplication de cas similaires. Comment peut-on analyser ces conflits ? L'open data peut-il être une réponse aux défis qu'ils posent ?"

La messe semble dite. La connaissance devrait désormais progresser par la multiplication des données et leur traitement statistique. Au point que certains - et non des moindres - déclarent désormais dépassée la bonne vieille méthode scientifique. Les Big Data vont nous permettre de nous passer de théories, semble-t-il. Mais les statistiques sont loin d'être un outil facilement maniable, et les pièges méthodologiques ne manquent pas.

"Calories, tension, sommeil, productivité… Collecter ses données personnelles, les analyser et les partager fait désormais partie des nouveaux usages. Retour sur le « Qualified Self », porte ouverte à une meilleure gestion de son corps… et à un nouveau business. "

Analyse de données et production de texte automatisé

Insurers' interest in data mining will only grow, says Kevin Pledge, the boss of Insight Decision Solutions, an underwriting-technology consultancy based near Toronto. He has investors interested in a project to develop software to comb Facebook and Twitter for promising sales leads: a woman proud of her pregnancy might want to buy life insurance, for example. Insurance firms will also analyse grocery purchases for clues about policyholders, he predicts. But that raises some sticky questions about privacy. Mr Pledge himself has begun to forgo his supermarket loyalty-card discount on junk food and pay for his burgers in cash. Promising as data mining is, much will depend on how regulators, and consumers, react.

Pour que l'automesure permette de véritablement en apprendre sur soi, il faut qu'elle devienne un écosystème dans lequel le fait d'enregistrer des mesures n'est qu'un maillon de la chaîne.

The Open Data Census 2012 will monitor the current status of open data across the globe. The primary focus of the Census is data. Policies are crucial, but as Chris Taggart's analysis of corporate data demonstrates, actual practice can be very different. Focussing on data will also allow us to keep the census very concrete. Analysing policy or even law is a complex process; whether a dataset is 'open' or not is usually a clear yes or no answer.

City governments, faced with decreased resources after the Great Recession and rising citizen demand for services with increased urbanization, must be able to make better decisions that are informed by data. To put it another way, in 2012, mayors need to start playing Moneyball in government with evidence-based analysis.

The impact of Gartner's top 10 strategic technologies will not center only on the business - their capabilities will also increasingly become integral to future generations of management architecture, according to Gartner, Inc. "We are already seeing the adoption of 'big data' within the IT and operations management [ITOM] industry. In particular, software-as-service [SaaS] management providers now have to collect and synthesize large volumes of data," said Milind Govekar, managing vice president at Gartner. "We also expect more next-generation analytics to come to the forefront to address an increasingly hybrid cloud environment. On the social front, IT service desk social management tools will establish an interactive relationship with end users, enhance end-user productivity, provide a platform to share information and ideas, and market the value of IT to the business." In the fourth quarter of 2011, Gartner identified the 10 technologies and trends that will have the biggest impact for most organizations in 2012. They are: 1. Media tablets and beyond, 2. Mobile-centric applications and interfaces, 3. Contextual and social user experience, 4. The Internet of things, 5. App stores and marketplaces, 6. Next-generation analytics, 7. Big data, 8. In-memory computing, 9. Extreme low-energy servers and 10. Cloud computing.

Storing huge amounts of data is all well and good but the big advantage of collecting data is using it to help better understand your business, allowing you to become more efficient or to design better products. That has been the message of business intelligence products and data warehouses for years. But the analytics market is changing dramatically, with BI tools working with more data, more integrated analytics platforms, more in-memory databases, a renewed emphasis on real-time data analysis and data visualization, and a recent push toward so-called "predictive analytics."

"Although it's still a work in progress, 0xdata thinks it has the answer to the problem of doing advanced statistical analysis at scale: Build on HDFS for scale, use the widely known R programming language and hide it all under a simple interface."

Revolution Analytics delivers advanced analytics software at half the cost of existing solutions. By building on open source R-the world's most powerful statistics software-with innovations in big data analysis, integration and user experience, Revolution Analytics meets the demands and requirements of modern data-driven businesses.

In 2008, police forces across the United Kingdom (UK) launched an online crime mapping tool "to help improve the credibility and confidence that the public had in police-recorded crime levels, address perceptions of crime, promote community engagement and empowerment, and support greater public service transparency and accountability." How effective has this large scale digital mapping effort been? "There continues to be a lack of evidence that publishing crime statistics using crime mapping actually supports improvements in community engagement and empowerment." This blog post evaluates the project's impact by summarizing the findings from a recent peer-reviewed study entitled: "Engagement, Empowerment and Transparency: Publishing Crime Statistics using Online Crime Mapping." Insights from this study have important implications for crisis mapping projects.