Explorer des jeux de données volumineux : l’exemple des incidents à Chicago

Dans nos précédents articles, nous avons présenté plusieurs fonctionnalités majeures de la plateforme Opendatasoft : APIs, cartographie avancée, jeux de données temps-réel, fonctionnalités sociales…

Aujourd’hui, nous souhaitons revenir sur une des fonctionnalités de base de la plateforme : la possibilité d’explorer des jeux de données volumineux grâce à la navigation par filtres, la recherche plein texte et les différentes possibilités de visualisation des données.

Il y a quelques semaines, nous avons assisté à l’ODI Summit et lors d’une session de formation nous a été présenté un jeu de données très intéressant: crime reports in the city of Chicago from 2001 to present.

Ce jeu de données contient près de 5 millions d’enregistrements et sa taille est de plus de 1G. N’essayez bien sûr pas de l’ouvrir avec Excel…

Nous avons donc exporté ce jeu de données en CSV et l’avons importé sur public.Opendatasoft.com: http://public.Opendatasoft.com/explore/dataset/chicago_incidents_2001_present/.

Comme vous pouvez le voir ci-dessous, la colonne de gauche contient un ensemble de filtres qui peuvent être utilisés pour affiner l’affichage. L’ensemble des filtres donne un résumé intéressant du contenu du jeu de données. Par exemple, nous apprenons que 20% des incidents reportés sont des vols. Les filtres peuvent aussi être utilisés pour affiner l’affichage et n’afficher les enregistrements que d’un filtre ou d’un ensemble de filtres.

Une fonctionnalité intéressante est également la possibilité de filtrer les résultats à partir d’une recherche textuelle. Par exemple, nous voyons ci-dessous que 87 000 incidents mentionnent le terme “héroïne”. Bien sûr, les termes de la requête peuvent être combinés pour produire des expressions complexes, mélangeant des critères de recherche textuelle et numérique.

Passons maintenant à la vue carte. La première vue affiche un clustering géographique des données. Au fur et à mesure des zooms et des déplacements de la carte, les clusters s’adaptent automatiquement au niveau de zoom et à la position de la carte. Au niveau de zoom maximal vous pouvez afficher les détails d’un incident particulier. Cette fonctionnalité permet d’afficher sur une simple carte et de manière très performante des centaines de milliers voire des millions d’enregistrements.

La vue “analyse” permet de construire rapidement et simplement des graphiques. Ces graphiques sont basés sur des agrégations selon les filtres qui ont été choisis. Un grand nombre de représentations sont disponibles : graphiques en colonnes et en barres, camemberts, graphiques temporels, etc.

Et bien sûr, avec nos fonctionnalités Cartographe et Chart Builder, vous pouvez construire de manière très simple des visualisations avancées combinant sur une même représentation plusieurs jeux de données.

Comme vous pouvez le voir, toutes ces représentations sont construites à partir de fonctionnalités standard de la plateforme Opendatasoft.

Que ce soit pour de petits jeux de données ou pour de gros jeux de données, il est de plus en plus important pour une plateforme open data de fournir à ses utilisateurs des outils permettant de les visualiser simplement et de manière performante.