Language

[Product Talk] Aider les métiers à consommer les données : data marketplace ou data catalog ?

Je m'inscris
Produit

Open data cartographié : La carte des fromages français

Salinas 0

Cette semaine, Opendatasoft met les petits plats dans les grands. Après s’être penché sur le Conseil de Paris, les données ouvertes de la SNCF, l’état de l’Open Data en 2014 et l’Égalité Homme-Femme, Opendatasoft poursuit sa série L’open data de la semaine avec de l'open data cartographié. Au menu : une carte des fromages français, interactive et en données ouvertes. À table !

Brand content manager, Opendatasoft
Voir tous ses articles

Cartographie des Fromages Français en Open Data

338 fromages géolocalisés pour planifier votre prochaine sortie gastronomique

Extraire les Données : Scrapper Wikipedia avec Python

À peine l’idée de cet Open Data cartographié des fromages français naissait que la phrase du Général de Gaulle nous revenait en mémoire :

« Comment voulez-vous gouverner un pays où il existe 258 variétés de fromage ? »

Avouons-le, la perspective de devoir créer un tel jeu de données à la main n’a pas immédiatement séduit l’équipe.

Pour complexifier la tâche, nous avions trois impératifs :

  • avoir une liste de fromage la plus exhaustive possible
  • chaque fromage devait être associé à son département de production pour en faciliter la géolocalisation
  • réunir un maximum de photographies de fromages

Nous avons tout d’abord cherché une liste exhaustive. Après plusieurs essais infructueux, nous avons trouvé la Liste des spécialités fromagères françaises. Les fromages y sont répartis par département. Cette hiérarchie a facilité le parsing et le scrapping de la page.

Open Data Cartographié

C’est Clément, membre de l’équipe R&D, qui a préparé la première mouture du jeu de données. Il a utilisé la librairie Python Beautiful Soup pour parser et scrapper la page Wikipédia. En utilisant les balises HTML et CSS de la page, il a pu exporter un CSV contenant :

  • le nom du fromage associé à son département de production
  • l’image du fromage quand elle était disponible sur Wikipédia
  • le type de lait entrant dans sa production
  • l’URL des pages Wikipédia, en français et en anglais (quand ces dernières existaient)

Cette première version du jeu de données a été importée dans un logiciel de tableur pour un nettoyage léger. Quelques fromageries s’étaient glissées parmi les fromages et les types de lait n’étaient pas harmonisés. Ainsi :

  • « Lait cru de vache » est devenu « vache »
  • « Vache Montbéliarde » est devenu « vache »

Importer les données sur une plate-forme de data clé-en-main

Après avoir harmonisé les données, nous avons chargé la liste des fromages français sur notre portail de démo.

Pour géolocaliser simplement ces données, nous avons utilisé l’un de nos processeurs natifs : joindre un jeu de données.

Ce processeur nous a permis de transformer le nom des départements de notre jeu de données en coordonnées géographiques grâce aux informations contenues dans un second jeu de données. Les nouvelles informations ont été ajoutées automatiquement.

La plate-forme a également converti les URLs des photographies de fromages en une galerie d’images dynamique. Cette dernière est intégrable et partageable en quelques clics.

La galerie des 338 spécialités fromagères françaises.

Créer une carte interactive rapidement

Pour générer notre carte, nous avons utilisé notre outil Cartographe.

Cartographe permet aux utilisateurs d’OpenDataSoft de placer des couches de données, extraites de jeu de données multiples, sur une carte.

La carte des fromages sur le fond de carte standard.

Nous aurions pu nous arrêter là. Mais nous voulions rendre cette carte des fromages vraiment attrayante. Nous avons donc dessiné un fond de carte customisé. Une tablette graphique, Illustrator, quelques couleurs vives et le tour était joué.

Open Data Cartographié : dessinons un fond customisé

Jouer avec Illustrator et des GIFs.

Pour pouvoir utiliser ce fond de carte sur la plate-forme, nous avons dû utiliser MapTiler. Ce logiciel convertit des illustrations cartographiques en tuiles de cartes pour le web. Il nous a suffi d’indiquer à MapTiler les correspondances entre notre dessin et leur carte standard : pointe de la Corse, Brest, côte est de l’Angleterre…

Notre seule contrainte technique : l’illustration ne devait pas dépasser 10 000 pixels par 10 000 pixels (ce qui aura son importance un peu plus tard). Nous nous sommes donc limités à la représentation de l’Europe.

Nous avons exporté notre carte dans un format de cartographie standard : MbTiles. Cela nous a permis d’intégrer notre illustration à notre plate-forme via MapBox.

Et c’est là qu’un problème est survenu. Un problème qu’en bons français métropolitains nous n’avions pas prévu.

La Réunion : 6ème département producteur de fromage en France

La Réunion est le sixième département producteur de fromage. Et la Réunion se situe au large de Madagascar.

Comme nous le précisions précédemment, le fond de carte customisé ne pouvait pas dépasser les limites de l’Europe. Nous étions contraints techniquement par les fameux 10 000 pixels par 10 000 pixels.

Comment résoudre ce problème ?

Nous avons donc réalisé une pirouette en trois étapes :

  • Conserver les données relatives aux fromages réunionnais dans le jeu de données.
  • Filtrer l’affichage des fromages réunionnais sur notre carte spéciale.
  • Dessiner tout spécialement une carte de ces spécialités pour nous faire pardonner.

 

Open Data Cartographié : les fromages de la Réunion

La plus belle carte des fromages de la Réunion jamais produite.

En revanche, le jeu de données en Open Data conserve les données de la Réunion. L’ensemble des fromages apparait donc sur la carte originale.

Cet article était un exemple succinct de quelques fonctionnalités combinées de la solution OpenDataSoft : Cartographe, filtres, galeries d’images intégrables… La plate-forme Opendatasoft permet d’exploiter des données complexes en quelques instants à travers ses visualisations de données et ses APIs.

Articles sur le même thème : Open data
En savoir plus
Agence ORE : un portail unique pour les données d’énergie Énergie & Utilities
Agence ORE : un portail unique pour les données d’énergie

Pour être véritablement utiles, les données d’énergie doivent être exhaustives et facilement réutilisables dans l’écosystème. Découvrez comment l’Agence ORE répond à ce besoin grâce à son portail unifié de données.

Utiliser son portail de données pour alimenter des modèles d’IA, quels bénéfices ? Transformation numérique
Utiliser son portail de données pour alimenter des modèles d’IA, quels bénéfices ?

Apprenez comment les portails de données renforcent l'efficacité des modèles d'IA en fournissant des données fiables, représentatives et sécurisées, essentielles pour une intelligence artificielle performante et éthique.

Transformer les secteurs des transports et de la mobilité grâce aux données Mobilité
Transformer les secteurs des transports et de la mobilité grâce aux données

Les secteurs des transports et de la mobilité font face à une transformation importante. Les données sont essentielles pour construire un écosystème efficace, durable et centré sur les besoins des usagers.