Le terme de Data platform est un terme que l’on entend de plus en plus régulièrement et qui est souvent au cœur des enjeux stratégiques des DSI. Pour autant, le concept de Data Platform ne date pas d’hier et les entreprises se sont toujours appuyées sur ces systèmes pour mettre en œuvre leurs projets Data.
Les grandes avancées technologiques de ces dernières années ont permis l’apparition d’un nouveau type de Data Platform, les Modern Data Platforms. Le concept reste le même, créer un outil central de gestion de la donnée au sein d’une entreprise, mais les moyens pour y arriver ont grandement changé.
Autrefois réservées aux entreprises à grands moyens financiers et humains et prenant la forme de lourds systèmes informatiques, les Data Platforms sont maintenant beaucoup plus accessibles et facilement implémentables.
Définition d’une Modern Data Platform
Une Data Platform est un système central de gestion des données. C’est une solution utilisée pour traiter tout type de données durant tout leur cycle de vie, de leur collecte à leur restitution.
Les Data Platforms existent depuis toujours mais l'avènement récent de technologies telles que le cloud et l’IOT ont entraîné de grandes évolutions dans le domaine. Cela a notamment permis l’apparition des Modern Data Platforms, des Data Platforms construites autour des outils de la Modern Data Stack ; outils ayant pour caractéristiques d’utiliser des technologies cloud et d’être facilement utilisables et déployables.
Quels sont les principaux composants d’une Modern Data Platform ?
Les entreprises ont aujourd'hui besoin d'une plateforme leur permettant de stocker, indexer et rechercher des informations dans de grands volumes de données, rapidement et facilement. Les Modern Data Platforms répondent à ces exigences puisqu'elles permettent de stocker des données dans différents formats dans une base de données et fournissent une variété d'outils permettant de faire du reporting ou de la prédiction à partir de ces données.
La Modern Data Platform intervient dans chacune des étapes du cycle de vie de la donnée.
Ingestion des Données
Tout système informatique génère de la donnée, que ce soit un réseau social, un site de vente, un logiciel RH ou encore une solution de visualisation de données. Les données utiles à une entreprise existent dans des systèmes hétéroclites et dans des formats variés selon les sources.
Pour pouvoir être exploitées et croisées entre elles, ces données sont collectées régulièrement par la Modern Data Platform lors d’une étape appelée l’ingestion de données.
Stockage des Données
Les données collectées sont acheminées et sauvegardées dans un espace de stockage avant d’être retraitées et exploitées. Cette étape est cruciale car elle est le cœur du système et doit pouvoir contenir et mettre à disposition de grands volumes de données rapidement et de manière fiable.
Transformation des données
Transformer les données signifie les nettoyer et les préparer pour de futures analyses. Cette étape est primordiale car les données brutes récoltées auprès des sources sont souvent peu exploitables ou ne répondent pas nécessairement aux questions posées.
Par exemple, une entreprise souhaitant mesurer l’impact de ses campagnes publicitaires sur les réseaux sociaux devra être en mesure de confronter de la donnée de Twitter, de Meta ou de TikTok. Les chiffres mesurés sont en partie identiques mais leur format est très différent et il sera nécessaire de définir un format générique attendu puis de développer des scripts de traitement pour extraire l’information intéressante.
Data Visualization et Business Intelligence (BI)
L’étape de visualisation via des outils d’analytique et de Business Intelligence va permettre de donner du sens à la data et de la présenter sous un format facilement compréhensible. Les solutions BI sont des outils essentiels permettant aux équipes de suivre leur indicateurs clés et de prendre des décisions stratégiques éclairées.
Data Science, Machine Learning et Intelligence Artificielle
Les Modern Data Platforms peuvent également intégrer des algorithmes de Machine Learning, permettant aux entreprises de construire des modèles prédictifs ou d’utiliser de l’Intelligence Artificielle.
Dans des cas d'utilisation pratiques, cette fonctionnalité s'étend aux suggestions de contenu en temps réel sur les plateformes de e-commerce, améliorant l'expérience et l'engagement des utilisateurs en fournissant des recommandations personnalisées et pertinentes ou aux assistants avec lesquels les utilisateurs peuvent dialoguer et poser des questions relatives à la donnée, fondés sur de l’IA générationnelle.
Quelle est la différence entre une Modern Data Platform et un Data Warehouse ?
Les entrepôts de données (Data Warehouse) et les Modern Data Platforms sont deux concepts différents.
Un entrepôt de données est une base de données conçue pour stocker, récupérer et analyser efficacement de grands volumes de données structurées, suivant un format défini, comme des tables dans une base de données relationnelle.
Une Modern Data Platform est une solution plus complète, allant au-delà du simple stockage. Elle offre une multitude de services tels que la collecte de la donnée, son traitement ou sa visualisation. Une Modern Data Platform peut contenir un Data Warehouse pour stocker les données qu’elle manipule.
Qui sont les utilisateurs d’une Modern Data Platform ?
L’adoption de la donnée par les équipes métier est un important facteur de réussite d’un projet d'implémentation d’une Data Platform. Cette plateforme étant le centre de gestion de la donnée et la data étant au cœur du fonctionnement des entreprises data-driven, il est essentiel qu’elle soit une ressource commune et utilisée par tous.
Tous types de profils sont donc amenés à interagir avec la Modern Data Platform :
- Les équipes métier vont essentiellement interagir avec via des tableaux de bord et du reporting,
- Les Data Analysts, Analytics Engineers et Data Scientists vont travailler directement avec le data warehouse pour construire leurs analyses
- Les Data Engineers seront en charge de la mise en place de la Data Platform, de sa maintenance et du développement de nouveaux pipelines de collecte et de transformation
- Les DevOps seront en charge du déploiement de la plateforme et de son intégration dans l’environnement informatique de l’entreprise
- Les équipes techniques, selon leur type, interagiront avec la Data Platform pour communiquer et échanger des informations via des API par exemple.
Cas d’usage - Automatiser la facturation de location de véhicules via une Modern Data Platform
Nous avons eu l’occasion de construire une Modern Data Platform dans le cadre d’une mission que nous avons réalisée pour une entreprise dont l’activité principale est la location longue durée de véhicules. Ces véhicules sont destinés à des chauffeurs VTC et sont facturés mensuellement au forfait kilométrique.
Chaque mois, notre client s’occupait manuellement d’extraire les kilomètres parcourus par chaque véhicule, de les comparer aux termes du contrat associé puis de générer la facture et le prélèvement. Cette situation faisait perdre beaucoup de temps et ne permettait pas de supporter une augmentation du nombre de contrats.
Après trois mois d’intervention, nous avons mis à disposition de notre client une Modern Data Platform permettant d’automatiser le suivi des contrats et la génération des factures. Chaque mois, cette plateforme récupère les kilomètres parcourus par chaque véhicule, calcule le montant à facturer en en les comparant aux conditions du contrat associé, génère une facture puis envoie une demande de prélèvement à la banque.
Nous avons construit la solution en plusieurs étapes :
- Ingestion des données fournies par l’API de suivi GPS des véhicules. Cette ingestion est réalisée quotidiennement
- Transformation de la donnée en base afin d’en extraire les kilomètres parcourus sur le mois en cours et de les comparer avec les distances convenues dans les contrats
- Construction de tableaux de bord permettant au client de suivre les consommation en cours de mois et les facturations des mois précédents
- Automatisation de la facturation et des paiements grâce aux montants calculés aux étapes précédentes.
Cette Modern Data Platform a été construite avec des outils tels que BigQuery, Cloud Scheduler et dbt.
Implémenter une Modern Data Platform est primordiale pour une entreprise mais c’est un projet ambitieux et difficile.
Chez Modeo, nous avons construit des dizaines de Modern Data Platforms chez un grand nombre de clients variés et adoptons une démarche itérative en étroite collaboration avec chaque équipe métier de l’entreprise. Cette approche nous assure une parfaite adoption des outils et une satisfaction chez toutes les parties prenantes.
Si vous êtes intéressés par notre approche ou souhaitez en savoir plus sur les Data Platforms, n'hésitez pas à nous contacter !