Création d’une Modern Data Platform financière

‍

Le contexte

‍

Notre client, une PME d’une centaine d’employés, développe une solution de financement à la demande permettant à chaque entreprise d’accéder à une ligne de trésorerie en moins de 24 heures. Ces financements s’accompagnent d’une aide et d’un suivi personnalisé construit sur les données financières de l’enteeprise bénéficiaire du prêt.

Afin d’analyser les performances des financements et d’optimiser les montants et échéances proposés, notre client a fait appel à Modeo pour la mise en place d’une Modern Data Platform capable de traiter rapidement de très grosses volumétries de données.

‍

La solution

‍

Pour répondre aux besoins de notre client, nous avons mobilisé deux data engineers pour une durée de six mois.

‍

Première étape du projet : Modélisation des données

Dans la première phase de notre projet, nous avons travaillé en collaboration avec les équipes métier pour identifier et recenser les données essentielles à collecter. Suite à ces échanges, nous avons pu établir un schéma de données robuste qui a défini la structure, les relations et les dépendances entre les différentes données.

‍

Deuxième étape : Développement de scripts ETL et de la solution d’ingestion de données

Dans cette deuxième phase, nous nous sommes concentrés sur la mise en œuvre des mécanismes d'extraction et de chargement des données. Les sources de données que nous avons exploitées comprenaient des données financières, des données de tracking et des données en provenance de CMS (Woocommerce, Shopify…).

‍

Troisième étape : Orchestration de la solution avec Airflow

Dans cette troisième étape, nous avons mis en place l'orchestration de la solution en utilisant Airflow. Les actions que nous avons entreprises comprenaient la configuration d’Airflow pour automatiser les processus d’ingestion et le dimensionnement de la solution pour faire face à la variabilité de la volumétrie des données et garantir une exécution fluide des tâches, quel que soit le volume de données traitées.

‍

Quatrième étape : Transformation des données extraites

La phase de transformation des données extraites a été réalisée en instaurant un projet dbt partagé entre les équipes de données et en développant des scripts de transformation en accord avec le schéma de données précédemment établi.

‍

Cinquième étape : Mise en place de tests de qualité et d’alerting

Pour garantir la qualité et la fiabilité de nos données, nous avons mis en place des procédures de tests rigoureux tout en instaurant un système d'alerte permettant de détecter rapidement toute anomalie ou problème au sein de nos flux de données.

‍

Sixième étape : Accompagnement des data consumers dans l’adoption des nouveaux assets data

Cette étape s'est avérée essentielle, car elle a impliqué une collaboration étroite avec les équipes métier du client. Nous avons offert des formations ciblées et un accompagnement personnalisé à chaque équipe, les guidant dans l'utilisation des données nouvellement créées.

Cette étape était cruciale car la valeur du projet réside dans son adoption par les équipes du client, renforçant ainsi leur capacité à prendre des décisions éclairées grâce aux données.

‍

La Stack Technique

• Cloud Provider : GCP
• Orchestration : Airflow
• Data Ingestion : Python et SQL
• Data Warehouse : BigQuery
• Data transformation : dbt