Création d’une Data platform BigQuery / DBT pour le traitement de données financières

Contexte

Notre client, une PME d’une centaine d’employés, développe une solution de financement à la demande permettant à chaque entreprise d’accéder à une ligne de trésorerie en moins de 24 heures. Ces financements s’accompagnent d’une aide et d’un suivi personnalisé construit sur les données financières de l’entreprise bénéficiaire du prêt.

Afin d’analyser les performances des financements et d’optimiser les montants et échéances proposés, notre client a fait appel à Modeo pour la mise en place d’une modern data platform capable de traiter rapidement de très grosses volumétries de données.

Enjeux

Pour assurer la réussite du projet, plusieurs défis ont été identifiés :

• Accélérer la collecte et l’analyse des données clients : nous avons mis en place une infrastructure permettant un traitement des données en moins de 24 heures.
• Automatiser le traitement des flux financiers : en réduisant les tâches répétitives et manuelles, nous avons amélioré la productivité des équipes.
• Fournir aux équipes commerciales des outils de suivi des performances de vente : en mettant en place des tableaux de bord interactifs et automatisés.
• Mettre en place des modèles de scoring financier : pour une évaluation rapide et précise des profils clients.

La solution

Pour répondre aux besoins de notre client, nous avons mobilisé deux data engineers pour une durée de six mois.

Audit et recommandations

Nous avons commencé par analyser l’infrastructure existante et les enjeux stratégiques du client. Des ateliers de travail ont été organisés avec les équipes finance, commercial, marketing et produit pour définir les besoins et recommander une stack technologique adaptée.

Modélisation des données

Dans la première phase du projet, nous avons travaillé en collaboration avec les équipes métier pour identifier et recenser les données essentielles à collecter. Suite à ces échanges, nous avons pu établir un schéma de données robuste définissant la structure, les relations et les dépendances entre les différentes données.

Développement de scripts ETL et ingestion des données

Nous avons conçu les mécanismes d'extraction et de chargement des données provenant de différentes sources, notamment des bases financières, des données de tracking et des données issues de CMS (Woocommerce, Shopify…).

Orchestration avec Airflow

Nous avons mis en place l'orchestration de la solution avec Airflow, permettant d'automatiser les processus d’ingestion et de gérer la variabilité des volumes de données. Nous avons également développé une Airflow DAG Factory pour standardiser et automatiser l’ingestion de nouveaux flux de données, simplifiant ainsi l’intégration des nouvelles sources de données.

Transformation des données

Les données extraites ont été transformées à l’aide d’un projet dbt partagé entre les équipes data. Des scripts de transformation ont été développés en accord avec le schéma de données défini précédemment.

Création de tableaux de bord et modèles de scoring

Nous avons conçu des tableaux de bord interactifs permettant aux équipes commerciales et marketing de suivre leurs performances et de prendre des décisions basées sur des données fiables. En parallèle, des modèles de scoring financier ont été mis en production afin d’évaluer rapidement les profils clients et optimiser les propositions de financement.

Mise en place de tests de qualité et d’alerting

Nous avons instauré des procédures de tests rigoureux pour garantir la fiabilité des données et mis en place un système d’alerte permettant de détecter rapidement toute anomalie au sein des flux de données.

Accompagnement des data consumers

L’adoption de la solution par les équipes métier était un facteur clé du succès du projet. Nous avons organisé des formations ciblées et fourni un accompagnement personnalisé pour garantir une utilisation optimale des nouveaux assets data.

Résultats obtenus

Grâce à cette modern data platform, notre client a bénéficié des améliorations suivantes :

• Collecte et traitement des données clients en moins de 24 heures : permettant une prise de décision plus rapide.
• Utilisation quotidienne des rapports par les équipes commerciales : facilitant des décisions stratégiques basées sur des données fiables.
• Gain de 2 heures par jour pour les équipes financières : grâce à l’automatisation des processus.
• Amélioration du retour sur investissement des initiatives data : en optimisant la gestion et l’utilisation des données.
• Conformité RGPD renforcée : grâce à une meilleure gouvernance des données.

Stack technique

• Cloud provider : GCP
• Orchestration : Airflow
• Data ingestion : Python, SQL
• Data warehouse : BigQuery
• Data transformation : dbt

Contactez-nous

Si vous souhaitez en savoir plus sur ce projet ou discuter de vos propres enjeux en matière de Data Engineering, n’hésitez pas à nous contacter. Nos experts sont disponibles pour échanger et vous accompagner dans la mise en place de solutions adaptées à vos besoins.

‍