Le contexte

‍
Notre client est une maison de vente aux enchères qui souhaite renouveler son système informatique. Cette maison a fait appel à notre expertise pour mettre en place une Data Platform afin d’optimiser la gestion de ses données, en particulier celles relatives aux ventes aux enchères. À terme, elle souhaitait avoir à sa disposition des tableaux de bord présentant des KPIs calculés en temps réel.

Avant notre intervention, le traitement des informations était réalisé manuellement, faisant perdre un temps précieux aux équipes et engendrant régulièrement des erreurs humaines. De plus, les outils en place rendaient impossible le traitement de données en temps réel.

Leurs données sont composées d'informations sur les ventes, les objets mis en enchère, et de personnes (aussi bien externes qu’internes à l’entreprise).

‍

La solution

‍
Deux data engineers de Modeo ont été en charge de la mise en place de la Data Platform déployée sur GCP. Ce projet s'est déroulé en plusieurs étapes :

‍

1) Ingestion des données au sein d’un data warehouse

Les données du client étaient stockées dans une base de données PostgreSQL, hébergée sur Google Cloud SQL. Nous avons décidé d'utiliser la solution BigQuery comme data warehouse et de mettre en place un pipeline ELT permettant d'extraire les données de Cloud SQL, de les charger dans BigQuery puis de les retraiter afin d'en extraire de la valeur.

‍

2) Automatisation des calculs

La donnée de la majorité des rapports n'ayant pas besoin d'être rafraichie en temps réel, nous avons décidé de lancer les calculs des KPIs trois fois par jour.

Pour cela, nous avons choisi l’outil de transformation de données dbt. Cette solution possède de nombreuses fonctionnalités avantageuses pour le développement, le déploiement et l'entretien des transformations de données dans une Data Platform. Parmi elles, il y a notamment son planificateur permettant de programmer les transformations et son système de tests très efficace assurant la validité des données.

‍

3) Création de tableaux de bord et accompagnement du métier

Une fois les données en base et les KPIs pré-calculés, nous avons créé des rapports avec la solution Looker Studio de Google afin d’afficher les données sous forme de visuels permettant aux équipes métier d’avoir accès aux informations clés dont elles ont besoin sans avoir à passer du temps à paramétrer elles-mêmes leur ancienne application.

La mise en place des tableaux de bord et la définition puis le calcul des KPIs a été faite directement avec les équipes métier afin d'être certain que le produit réponde parfaitement à leurs besoins et attentes. Pour cela, des interviews et des formations ont été organisées afin que chacun soit indépendant dans son utilisation des dashboards.

‍

4) Optimisation du pipeline pour du temps réel

Notre client souhaitait avoir des données en temps réel pour certains rapports dans Looker Studio.

Ce besoin a soulevé deux problématiques :

• Une problématique de coûts puisque une disponibilité à la minute impliquait des traitements très réguliers et donc des coûts élevés si les requêtes n'étaient pas parfaitement optimisées
• Une problématique de performance puisque l'ensemble des opérations de traitement devaient pouvoir s'effectuer en moins d'une minute

Pour répondre à ces challenges, nous nous sommes servis de différents outils d’optimisation de requête et d'analyse de performances. Nous avons également modifié l’architecture de la Data Platform à certaines étapes afin d'accélérer les temps de compute.

‍

Les résultats

‍

La mission fut un succès puisque nous avons réussi à mettre à disposition de notre client des tableaux de bord utilisés quotidiennement par les équipes ainsi que des tableaux de suivi en temps réel des ventes, utilisés à chaque événement.

‍

‍

La Stack Technique

• Cloud Provider : GCP
• Orchestration : dbt
• Data Ingestion : SQL (CloudSQL avec PostgreSQL)
• Data Warehouse : BigQuery
• Data transformation : dbt