Construction d'une Data Platform pour une Maison de Vente aux Enchères

Contexte et enjeux

Notre client, une prestigieuse maison de vente aux enchères, faisait face à des défis majeurs liés à la gestion et à l’exploitation de ses données. Son système informatique vieillissant ne permettait pas une analyse efficace des ventes, des objets mis aux enchères et des interactions avec les clients. Les principaux problèmes identifiés étaient les suivants :

• Traitement manuel chronophage : Les équipes perdaient un temps précieux à collecter et à structurer les données, rendant le processus inefficace.
• Risque élevé d’erreurs humaines : L’absence d’un système centralisé entraînait des incohérences et des erreurs dans les rapports.
• Impossibilité d’analyse en temps réel : La prise de décision reposait sur des rapports obsolètes, ce qui nuisait à la réactivité de l’entreprise.
• Absence de tableaux de bord adaptés : Les équipes métiers n’avaient pas d’outils leur permettant d’exploiter efficacement les données collectées.

L’objectif du projet était donc de concevoir une Data Platform moderne, permettant une gestion optimisée des données et un accès en temps réel aux indicateurs clés de performance (KPIs). Cette transformation devait se traduire par un gain de productivité significatif et une amélioration des performances commerciales.

La solution déployée

Pour répondre aux besoins du client, notre équipe a mis en place une Data Platform performante et évolutive sur Google Cloud Platform (GCP). Ce projet a suivi une approche structurée en plusieurs phases :

1) Ingestion et centralisation des données

L’un des premiers défis consistait à centraliser l’ensemble des données de l’entreprise dans un entrepôt de données (Data Warehouse) moderne. Avant notre intervention, les données étaient stockées dans une base PostgreSQL sur Google Cloud SQL. Nous avons mis en place un pipeline ELT (Extract, Load, Transform) permettant d’extraire ces données, de les charger dans BigQuery, puis de les transformer pour générer des insights exploitables.

• Technologies utilisées : BigQuery pour le stockage et le traitement massivement parallèle des données.
• Avantages : Amélioration des performances, meilleure gestion des volumes de données et scalabilité accrue.

2) Automatisation des calculs et des indicateurs clés

Le client souhaitait disposer d’une mise à jour régulière des KPIs tout en optimisant les coûts et la performance du système. Nous avons mis en place dbt (Data Build Tool) pour assurer la transformation et le calcul des données de manière automatisée.

• Fréquence de mise à jour : Trois fois par jour pour répondre aux besoins métier.
• Fiabilité des données : Grâce aux tests intégrés de dbt, la validité des données était garantie.
• Optimisation du développement : dbt a permis une meilleure collaboration entre les data engineers et les équipes métier.

3) Création de tableaux de bord dynamiques et accessibles

Une fois les données structurées et prêtes à être analysées, nous avons développé des tableaux de bord interactifs avec Looker Studio (ex-Google Data Studio). L’objectif était d’offrir une visualisation intuitive et exploitable des données pour les équipes métier.

• Co-construction avec les utilisateurs : Nous avons organisé des interviews et des ateliers pour définir les besoins spécifiques.
• Formation et autonomie : Des sessions de formation ont permis aux équipes de manipuler facilement les rapports.
• Accès facilité : Les tableaux de bord sont accessibles à tous les niveaux hiérarchiques, avec des droits d’accès personnalisés.

4) Passage au temps réel pour une réactivité maximale

Pour certaines analyses, le client avait besoin d’un rafraîchissement des données en quasi-temps réel. Ce défi soulevait deux problématiques majeures :

• Optimisation des coûts : Rafraîchir les données trop fréquemment pouvait engendrer des coûts excessifs.
• Performance des requêtes : Les traitements devaient être exécutés en moins d’une minute pour garantir des données toujours actualisées.

Nous avons résolu ces enjeux en :

• Optimisant les requêtes BigQuery grâce à des index, des partitions et une gestion efficace des clusters.
• Réduisant les coûts en mettant en place des stratégies de cache et de pré-calcul pour minimiser les sollicitations inutiles de la base de données.
• Adaptant l’architecture pour permettre une exécution rapide des traitements en fonction des besoins métier spécifiques.

Les résultats obtenus : un impact business concret

L’intégration de cette Data Platform a permis à la maison de vente aux enchères d’atteindre des performances significatives :

• Réduction de 80 % du temps consacré au traitement des données grâce à l’automatisation.
• Fiabilité accrue des données, avec une diminution des erreurs humaines.
• Optimisation des coûts : La mise en place de requêtes et traitements optimisés a permis une réduction des dépenses Cloud de 35 %.
• Tableaux de bord consultés quotidiennement par plus de 50 collaborateurs, permettant une prise de décision rapide et éclairée.
• Gain de réactivité lors des ventes aux enchères : L’accès aux KPIs en temps réel a permis aux équipes de mieux gérer les enchères en cours et d’optimiser leurs stratégies de vente.

Grâce à cette transformation, notre client bénéficie aujourd’hui d’une infrastructure scalable, automatisée et performante, lui permettant de piloter son activité avec une précision inégalée.

Stack technique déployée

• Cloud Provider : Google Cloud Platform (GCP)
• Orchestration et Transformation : dbt
• Ingestion des Données : CloudSQL avec PostgreSQL
• Data Warehouse : BigQuery
• Visualisation et Reporting : Looker Studio

Conclusion

Ce projet illustre parfaitement notre expertise en Data Engineering et notre capacité à déployer des solutions à forte valeur ajoutée. En combinant une infrastructure cloud moderne, des outils de transformation performants et une approche centrée sur le métier, nous avons réussi à transformer l’exploitation des données pour un acteur majeur des ventes aux enchères.

Vous souhaitez optimiser votre gestion des données et maximiser votre ROI ? Contactez-nous pour discuter de votre projet !

‍