Analytics embarquée en temps réel pour l'IoT

Contexte

Notre client développe une solution visant à digitaliser la gestion énergétique et technique des actifs immobiliers. Grâce à sa plateforme Big Data et IoT, il optimise les performances système et environnementales de ses clients.

Avec plusieurs centaines de gigaoctets de données de capteurs, l’entreprise avait besoin d’une infrastructure robuste permettant de fournir des analyses embarquées en temps réel à ses clients, tout en garantissant une expérience utilisateur fluide et ergonomique.

Enjeux

• Fournir une analyse en temps réel des données IoT pour permettre un pilotage précis des consommations énergétiques.
• Optimiser l’expérience utilisateur en donnant à chaque client un cockpit dédié, ergonomique et intuitif.
• Gérer de grandes volumétries de données tout en garantissant rapidité et efficacité.
• Assurer la scalabilité et la robustesse du système face à l’augmentation des données collectées.

La solution

Notre approche a été structurée autour de plusieurs étapes clés pour répondre aux besoins du client :

Définition de l’architecture cloud data

Nous avons commencé par analyser les exigences métiers et les besoins en termes de données pour concevoir une architecture performante et évolutive. Nous avons opté pour ClickHouse, une base de données en colonnes reconnue pour sa rapidité d’exécution et sa capacité à traiter des requêtes analytiques massives sur des données en streaming.

Développement de pipelines d’ingestion

Nous avons mis en place des pipelines d’ingestion des données IoT en utilisant Apache Airflow pour orchestrer l’ensemble du traitement des flux en temps réel. Les données provenant de MongoDB sont déclenchées par des triggers et traitées avant d’être stockées sur AWS S3 puis ingérées dans ClickHouse.

Transformation et modélisation des données

Une fois les données ingérées, nous avons conçu un modèle de stockage avec différentes étapes :

• Données RAW : normalisées, dédupliquées et corrigées avec une période de rétention adaptée.
• Entrepôt de données (warehouse) : historisation, versioning et intégration avec d'autres référentiels de données.
• Datamarts : création de tables dédiées par client, permettant une segmentation et une analyse fine des consommations.

Développement de tableaux de bord interactifs

Une fois les données stockées et transformées, nous avons conçu une interface ergonomique pour la restitution des informations à travers Cumul.io. Les clients accèdent ainsi en temps réel à leurs indicateurs de consommation énergétique, leur permettant de piloter efficacement leurs actifs immobiliers.

‍

Résultats obtenus

Grâce à cette nouvelle architecture et aux pipelines optimisés, le client bénéficie des améliorations suivantes :

• Une analyse en temps réel des données IoT, offrant une meilleure prise de décision.
• Un cockpit personnalisé pour chaque client, facilitant le suivi et l’optimisation des consommations.
• Une plateforme scalable et performante, capable de traiter de grandes quantités de données sans dégradation des performances.
• Une amélioration significative de l’expérience utilisateur, avec des interfaces adaptées et ergonomiques.

Stack technique

• Base de données : ClickHouse
• Orchestration : Apache Airflow
• Stockage : AWS S3
• Data ingestion : MongoDB, Python, SQL
• Visualisation des données : Cumul.io

Contactez-nous

Si vous souhaitez en savoir plus sur ce projet ou discuter de vos propres enjeux en matière d’analytics embarquée en temps réel, n’hésitez pas à nous contacter. Nos experts sont disponibles pour échanger et vous accompagner dans la mise en place de solutions adaptées à vos besoins.