Analytics embarquée en temps réel pour l'IoT
Le contexte
Le client développe une solution qui a pour but de digitaliser la gestion énergétique et technique des actifs immobiliers de ses clients. L’entreprise s’appuie sur sa plateforme web Big Data et IoT pour optimiser les performances système et environnementales.
Avec plusieurs centaines de gigaoctets de données de capteurs, le client a besoin d’un système puissant afin de de fournir des analyses embarquées à ses clients en temps réel.
La solution
La première étape du projet consistait à comprendre les besoins de l’entreprise et les données devant être collectées et analysées pour répondre à ces besoins. Cette étape implique d’identifier le type de données, les sources et la fréquence des mises à jour.
Sur la base des exigences en matière de données, nous avons choisi ClickHouse comme base de données. ClickHouse est un système de gestion de base de données en colonnes (SGBD) open-source conçu pour les requêtes OLAP et connu pour ses performances rapides sur de grands volumes de données.
Une fois la base de données choisie, nous avons défini le schéma des données à stocker. Par exemple, les données peuvent être stockées dans des colonnes telles que l’horodatage, l’ID du capteur, la température et l’humidité etc…
Ensuite, nous avons construit des pipelines d’ingestion qui traitent et transforment les données avant qu’elles puissent être analysées.
Une fois les données traitées et stockées dans ClickHouse, nous avons conçu un tableau de bord pour afficher les mesures et les informations pertinentes. Cela implique d’identifier les indicateurs clés de performance (KPIs) qui doivent être suivis et de concevoir une interface facilement compréhensible pour afficher les données.
- Définition de l’architecture Cloud Data
- Benchmark de solutions et d’outils
- Développement de scripts ELT
- Modélisation de données et tests de qualité
- Identifications de KPIs pertinents
- Création de dashboards
- Formation et accompagnement des équipes internes
En résumé, la conception d’une plateforme de données avec ClickHouse pour créer un tableau de bord embarqué en temps réel à l’aide de données IoT provenant de S3 implique de comprendre les exigences en matière de données, de choisir ClickHouse comme base de données, de définir le schéma de données, de configurer l’ingestion de données et un orchestrateur, de créer des pipelines de traitement, de concevoir le tableau de bord et de connecter le tableau de bord à ClickHouse.
La stack technique
- Clickhouse
- Airflow
- Languages : Python + SQL
- Cumul.io