Streaming de données pour letraitement de formules chimiques

Le contexte

Notre client, un acteur majeur de l’industrie cosmétique possédant de nombreuses marques à son actif, est reconnu pour avoir popularisé le concept de Beauty Tech.

Guidée par une profonde culture de la recherche, l’entreprise a entrepris de nombreux projets de recherche et développement et a rapidement adopté une approche orientée vers la data pour accélérer la recherche et améliorer la productivité en exploitant au maximum les données disponibles.

Au cours des deux dernières années, l’équipe Modeo a travaillé en étroite collaboration avec l’équipe technologique de notre client, au sein du département Recherche et Innovation, dans le but de développer de nouveaux produits data et de fournir des données essentielles aux équipes métier et de recherche.

‍

La solution

Au cours de notre collaboration, nous sommes intervenus sur un grand nombre de projets et notamment sur l’ingestion de données et le développement de scripts ETL / ELT pour la prédiction de formules, la modélisation des données, la mise en œuvre de services de domaine de données partagées (Data mesh), la création de pipelines de streaming pour le stockage des données applicatives dans des data warehouses (en utilisantPub/Sub et Apache Kafka), ainsi que le monitoring de ces pipelines.

‍

La stack technique

• Languages : Python SQL
• Airflow
• GCP (PubSub, BigQuery, Cloud logging, Cloudrun, GCS, GCR)
• Azure (Active directory, Eventhub)