Modeo a accompagné plusieurs grandes entreprises dans la mise en place de méthodologie DataOps, il était donc important pour nous d’écrire cet article.
En effet, chaque organisation a sa propre vision du DataOps. Pourtant, même si les approches et les outils diffèrent, certains grands principes restent partagés.
C’est ce que nous avons décidé de présenter dans cet article.
Qu’est-ce que le DataOps ?
Le DataOps est une méthodologie inspirée du DevOps qui, grâce à un ensemble d’outils et de process, permet de réduire le Time To Value des projets Data tout en améliorant la qualité des données et leur gouvernance. Elle améliore la collaboration entre les équipes Data et standardise les process.
Selon Data Kitchen, le DataOps permet aux équipes Data :
- D’innover et d'expérimenter plus facilement, tout en produisant des insights extrêmement rapidement pour les équipes métier
- Améliorer le niveau de qualité des données
- De faciliter la collaboration entre les Data Consumers/Producers, les technologies et environnements
- D’améliorer le monitoring des jobs d’ingestion et de transformation de données
Le rôle de l’équipe DataOps
L’équipe DataOps, parfois appelée équipe Data Platform ou Center Of Excellence (CoE) intervient principalement dans le cadre d’organisation décentralisée, (par exemple Data Mesh), où les domaines métier de l’entreprise disposent de leur propre équipe Data pour construire leurs cas d'usage en toute autonomie.
L’équipe DataOps est au service de ces équipes.
Si nous prenons l’exemple d’une grande entreprise dans le retail, l’équipe DataOps, centralisée serait au service de l’équipe Data :
- Domain 1 : Finance
- Domain 2 : Delivery & Logistic
- Domain 3 : Stock
Une stratégie DataOps fonctionne également pour des entreprises avec une logique de filiales. Par exemple, la SNCF disposerait de son équipe DataOps, qui serait au service des domaines suivants :
- SNCF Voyageurs
- SNCF Réseau
- SNCF Gares & Connexions
- GEODIS
- Keolis
- Rail Logistics Europe
Ainsi, en disposant d’une équipe DataOps, le groupe est en mesure de standardiser les bonnes pratiques Data sur l’ensemble des équipes / filiales / domaines.
Le périmètre d’intervention d’une équipe DataOps varie selon le type d’organisation dans lequel elle évolue. L’équipe peut par exemple avoir comme responsabilité :
- Le choix de la stack et des outils
- La mise à disposition d’environnements de développement (exemple : DBT + Snowflake + Github)
- La définition des bonnes pratiques de développement
- La mise à disposition d’outils de monitoring et d’observabilité auprès des équipes métier
- Le suivi des coûts et de l’impact carbon de la Data Platform
Les Gains de l’équipe DataOps
Les gains apportés par une équipe DataOps sont multiples :
1- Amélioration de la qualité des données
Les équipes DataOps s'assurent que les données soient précises, cohérentes et fiables. Pour cela, elle propose des outils d’observabilité, des process de test (code quality + data quality) et de résolution d’incidents.
2- Amélioration de la vélocité des développeurs
En industrialisant le traitement, l’ingestion et la transformation des données, les équipes DataOps réduisent considérablement le Time-To-Insights.
3- Scalabilité
L’équipe DataOps construit un socle technique qui permet aux projets Data du Groupe de scaler. Elle accompagne la croissance de chaque équipe en leur permettant de multiplier le nombre de projets Data, tout en maintenant des hauts standards de qualité.
4- Innovation et compétitivité
L'équipe DataOps permet au Groupe de tirer parti plus efficacement de ses assets Data, débloquant ainsi de nouvelles opportunités d'innovation et de projets à forte valeur ajoutée (exemple : IA/LLM, Data Apps etc…).
5- Amélioration de l'agilité et de l'adaptabilité
L'équipe DataOps impose des méthodologies Agile et des principes DevOps qui permettent d’avoir la bonne flexibilité pour répondre aux nouvelles demandes métier.
6- Amélioration du ROI des équipes Data
En garantissant que les données soient traitées, gérées et utilisées efficacement, l'équipe DataOps aide le Groupe à maximiser la valeur tirée de leurs assets Data.
7- Réduction des risques et conformité RGPD
L'équipe DataOps garantit que les normes de sécurité et de confidentialité des données, soient bien respectées. Cela permet d’éviter des sanctions liées à au non-respect de la réglementation en vigueur, ou des éventuelles fuites de données.
8- Data FinOps et optimisation des ressources
L'équipe DataOps aide les organisations à comprendre et réduire les coûts associés à la Data Platform, en intégrant des modules de calcul et en imposant les bonnes méthodologies FinOps.
9- Amélioration de la collaboration entre les Domaines
L'équipe DataOps aide à combler le fossé entre les producteurs de données (IT, Data Engineer) et les consommateurs de données (Data Scientist, Analyst et business users) en mettant en place des process clairs et des canaux de communication. Cela encourage la collaboration, réduit les silos et assure que les données soient accessibles et bien utilisées dans tout le Groupe.
10- Création d'une culture Data interne
L'équipe DataOps aide à promouvoir une culture axée sur les données au sein de l'organisation, où les consommateurs de la donnée à tous les niveaux comprennent la valeur des données et les intègrent dans l’ensemble de leurs processus décisionnels.
Pour mesurer le succès d’une équipe DataOps, plusieurs paramètres peuvent être pris en compte, comme indiqué ci-dessous :
Mettre en place du DataOps, par où commencer ?
Constituer une équipe DataOps
La première étape pour se lancer dans le DataOps est de constituer son équipe. Dans un premier temps, cette équipe peut simplement être un duo avec un(e) PM Data et un(e) DataOps. Ce dispositif est amplement suffisant pour commencer.
Définir les rôles et responsabilités des équipes
Il faut, dans un second temps, établir les rôles et responsabilités de l’équipe DataOps par rapport aux autres équipes Domains, spécifiques à leur organisation.
Par exemple :
Identifier les modules clés à mettre à disposition
Une fois les responsabilités de chacun identifiées, il est nécessaire de définir les modules clés pour construire l’offre de service qui sera proposée aux équipes domaines.
L'intérêt de cette approche offre de service est multiple. Elle permet de :
- Mutualiser les développements de nouveaux modules pour les différentes équipes domaines
- Recueillir les besoins de chaque équipe et en faire bénéficier les autres
- Faciliter la communication entre chaque équipe
Chez Modeo, la méthodologie DataOps se décompose en 5 piliers :
- Technique
- Métier
- Sécurité
- Légal
- RSE.
Voici une liste non exhaustive de modules pouvant être déployés :
Mettre en place des canaux de communication
Parallèlement au développement de ces modules, il est crucial de mettre en place les bons process de communication pour permettre à l’équipe DataOps de déployer ses travaux au sein de son organisation. Cela peut passer par des canaux Teams et des points mensuels dédiés pour présenter les nouveaux travaux.
L’équipe DataOps doit également se tenir à disposition des domaines pour les accompagner dans la prise en main de ces nouveaux outils car le travail de cette équipe n’a de valeur que lorsqu’il est adopté et utilisé dans toute l’entreprise.
Modeo a accompagné plusieurs entreprises leaders dans leur domaine (retail, luxe, hôtellerie…) dans la mise en place ou l’évolution de leur équipe DataOps et leur Data Platform.
Si vous disposez d'une équipe DataOps et que vous souhaitez vous améliorer sur l'un des axes suivants : sécurisé, technique, métier, légal, RSE ou que vous souhaitez créer votre équipe alors contactez-nous.
Accédez à notre Masterclass :
Explorez plus:
1. Tout ce que vous devez savoir sur la Modern Data Stack
2. Les semantic layers (couches sémantiques) : Le référentiel pour vos applications IA et Analytics
3. FinOPS : Les bonnes pratiques pour maîtriser vos coûts data/IA cloud