L'Analytics Engineer, acteur clé de votre Data Platform
Comment est apparu le métier d’Analytics Engineer ?
Les équipes data traditionnelles se composaient de Data Engineers, en charge de la construction et de la maintenance de la Data Platform et des pipelines d'ingestion, et de Data Analysts dont la mission consistait à exploiter les données collectées pour en tirer de la valeur et les partager aux parties prenantes sous forme de rapports.
Avec la démocratisation du cloud et l’apparition de la Modern Data Stack, extraire et stocker de la donnée est devenu beaucoup plus accessible et rapide. L’approche data a alors radicalement changé et les équipes métier ont commencé à devenir de plus en plus autonomes dans l’exploitation de leurs données. Cela a cependant soulevé de nombreux défis et il est encore courant de voir deux équipes ayant deux valeurs différentes pour un même KPI et une même source de données, chacun effectuant ses calculs à sa manière avec des scripts SQL non maintenus.
C’est dans un souhait d’uniformisation des processus de transformation de la donnée qu’apparaît le métier d’Analytics Engineer. Afin d’éviter que chaque équipe utilise des méthodes de calcul différentes tout en laissant une autonomie aux équipes dans leurs analyses, la donnée leur est transmise une fois transformée et nettoyée
Il a été décidé de mettre à disposition des métiers des données transformées et pré-agrégées plutôt que des données brutes. Ce travail de modélisation et de transformation en amont des visualisations est alors fait par un Analytics Engineer, responsable de l’ensemble des opérations et chargé d’y appliquer des bonnes pratiques de développement.
Comment est apparu le métier d’Analytics Engineer ?
Les équipes data traditionnelles se composaient de Data Engineers, en charge de la construction et de la maintenance de la Data Platform et des pipelines d'ingestion, et de Data Analysts dont la mission consistait à exploiter les données collectées pour en tirer de la valeur et les partager aux parties prenantes sous forme de rapports.
Avec la démocratisation du cloud et l’apparition de la Modern Data Stack, extraire et stocker de la donnée est devenu beaucoup plus accessible et rapide. L’approche data a alors radicalement changé et les équipes métier ont commencé à devenir de plus en plus autonomes dans l’exploitation de leurs données. Cela a cependant soulevé de nombreux défis et il est encore courant de voir deux équipes ayant deux valeurs différentes pour un même KPI et une même source de données, chacun effectuant ses calculs à sa manière avec des scripts SQL non maintenus.
C’est dans un souhait d’uniformisation des processus de transformation de la donnée qu’apparaît le métier d’Analytics Engineer. Afin d’éviter que chaque équipe utilise des méthodes de calcul différentes tout en laissant une autonomie aux équipes dans leurs analyses, la donnée leur est transmise une fois transformée et nettoyée
Il a été décidé de mettre à disposition des métiers des données transformées et pré-agrégées plutôt que des données brutes. Ce travail de modélisation et de transformation en amont des visualisations est alors fait par un Analytics Engineer, responsable de l’ensemble des opérations et chargé d’y appliquer des bonnes pratiques de développement.
Les missions de l’Analytics Engineer
Les Analytics Engineers jouent un rôle essentiel dans l’exploitation de la valeur des données. Leurs missions sont les suivantes :
Collaborer avec les équipes métier pour identifier leurs besoins
S’il n’y a pas de Product Manager Data, il se peut que l’Analytics Engineer soit un point de contact direct pour les équipes métier ayant de nouveaux besoins. Il devra alors travailler avec elles pour comprendre leurs attentes, les cadrer puis les réaliser techniquement.
Imaginons que l’équipe abonnement d’un média souhaite avoir des chiffres sur les retombées d’une nouvelle offre spéciale lancée l’été dernier.
L’Analytics Engineer en charge devra dans un premier temps définir le périmètre de l’analyse, c’est-à-dire préciser quelle offre est concernée, quels canaux d’abonnement sont analysés, sur quelle période l’analyse doit être faite… Il devra également s’assurer que cette analyse n’a pas déjà été faite auparavant. Finalement, il développera un pipeline de transformation créant une table qui sera transmise à l’équipe abonnement pour qu’ils puissent y faire leurs analyses.
Modéliser, transformer et tester la donnée pour la fournir prête à l’emploi
L'une des principales responsabilités des Analytics Engineers est de mettre à disposition des équipes de la données pré-agrégée propres et cohérentes. Étant responsables de la modélisation et de la transformation, leur mission est de structurer les données, de les nettoyer et de les préparer en vue d’analyses ultérieures.
Concrètement, les Analytics Engineers développent des pipelines de transformation de données, c’est-à-dire une série d'étapes permettant, à partir de données brutes, de fournir aux métiers une ou plusieurs tables de données propres et agrégées.
L’exemple ci-dessous est très simplifié mais illustre le travail de transformation des Analytics Engineers. En partant d’une donnée brute dans la table raw_commandes, ils fourniraient aux équipes sales des tables présentant un récapitulatif des ventes par ville, par produit et par utilisateur.
Mettre en place des bonnes pratiques de développement
Il est attendu des Analytics Engineers qu’ils mettent en place des bonnes pratiques de software development telles que le versionning du code, des workflows de développement ou de la documentation. De cette façon, en s'inspirant des principes du génie logiciel, les Analytics Engineers veillent à ce que les pipelines soient durables et facilement maintenables. Cela permet également d’avoir une seule source de vérité au sein de l'entreprise, en évitant d’avoir plusieurs versions d’un même code ou plusieurs méthodes de calculs pour un même KPI.
Accompagner les équipes métier dans l’utilisation d’outils de self-visualization
Les Analytics Engineers ne se contentent pas de traiter les données ; ils donnent aux utilisateurs finaux les moyens de les explorer et visualiser en toute autonomie. Il s'agit alors d'organiser des sessions de formation pour les équipes, en leur apprenant à utiliser les outils d'analyse et à créer des visualisations pertinentes et impactantes.
Documentation
La rédaction de documents explicites et approfondis est indispensable pour maintenir la transparence et la traçabilité des opérations de données. Les Analytics Engineers jouent un rôle vital dans la création de cette documentation, enregistrant les processus et les transformations appliqués aux données, ainsi que les workflows établis. L'objectif de cette documentation est de promouvoir la clarté, la reproductibilité et le partage des connaissances au sein de l'équipe de données.
Les compétences requises pour être Analytics Engineer
Le rôle d'un Analytics Engineer est varié et requiert un mélange de compétences techniques et fonctionnelles dont les principales sont les suivantes :
- Maîtrise de SQL : La maîtrise de SQL est essentielle pour un Analytics Engineer puisqu’une grande partie de son travail consiste à explorer, nettoyer et transformer de la donnée. Un bon Analytics Engineer doit pouvoir réaliser des requêtes SQL complexes et parfaitement optimisées.
- Maîtrise de l’outil dbt : dbt (Data Build Tool) est outil de transformation de données utilisé pour transformer de la donnée stockée en base. C’est un outil largement utilisé qui permet de créer et automatiser des pipelines de transformation et de validation de données. C’est également un outil collaboratif permettant aux développeurs de travailler en parallèle grâce à Git et un système de branche. Maîtriser dbt est primordial pour un Analytics Engineer.
- Connaissances des bonnes pratiques de software development : l’Analytics Engineer doit être en mesure d’instaurer des règles de bonnes pratiques et de s’assurer de leur adoption. Il doit également pouvoir identifier des améliorations dans les processus de développement relatifs aux pipelines de données. Cela passe par une bonne compréhension des règles de versionning, une connaissance des workflows de développement data (série d’étapes à suivre pour développer un pipeline de données par exemple) ainsi qu’une maîtrise de Git.
- Compétences en visualisation de données : l’Analytics Engineer est amené à travailler avec les équipes métier pour les rendre autonomes dans l'exploration et l’exploitation de leurs données. Pour cette raison, il doit avoir des compétences en data visualization et maîtriser au moins un outil de Business Intelligence tel que Tableau, Power BI ou Metabase.
- Qualités relationnelles : Étant en contact direct avec des équipes métier pour comprendre leurs besoins et les accompagner dans la prise en main des outils data, l’Analytics Engineer doit être bon communicant et posséder de bonnes compétences relationnelles. Il doit savoir définir, questionner et reformuler des besoins puis les retranscrire techniquement.
Les formations possibles pour devenir Analytics Engineer
Il existe peu de formations pour devenir Analytics Engineer. En général, les Analytics Engineer suivent une formation similaire à celle des Data Analysts, c’est-à-dire en visualisation de données, statistiques et mathématiques. Cette formation peut être complétée par un diplôme plus commercial ou de management.
Concernant les formations aux outils et logiciels, des sites comme Udemy ou OpenClassroom possèdent un grand nombre de cours de SQL, de Python ou de développement en général. dbt propose plusieurs offres de formation sur son site Internet pour les entreprises ou les développeurs individuels, chacune ayant différentes options de suivi et de personnalisation.
Le salaire de l’Analytics Engineer
D’après les sites Glassdoor et Talent.com, le salaire d’un Analytics Engineer varie entre 40 k€ et 70 k€ avec une médiane à 52 k€.
Bien sûr, comme pour tout métier, la rémunération varie selon plusieurs critères dont l’expérience du candidat. De manière générale, un Analytics Engineer junior peut prétendre à un salaire entre 40 et 50 K €.
Un Analytics Engineer plus expérimenté avec trois ans d’expérience peut espérer un salaire entre 45 et 60 K€. Le salaire peut monter jusqu’à 80 K € après 5 ans.
Les Analytics Engineers de Modeo sont formés pour posséder un ensemble de compétences fonctionnelles et techniques indispensables à la bonne pratique de leurs fonctions. Avec un background technique de Data Engineer, ils sont capables de répondre à des demandes complexes et de mettre en place des systèmes robustes et optimisés tout en identifiant des opportunités métier.
Si vous voulez en savoir plus sur notre approche et nos profils, contactez-nous !