1. Snowflake et BigQuery prennent le dessus sur Redshift
En 2024, Snowflake et BigQuery se sont imposés comme les choix privilégiés des entreprises, avec un recul marqué de Redshift. Pourquoi ?
- Snowflake séduit pour son ergonomie, son système RBAC, son expérience développeur et ses performances.
- BigQuery est souvent choisi pour son faible coût, sa facilité de déploiement et son intégration naturelle dans l’écosystème GCP.
- Redshift, en revanche, peine à s’adapter aux besoins modernes : UX vieillissante et limitations sur les cas d’usage en temps réel.
Focus niche : ClickHouse reste utilisé pour des projets spécifiques comme l’embedded analytics ou les environnements on-prem, mais sa complexité limite son adoption.
2. DataOps : le moteur de la standardisation des données
Les entreprises ont compris que, sans DataOps, leurs plateformes data risquent d’accumuler de la dette technique et de ralentir les projets.
En standardisant les processus, elles :
- Améliorent la fiabilité des données ;
- Accélèrent les projets grâce à des workflows optimisés ;
- Mettent en place des pratiques structurées pour éviter le chaos dans les grandes organisations.
À ne pas manquer : Notre podcast sur le DataOps explique comment passer de la théorie à l’action.
3. Retour en force du on-premise pour des raisons stratégiques
2024 marque un tournant, avec un regain d’intérêt pour les solutions on-premise. Pourquoi ce changement ?
- Coûts réduits : Construire sur de l’open source permet d’éviter les frais récurrents des solutions managées.
- Protection des données : La souveraineté est devenue un argument commercial différenciant.
- Autonomie des équipes : Les équipes data préfèrent développer leurs propres solutions plutôt que dépendre d’outils externes.
Cette tendance reflète une volonté des entreprises de reprendre le contrôle sur leurs infrastructures.
4. DuckDB : un buzz limité par une adoption lente
Si DuckDB fait beaucoup parler, son adoption reste restreinte à des cas spécifiques.
- Cas d’usage : Tests de qualité, optimisation des coûts ou protection des données sensibles.
- Limites : Connectivité réduite et UX qui ne permet pas de remplacer un data warehouse comme Snowflake ou BigQuery.
Son potentiel reste à surveiller, mais il s’adresse encore à une niche de projets.
5. Orchestrateurs serverless : réduire les coûts au maximum
Les orchestrateurs serverless (Google Workflow, AWS Step Functions) gagnent du terrain face aux solutions traditionnelles comme Airflow ou Dagster. Pourquoi ?
- Les orchestrateurs traditionnels nécessitent une infrastructure toujours active, souvent coûteuse.
- Les orchestrateurs serverless offrent une alternative économique, avec des coûts de quelques centimes par mois.
Pour les entreprises qui cherchent à optimiser leur stack, c’est une solution évidente.
6. DBT omniprésent, mais encore perfectible
DBT est devenu un standard pour les transformations de données, mais son utilisation à grande échelle pose des défis :
- Standardiser l’usage de DBT dans les grandes organisations reste complexe.
- Les équipes DataOps mettent en place des "DBT Factory" pour structurer les déploiements et guider les équipes.
- L’adoption par des profils peu techniques reste un enjeu majeur pour 2025, avec un besoin accru de formation.
7. L'empreinte carbone des Data Platforms devient secondaire
Alors qu’en 2023 l’impact carbone des plateformes data était central, en 2024, le sujet est passé au second plan. Pourquoi ?
- L’essor de projets GenAI, très énergivores, a déplacé le débat environnemental vers l’intelligence artificielle.
- Les discussions sur la durabilité se concentrent désormais sur les modèles IA plutôt que sur les plateformes data elles-mêmes.
8. Observabilité des données : le pilier des projets GenAI
L’observabilité est devenue la priorité numéro un des décideurs Data. Les questions stratégiques incluent :
- Comment prévenir les équipes métiers en cas d’incident ?
- Quels outils mettre en place pour favoriser l’adoption (data catalogs, solutions de self-BI) ?
La qualité des données est essentielle pour instaurer la confiance des métiers et pour réussir les projets GenAI, qui nécessitent des bases solides.
9. ChatGPT booste la productivité des Data Engineers, mais reste limité
En 2024, ChatGPT a permis d’accélérer certaines tâches des Data Engineers. Cependant, son potentiel est limité par :
- L’absence d’accès direct à la Data Platform, ce qui réduit son efficacité.
- Les préoccupations liées à la protection des données, compliquant son adoption dans les environnements sensibles.
Et si Modeo lançait le premier agent Data Engineer en 2025 ? Stay Tuned ...
10. Data Platforms matures : IA et adoption métier comme leviers clés
Pour les Data Platforms arrivées à maturité, deux stratégies dominent en 2024 :
1️- Investir dans l’IA et la Data Science, avec des cas d’usage à forte valeur ajoutée.
2️- Rendre les données accessibles aux équipes métiers, grâce à des outils comme les Data Portals.
Ces approches maximisent le ROI tout en renforçant l’impact stratégique des plateformes.
Conclusion : les priorités pour 2025
Les tendances de 2024 vont se poursuivre en 2025, avec quelques évolutions majeures :
- DataOps pour accélérer les workflows et fiabiliser les données.
- Observabilité pour renforcer la confiance des métiers.
- Optimisation des coûts et démonstration du ROI des projets data.
- GenAI, qui connaîtra une accélération prudente en raison des défis écologiques et techniques.
Prêt à préparer 2025 avec nous ? Contactez Modeo pour discuter de vos projets Data !
--
Visionnez notre podcast sur Youtube pour 'Tout Comprendre sur le DataOps'