dlt (data load tool) extrait les données, en déduit le schéma, le fait évoluer automatiquement et les charge de façon incrémentale vers Snowflake, BigQuery, ClickHouse ou un lakehouse. Les pipelines sont du code Python, versionné et testé comme le reste du projet data.
Modeo écrit les pipelines dlt dans le dépôt de chaque client, avec un espace de travail dltHub par client, puis les orchestre avec Airflow ou Kestra et enchaîne les modèles dbt et les contrôles qualité Elementary.
Les exports sont récupérés à la main depuis plusieurs logiciels.
Des chargements quotidiens automatisés, sans export manuel.
Les connecteurs du marché sont coûteux et ne couvrent pas toutes les sources.
Des connecteurs sur mesure, facturés au temps de calcul et non au volume.
Des scripts d'extraction dispersés, sans tests ni gestion des changements de schéma.
Des pipelines testés, qui absorbent les évolutions de schéma automatiquement.
Inventaire des sources, choix entre connecteurs existants et pipelines sur mesure, mode d'exécution (dltHub, Airflow, Kestra ou conteneurs).
Écriture des pipelines dlt, chargement incrémental, gestion des schémas, tests, CI/CD et orchestration.
Supervision des chargements, ajout de nouvelles sources et montées de version de dlt.
| Critère | dltHub | Fivetran |
|---|---|---|
| Modèle | Bibliothèque Python open source | Service managé propriétaire |
| Connecteurs | Sources vérifiées et pipelines sur mesure pour toute API | Catalogue de connecteurs prêts à l'emploi |
| Coût | Temps de calcul uniquement, sans facturation au volume | Facturation au volume de lignes modifiées |
| Hébergement | Chez le client, dans son cloud ou sur dltHub | Infrastructure de l'éditeur |
| Prise en main | Demande des compétences Python | Configuration sans code |