http://localhost:1313/tags/elt/ ELT HugoBlox Kit (https://hugoblox.com)fr-FRThu, 02 Jul 2026 00:00:00 +0000 http://localhost:1313/media/logo.svg http://localhost:1313/tags/elt/ http://localhost:1313/ressources/migration-etl/migration-etl-vers-dbt/ Thu, 02 Jul 2026 00:00:00 +0000 http://localhost:1313/ressources/migration-etl/migration-etl-vers-dbt/ <p>La migration vers dbt consiste à transformer des traitements ETL propriétaires en modèles SQL exécutés directement dans le moteur de données cible.</p> <p> <figure > <div class="flex justify-center "> <div class="w-full" > <img alt="img-big" srcset="http://localhost:1313/ressources/migration-etl/migration-etl-vers-dbt/etl_technologies_hu_570947d1352b81ab.webp 320w, http://localhost:1313/ressources/migration-etl/migration-etl-vers-dbt/etl_technologies_hu_cbc88a0f326e8926.webp 480w, http://localhost:1313/ressources/migration-etl/migration-etl-vers-dbt/etl_technologies_hu_194d6a576d2fd3eb.webp 760w" sizes="(max-width: 480px) 100vw, (max-width: 768px) 90vw, (max-width: 1024px) 80vw, 760px" src="http://localhost:1313/ressources/migration-etl/migration-etl-vers-dbt/etl_technologies_hu_570947d1352b81ab.webp" width="760" height="197" loading="lazy" data-zoomable /></div> </div></figure> </p> <p>Avant toute conversion, <strong style="color:#C00000;">{openAudit}</strong> analyse les flux, les dépendances et les usages afin d&rsquo;identifier le périmètre réellement utile.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>Point clé :</strong> la migration commence par une phase de rationalisation du patrimoine existant.</p> </blockquote> <h2 id="analyse-des-flux">Analyse des flux</h2> <p>Les traitements ETL sont analysés pour reconstruire les dépendances, les transformations et les usages.</p> <p>Le data lineage est utilisé pour identifier les flux actifs, les branches mortes et les composants non consommés.</p> <p>Cette phase permet de réduire le volume de traitements à migrer.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>Résultat :</strong> un périmètre de migration recentré sur les traitements réellement utilisés.</p> </blockquote> <h2 id="conversion-vers-sql">Conversion vers SQL</h2> <p>Les jobs ETL sont décomposés en opérations élémentaires : filtres, jointures, agrégations, lookups, calculs métier et transformations.</p> <p>Ces composants sont convertis en SQL documenté et indépendant de la technologie source.</p> <p>Le SQL devient la représentation pivot des traitements.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>Point clé :</strong> la logique métier est reconstruite en SQL avant génération du projet dbt.</p> </blockquote> <h2 id="génération-des-modèles-dbt">Génération des modèles dbt</h2> <p>Les traitements SQL sont organisés sous forme de modèles dbt.</p> <p>Les dépendances entre modèles sont générées automatiquement à partir des flux identifiés pendant l&rsquo;analyse.</p> <p>La structure du projet, les références entre modèles et la documentation peuvent être produites automatiquement.</p> <h2 id="validation-progressive">Validation progressive</h2> <p>La migration est réalisée par lots.</p> <p>Les modèles générés sont validés puis intégrés progressivement dans l&rsquo;environnement cible.</p> <p>Les écarts peuvent être contrôlés traitement par traitement pendant la phase de transition.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>Usage typique :</strong> migration progressive de plusieurs centaines de jobs ETL vers dbt.</p> </blockquote> <h2 id="architecture-cible">Architecture cible</h2> <p>Les traitements deviennent des modèles SQL versionnables et maintenables.</p> <p>Les dépendances sont explicites, les transformations sont visibles et les traitements peuvent être exécutés directement par Snowflake, BigQuery, Databricks SQL, Redshift, PostgreSQL ou tout autre moteur compatible.</p> <blockquote class="border-l-4 border-neutral-300 dark:border-neutral-600 pl-4 italic text-neutral-600 dark:text-neutral-400 my-6"> <p><strong>Point clé :</strong> les traitements ne dépendent plus de la plateforme ETL historique mais d&rsquo;un projet dbt basé sur du SQL ouvert.</p> </blockquote> <script> (function () { // Masque la date "Last updated on" et le bloc Auteur sur les pages // Ressources : ce ne sont pas des articles de blog (pas de date/signature). function hide() { document.querySelectorAll("time.mt-12.mb-8").forEach(function (el) { el.style.display = "none"; }); document.querySelectorAll("div.flex.pt-12.pb-4").forEach(function (el) { if (el.querySelector('img[src*="/media/authors/"]')) { el.style.display = "none"; } }); // Filet de sécurité supplémentaire : masque aussi la ligne de partage // social et tout conteneur lié à la fiche auteur, par correspondance // sémantique plutôt que par nom de classe (plus robuste aux mises à jour // du thème). var shareHrefPatterns = [ "twitter.com/intent", "x.com/intent", "facebook.com/sharer", "linkedin.com/sharing", "wa.me/", "api.whatsapp.com", "mailto:?" ]; document.querySelectorAll("a[href]").forEach(function (a) { var href = a.getAttribute("href") || ""; if (shareHrefPatterns.some(function (p) { return href.indexOf(p) !== -1; })) { a.style.display = "none"; } }); document.querySelectorAll('a[href="http://localhost:1313/authors/me/"]').forEach(function (a) { var el = a.closest("div.flex") || a.parentElement; if (el) el.style.display = "none"; }); } document.addEventListener("DOMContentLoaded", hide); })(); </script>