Les ETL/ELT et les outils de data visualisation legacy ont accumulé énormément de complexité à travers le temps.
Certaines de ces technologies ont vécu et ne cadrent plus avec les exigences attendues des data stacks modernes : scalabilité,
simplicité d'utilisation, interopérabilité.
Il faut migrer. Hélas, les volumétries et la complexité intrinsèque de l'essentiel de ces technologies rendent
ces projets excessivement coûteux et hasardeux.
{openAudit}, en s'appuyant sur l'extrême granularité de son reverse engineering, permet d'opérer des migrations
"as is" pour des ETL/ELT et certaines technologies de data visualisation, et de façon automatisée.
Pour aller vite à la cible, baisser les coûts de migration et créer l'adhésion du métier.
Nous avons développé une méthodologie unique capable de déconstruire l’intelligence métier encapsulée dans les jobs ELT/ETL de nombreuses solutions legacy (BODS, DataStage, SSIS, ODI, Informatica, Genio, AB Initio, etc.) afin de la convertir en SQL pur ou enrichi. Cette intelligence peut ensuite être exécutée directement sur des bases de données modernes (GCP, Azure SQL, etc.). De plus, {openAudit} permet de reconstruire l’ensemble de ces instructions dans des technologies modernes de transformation de données (par exemple dbt).
Les migrations des ETL / ELT vers du SQL, étape par étape permettra de décomposer les traitements complexes en blocs lisibles et maintenables, en remettant à plat le SQL imbriqué des systèmes legacy. Cela permet d'avoir des points de contrôle explicites et des tables intermédiaires pour suivre et comprendre plus facilement le parcours de la donnée.
Les transformations issues de {openAudit} sont converties en SQL enrichi, soit pour s’adapter directement à la base de données cible (GCP, Redshift, etc.), soit pour être encapsulées dans la technologie cible (comme dbt). L’orchestration via Dagster par exemple, permettra de visualiser les dépendances, planifier et superviser les exécutions des pipelines.
{oa-lake} agit comme une couche d’orchestration entre les systèmes de données et les outils de dataviz. Basé sur un moteur SQL distribué et du stockage Parquet, il permet de centraliser la logique métier, réduire la charge sur les sources et simplifier la gouvernance des flux de bout en bout.
{openAudit}, en s’appuyant sur des capacités d’introspection exceptionnelles de certaines technologies de data visualisation, permet d’automatiser le processus de « reconstruction » de la plateforme dans la technologie cible, "as is" : l’intelligence et le layout. Nous avons en particulier une forte expérience dans les migrations entre SAP BO et Power BI de Microsoft, ou SAP BO vers Looker de Google.
{openAudit} va récupérer de façon automatisée l’ensemble des instructions qui sont passées dans la technologie de DataViz en source, au niveau de l’intelligence ou du layout.
{openAudit} reconstruit l’intelligence de façon totalement automatisée vers la technologie cible : variables, expressions, etc. La structure du dashboard initial est également reproduite dans la technologie cible.
Une partie de l’intelligence des dashboards en source est déplacée dans le DWH de la plateforme cible, pour factoriser la data prep’ et ainsi baisser massivement la complexité, mais aussi pour améliorer sensiblement les temps de réponse.
{openAudit} exécute les dashboards en masse, avant migration et après migration, puis compare les résultats (fonds et forme) pour valider la qualité de la migration.