{oA.Reverse}

Migrer la couche DataFlow ou DataViz

Les ETL/ELT et les outils de data visualisation legacy ont accumulé énormément de complexité à travers le temps. Certaines de ces technologies ont vécu et ne cadrent plus avec les exigences attendues des data stacks modernes : scalabilité, simplicité d'utilisation, interopérabilité.
Il faut migrer. Hélas, les volumétries et la complexité intrinsèque de l'essentiel de ces technologies rendent ces projets excessivement coûteux et hasardeux.

{openAudit}, en s'appuyant sur l'extrême granularité de son reverse engineering, permet d'opérer des migrations "as is" pour des ETL/ELT et certaines technologies de data visualisation, et de façon automatisée. Pour aller vite à la cible, baisser les coûts de migration et créer l'adhésion du métier.

Migration DataFlow et DataViz

Migrer les jobs d'ETL / ELT legacy vers du SQL adaptable ou vers des solutions modernes type dbt

Nous avons développé une méthodologie unique capable de déconstruire l’intelligence métier encapsulée dans les jobs ELT/ETL de nombreuses solutions legacy (BODS, DataStage, SSIS, ODI, Informatica, Genio, AB Initio, etc.) afin de la convertir en SQL pur ou enrichi. Cette intelligence peut ensuite être exécutée directement sur des bases de données modernes (GCP, Azure SQL, etc.). De plus, {openAudit} permet de reconstruire l’ensemble de ces instructions dans des technologies modernes de transformation de données (par exemple dbt).

Créer du SQL standard depuis la technologie en source

Les migrations des ETL / ELT vers du SQL, étape par étape permettra de décomposer les traitements complexes en blocs lisibles et maintenables, en remettant à plat le SQL imbriqué des systèmes legacy. Cela permet d'avoir des points de contrôle explicites et des tables intermédiaires pour suivre et comprendre plus facilement le parcours de la donnée.

Créer du SQL standard depuis la technologie en source
Reconstruire l’intelligence dans la technologie cible

Aller vers une technologie de transformation de données moderne

Les transformations issues de {openAudit} sont converties en SQL enrichi, soit pour s’adapter directement à la base de données cible (GCP, Redshift, etc.), soit pour être encapsulées dans la technologie cible (comme dbt). L’orchestration via Dagster par exemple, permettra de visualiser les dépendances, planifier et superviser les exécutions des pipelines.

Nouveau : "oa-lake", un middleware SQL pour unifier les sources et les outils

{oa-lake} agit comme une couche d’orchestration entre les systèmes de données et les outils de dataviz. Basé sur un moteur SQL distribué et du stockage Parquet, il permet de centraliser la logique métier, réduire la charge sur les sources et simplifier la gouvernance des flux de bout en bout.

Créer du SQL standard depuis la technologie en source

Cas d'usages

Sortir d'Oracle Data Integrator (ou autre ELT), Migrer et casser durablement la complexité des flux.

Analytics : un middleware ouvert pour faire du multi-sources et du multi-cibles

Migrer les technologies de data visualisation vers le Cloud de façon automatisée.

{openAudit}, en s’appuyant sur des capacités d’introspection exceptionnelles de certaines technologies de data visualisation, permet d’automatiser le processus de « reconstruction » de la plateforme dans la technologie cible, "as is" : l’intelligence et le layout. Nous avons en particulier une forte expérience dans les migrations entre SAP BO et Power BI de Microsoft, ou SAP BO vers Looker de Google.

Parsing granulaire de la technologie DataViz en source

{openAudit} va récupérer de façon automatisée l’ensemble des instructions qui sont passées dans la technologie de DataViz en source, au niveau de l’intelligence ou du layout.

Parsing granulaire de la technologie DataViz en source
Migration automatisée vers la technologie DataViz cible

Migration automatisée vers la technologie DataViz cible

{openAudit} reconstruit l’intelligence de façon totalement automatisée vers la technologie cible : variables, expressions, etc. La structure du dashboard initial est également reproduite dans la technologie cible.

Migrations des règles de gestion vers le DWH cible

Une partie de l’intelligence des dashboards en source est déplacée dans le DWH de la plateforme cible, pour factoriser la data prep’ et ainsi baisser massivement la complexité, mais aussi pour améliorer sensiblement les temps de réponse.

Migrations des règles de gestion vers le DWH cible
Tests de non régression en masse

Des tests de non régression en masse

{openAudit} exécute les dashboards en masse, avant migration et après migration, puis compare les résultats (fonds et forme) pour valider la qualité de la migration.

Cas d'usages

Migrer de SAP BO vers GCP Looker - Garder ses données en source ? Possible ?

Migrer de SAP BO vers Power BI, automatiquement, au forfait ?