Data lineage - architecture SaaS
Dans un déploiement SaaS, les composants de collecte restent hébergés dans l’environnement du Client tandis que les composants de traitement, de consolidation et d’exposition sont hébergés sur une infrastructure dédiée, opérée par Ellipsys.
Les extracteurs sont déployés sous forme de conteneurs spécialisés par technologie. Ils collectent les métadonnées des bases de données, plateformes ETL/ELT, outils de datavisualisation et bases de données d’audit à l’aide de comptes de service dédiés.
Les métadonnées collectées sont produites sous forme de fichiers CSV standardisés. Ces fichiers peuvent être contrôlés par le Client avant leur transfert vers l’infra Ellipsys.
Les fichiers sont ensuite transmis au serveur oA.Job, chargé du parsing et de la reconstruction des dépendances. La consolidation des métadonnées se fait dans le référentiel technique oA.mdb basé sur DuckDB (columnar database).
Le data lineage est ensuite exposé via le portail Web propriétaire Mosaïc ou via des solutions tierces, typiquement des solutions de data catalogue de marché.
Lorsque des logs d’audit sont exploités, ceux-ci peuvent être anonymisés au moyen d’un conteneur dédié avant leur transfert.
Point clé : les métadonnées nécessaires à la reconstruction du lineage sont transférées vers la plateforme SaaS sous format CSV et peuvent être contrôlées en amont.
Principes techniques
- Extracteurs conteneurisés déployés dans l’environnement Client.
- Comptes de service dédiés à la collecte.
- Chiffrement des mots de passe après première utilisation.
- Production de fichiers CSV standardisés.
- Anonymisation optionnelle des logs d’audit.
- Parsing et consolidation via oA.Job.
- Base de données en source du data lineage oA.mdb (DuckDB).
- Exposition via le portail Web Mosaïc ou dans des solutions de data catalogue.
Bon à savoir : les données métier ne sont jamais exploitées. Seules les métadonnées techniques sont collectées.
Collecte des métadonnées
Les collecteurs peuvent analyser :
- Bases de données.
- Plateformes ETL / ELT.
- Outils de data visualisation.
- Bases d’audit.
Chaque technologie est prise en charge par un composant dédié.
Traitement
Le serveur oA.Job réalise :
- Le parsing des métadonnées.
- La reconstruction des dépendances.
- La consolidation des objets techniques.
- L’intégration des usages issus des logs d’audit.
Les résultats sont stockés dans le référentiel oA.mdb.
Exposition
Le data lineage peut être consulté :
- Via le portail Web Mosaïc.
- Via une exposition du data lineage d’{openAudit} dans des solutions tierces.
- Via les mécanismes d’intégration du Client.
Point clé : les mécanismes de collecte et de reconstruction du lineage sont indépendants des mécanismes d’exposition.
Cartographie globale des flux
Cartographie des dépendances entre bases de données, traitements ETL/ELT et usages de la donnée.
Usage typique : analyse d’impact avant modification d’un objet technique.
Analyse des usages
Croisement du data lineage avec les logs d’audit afin d’identifier les flux réellement utilisés.
Résultat : détection des flux inutilisés, ie les branches mortes.
Data Lineage de détail
Navigation dans le data lineage jusqu’au niveau champ avec visualisation des transformations intermédiaires.
Point clé : les dépendances sont consultables par itérations, des sources opérationnelles jusqu’aux usages.
Data Lineage dans les dashboards
Traçabilité entre données sources, transformations, règles de calcul et objets de restitution.
Usage typique : analyse de l’origine d’un indicateur métier ou validation d’une règle de gestion.
