Data lineage - architecture SaaS
Dans un déploiement SaaS, la collecte reste dans l’environnement du Client ; le traitement, la consolidation et l’exposition sont hébergés sur une infrastructure dédiée, opérée par Ellipsys.
Point clé : seules les métadonnées techniques sont transférées, au format CSV contrôlable en amont ; les données métier ne sont jamais exploitées.
Collecte des métadonnées
Des extracteurs conteneurisés, un par technologie, collectent les métadonnées des bases de données, plateformes ETL/ELT, outils de datavisualisation et bases d’audit via des comptes de service dédiés ; les mots de passe sont chiffrés après leur première utilisation. Ils produisent des fichiers CSV standardisés, contrôlables par le Client avant transfert.
Les logs d’audit peuvent être anonymisés par un conteneur dédié avant leur transfert.
Traitement
Le serveur oA.Job réalise le parsing des métadonnées, la reconstruction des dépendances, la consolidation des objets techniques et l’intégration des usages issus des logs d’audit. Les résultats sont stockés dans le référentiel oA.mdb (MonetDB, base columnar).
Exposition
Le data lineage est consultable via le portail Web Mosaïc, dans des solutions tierces (typiquement des data catalogues du marché) ou via les mécanismes d’intégration du Client : collecte et reconstruction sont indépendantes de l’exposition.
Cartographie globale des flux
Cartographie des dépendances entre bases de données, traitements ETL/ELT et usages de la donnée.
Usage typique : analyse d’impact avant modification d’un objet technique.
Analyse des usages
Le croisement du data lineage avec les logs d’audit identifie les flux réellement utilisés, et donc les branches mortes.
Data Lineage de détail
Navigation jusqu’au niveau champ, transformation par transformation, des sources opérationnelles jusqu’aux usages.
Data Lineage dans les dashboards
Traçabilité entre données sources, transformations, règles de calcul et objets de restitution.
Usage typique : analyse de l’origine d’un indicateur métier ou validation d’une règle de gestion.
