Data lineage - alimentation des data catalogues tiers pour exposer son data lineage technique
{openAudit} expose le data lineage via son portail Web Mosaïc, mais les métadonnées consolidées peuvent aussi être publiées vers les data catalogues du marché, souvent limités en matière de data lineage. Les équipes de gouvernance travaillent ainsi dans un seul outil.
Point clé : collecte, connexion et reconstruction du data lineage restent dans le référentiel technique {openAudit}, indépendant du catalogue cible.
Architecture
Après traitement par le moteur oA.Job, les métadonnées sont consolidées dans la base de données columnar oA.mdb : data lineage au champ, usages et, le cas échéant, informations de gouvernance. Les catalogues sont alimentés à partir de ce référentiel unique, via des connecteurs d’exposition dédiés ; ils ne consomment que ces métadonnées consolidées, jamais les sources techniques d’origine.
Connecteurs d’exposition
Les connecteurs assurent la publication automatisée du data lineage, les synchronisations continues, la gestion des restrictions et le support de plusieurs Workspaces. L’exposition peut être complète ou partielle selon les capacités d’affichage du catalogue, le data lineage produit en amont restant disponible au champ.
Catalogues supportés à ce jour : DataGalaxy, Zeenea, Collibra.
Gestion des usages
Lorsque les logs d’audit sont disponibles, les usages observés sont intégrés au référentiel puis exposés dans le catalogue. Les utilisateurs distinguent ainsi les flux « vivants », consommés par des outils ou requêtés, des flux et objets non consommés (souvent plus de 80 % de l’ensemble).
Usage typique : identifier dans le data catalogue les objets candidats à la rationalisation ou au décommissionnement.
