Data lineage — architectures |

Data lineage - architecture on prem'

Thu, 02 Jul 2026 00:00:00 +0000

Dans les environnements les plus exigeants en matière de sécurité (banque, assurance, etc.), {openAudit} peut être déployé directement dans l’environnement du Client, qu’il soit On-Premise ou dans un tenant Cloud du choix du Client.

L’architecture repose sur une VM dédiée hébergeant les différents composants de collecte, de traitement et d’exposition du data lineage.

Point clé : l’ensemble des traitements, métadonnées et référentiels restent hébergés dans l’environnement du Client. Aucun composant SaaS externe n’est requis.

Principes techniques

VM dédiée hébergée chez le Client.
Collecteurs conteneurisés par technologie.
Comptes de service dédiés.
Chiffrement des mots de passe après première utilisation.
Production de fichiers CSV standardisés.
Parsing et consolidation par oA.Job.
Référentiel technique oA.mdb (DuckDB).
Exposition via le portail Web Mosaïc.
Les logs d’audit pouvant contenir des informations sensibles peuvent être anonymisés avant traitement.

Bon à savoir : ce data lineage peut alimenter une solution tierce, typiquement un data catalogue nécessitant d’adresser plus précisément les sujets de data lineage.

Collecte des métadonnées

Les métadonnées sont collectées au moyen de conteneurs spécialisés par technologie. Ces composants se connectent aux bases de données, plateformes ETL/ELT, outils de data visualisation et bases d’audit via des comptes de service dédiés. Les mots de passe sont chiffrés après leur première utilisation.

Les collecteurs produisent des fichiers CSV standardisés contenant les métadonnées nécessaires à la reconstruction du lineage. Ces fichiers peuvent être contrôlés et validés par le Client avant traitement.

Lorsque des logs d’audit sont exploités, ceux-ci peuvent être anonymisés au moyen d’un conteneur dédié avant leur intégration dans le référentiel.

Traitement

Les fichiers sont ensuite transmis au serveur oA.Job, chargé du parsing et de la consolidation des métadonnées. Les résultats sont stockés dans la base columnar oA.mdb (DuckDB), qui constitue le référentiel technique utilisé par le portail Web Mosaïc.

Ce référentiel peut faire l’objet d’un dump au format souhaité par le client pour opérer des analyses spécifiques : le référentiel est extrêmement riche et différentes requêtes sont mises à disposition pour en faciliter l’exploration.

Exposition

Le data lineage est consultable via le portail Web propriétaire Mosaïc, hébergé sur la VM dédiée.

Cartographie globale des flux

Reconstruction automatique des dépendances entre bases de données, traitements ETL/ELT et usages dans les outils de data visualisation.

Usage typique : analyse d’impact avant modification d’une table ou d’un indicateur métier.

Analyse des usages

Croisement du data lineage avec les logs d’audit afin d’identifier les objets réellement utilisés et les branches non consommées.

Résultat : identification rapide des flux inutilisés et opportunités de simplification.

Data Lineage de détail

Navigation dans le data lineage jusqu’au niveau champ avec visualisation des transformations (drill through).

Point clé : descendre instantanément dans le code qui préside aux transformations pour identifier et fixer un problème dans un flux.

Data Lineage dans les dashboards

Traçabilité complète entre les données sources, les règles de gestion et la cellule du dashboard. Les données sources des dashboards sont rattachées au data lineage dès leurs alimentations, pour une analyse d’impact de bout en bout.

Usage typique : validation d’un indicateur métier ou analyse de l’origine d’une valeur affichée dans un dashboard.

Data lineage - architecture SaaS

Thu, 02 Jul 2026 00:00:00 +0000

Dans un déploiement SaaS, les composants de collecte restent hébergés dans l’environnement du Client tandis que les composants de traitement, de consolidation et d’exposition sont hébergés sur une infrastructure dédiée, opérée par Ellipsys.

Les extracteurs sont déployés sous forme de conteneurs spécialisés par technologie. Ils collectent les métadonnées des bases de données, plateformes ETL/ELT, outils de datavisualisation et bases de données d’audit à l’aide de comptes de service dédiés.

Les métadonnées collectées sont produites sous forme de fichiers CSV standardisés. Ces fichiers peuvent être contrôlés par le Client avant leur transfert vers l’infra Ellipsys.

Les fichiers sont ensuite transmis au serveur oA.Job, chargé du parsing et de la reconstruction des dépendances. La consolidation des métadonnées se fait dans le référentiel technique oA.mdb basé sur DuckDB (columnar database).

Le data lineage est ensuite exposé via le portail Web propriétaire Mosaïc ou via des solutions tierces, typiquement des solutions de data catalogue de marché.

Lorsque des logs d’audit sont exploités, ceux-ci peuvent être anonymisés au moyen d’un conteneur dédié avant leur transfert.

Point clé : les métadonnées nécessaires à la reconstruction du lineage sont transférées vers la plateforme SaaS sous format CSV et peuvent être contrôlées en amont.

Principes techniques

Extracteurs conteneurisés déployés dans l’environnement Client.
Comptes de service dédiés à la collecte.
Chiffrement des mots de passe après première utilisation.
Production de fichiers CSV standardisés.
Anonymisation optionnelle des logs d’audit.
Parsing et consolidation via oA.Job.
Base de données en source du data lineage oA.mdb (DuckDB).
Exposition via le portail Web Mosaïc ou dans des solutions de data catalogue.

Bon à savoir : les données métier ne sont jamais exploitées. Seules les métadonnées techniques sont collectées.

Collecte des métadonnées

Les collecteurs peuvent analyser :

Bases de données.
Plateformes ETL / ELT.
Outils de data visualisation.
Bases d’audit.

Chaque technologie est prise en charge par un composant dédié.

Traitement

Le serveur oA.Job réalise :

Le parsing des métadonnées.
La reconstruction des dépendances.
La consolidation des objets techniques.
L’intégration des usages issus des logs d’audit.

Les résultats sont stockés dans le référentiel oA.mdb.

Exposition

Le data lineage peut être consulté :

Via le portail Web Mosaïc.
Via une exposition du data lineage d’{openAudit} dans des solutions tierces.
Via les mécanismes d’intégration du Client.

Point clé : les mécanismes de collecte et de reconstruction du lineage sont indépendants des mécanismes d’exposition.

Cartographie globale des flux

Cartographie des dépendances entre bases de données, traitements ETL/ELT et usages de la donnée.

Usage typique : analyse d’impact avant modification d’un objet technique.

Analyse des usages

Croisement du data lineage avec les logs d’audit afin d’identifier les flux réellement utilisés.

Résultat : détection des flux inutilisés, ie les branches mortes.

Data Lineage de détail

Navigation dans le data lineage jusqu’au niveau champ avec visualisation des transformations intermédiaires.

Point clé : les dépendances sont consultables par itérations, des sources opérationnelles jusqu’aux usages.

Data Lineage dans les dashboards

Traçabilité entre données sources, transformations, règles de calcul et objets de restitution.

Usage typique : analyse de l’origine d’un indicateur métier ou validation d’une règle de gestion.