Le data lineage et les usages de l'information
Un véritable data lineage de bout en bout, exhaustif et totalement automatisé, qui présente de multiples vues en fonction des besoins.
Résoudre les ruptures dans le data lineage
> Vues : si elles sont stockées, {openAudit} les lira, même si elles sont empilées (vues de vues de vues...).
> Dynamic SQL : si {openAudit} ne parvient pas à le résoudre directement, le dynamic SQL est résolu avec des paramètres d'exécution ou des journaux d'exécution.
> Autres : en cas de transfert d'informations par FTP, ou lorsque le schéma de base de donnée n'est pas précisé (c'est le cas dans de nombreux ETL), {openAudit} résout ces ruptures par reconnaissance structurelle, ou {openAudit} lit le Batch / le Shell.
Associer dynamiquement différentes technologies de transformation de données :
> Data lineage dans la couche de dataviz : {openAudit} va présenter toutes les transformations du dashboard, depuis les couches d'alimentation jusqu'à la cellule, et va permettre de passer en revue l'ensemble des règles de gestion mises en oeuvre.
> Data lineage dans les couches d'alimentation : {openAudit} analyse toutes les technologies de processing (langage objet/procédural, ELT/ETL), on premise ou Cloud, et les associe dans un seul data flow, au niveau le plus fin. Le drill through permet d'accéder au code.
> Le process est dynamique, opéré en mode delta, quotidiennement, et donc synchronisé au système d'information.
Différents niveaux d'analyse pour les alimentations :
> Nuage de points : cette vue permet de connaître instantanément les usages d’un datapoint en faisant abstraction des transformations. Il est également possible à partir d’un usage (un dashboard, une donnée d’un dashboard, une requête), d’identifier instantanément ses sources opérationnelles.
> Cartographie : cette vue permet à partir de n'importe quel datapoint (champ, table) d’afficher une cartographie complète du flux amont ou aval, c'est à dire depuis les sources opérationnelles jusqu'à l'exposition des données (dataviz, requête). Les informations utilisées sont mises en lumière, et les usages de l’information sont précisés au survol (qui consulte la donnée, quand, comment).
> Data lineage granulaire : cette vue permet de suivre de façon progressive le déploiement d’une donnée dans le système d’information à partir d’un datapoint, par des clics itératifs, ou a contrario de remonter jusqu'aux sources opérationnelles. Chaque transformation (job ELT/ETL, le code procédural/objet) peut être analysée avec le «drill through». Le détail précis des usages des données (qui la consulte, quand, comment…) est défini d'un simple clic.
