Description des flux DBT¶

DBT est utilisé pour construire les « vues » (ce sont des tables en base de données SQL qui permets de définir des contraintes et des index) sur les acteurs.

Finalités¶

On a 3 Finalités à calculer:

  • Exhaustive : Vue exhaustive sur tous les acteurs en base de donnĂ©es

  • Carte : Vue sur les acteurs Ă  afficher sur la carte

  • OpenData : Vue sur les acteurs Ă  partager en open-data

Pipeline DBT¶

Actuellement, les flux sont les suivants :

        graph LR
    A[Source] --> B[Base] --> C[Intermediate]
    C[Intermediate] --> E[Exhaustive] --> F[Exhaustive]
    C[Intermediate] --> G[Carte] --> H[Carte]
    C[Intermediate] --> I[OpenData] --> J[OpenData]
    subgraph Marts
        E[Exhaustive]
        G[Carte]
        I[OpenData]
    end
    subgraph Exposures
        F[Exhaustive]
        H[Carte]
        J[OpenData]
    end

Source¶

DĂ©claration des sources dans sources.yml

Décrit les tables sources qui seront utilisées par DBT.

Base (Vues)¶

Vue sur les tables sources. Permet de valider le format des données des sources en entrée du pipeline DBT.

Intermediate (Vues)¶

Pré-calculs sur les vues de base. On applique les corrections

Marts (Tables)¶

Filtre les acteurs pour les différentes finalités :

  • Carte

  • OpenData

  • Exhaustive

Exposures (Tables)¶

Expose les données pour les différentes finalités (cf. ci-dessus)