Tarik Ould-Braham

Consultant Ingénieur De Données @Groupe ADP

Orly, FR

Au sein de la Data Factory d’ADP, je suis intervenu dans une mission de migration vers Azure d\'un projet de Synthèse des Performances Aéroportuaires (SPA). Le stockage était réalisé dans AzureDatalake, l’ingestion des données et l’orchestration dans ADF, les transformations dans Synapse.Réalisations- Reprise de l’historique et réception des données quotidiennes sur le Cloud avec DatalakeGen2- Partitionnement et versioning (avec des fichiers delta) mise en place grâce à des notebooksSpark- Amélioration de la qualité des données ingérées (création d’ID numériques pour optimiser les flux,détection et suppression de doublons …)- Traduction en T-SQL et optimisation des règles de gestion des flux de transformation surSynapse Analytics- Migration de tout l’historique en prenant en charge la volumétrie des données (certaines tablesà 500 M de lignes)- Synchronisation des données entrantes quotidiennement avec l’historique (mode upsert & overwrite)- Déploiement automatisé en environnement val/test et prod grâce à des pipelines de build et derelease sur Azure DevOps