David T.
Data Engineer @SNCF Connect & Tech
Signup · Get unlimited contacts
WORK HISTORY
Data Engineer @SNCF Connect & Tech
Puteaux, FR
Migration d’une architecture data legacy vers une architecture lakehouse, tout en sécurisant les usages actuels et en préparant les besoins futurs des équipes métiers :• Migration des tables PostgreSQL legacy vers des tables Iceberg via dbt, en garantissant la continuité des usages• Conception d\'un processus de migration standardisé et reproductible avec Airflow• Mise en place d\'un Airflow local afin de faciliter le développement et de réduire le time-to-delivery• Gestion de la phase de double run afin de sécuriser la transition métier• Administration et optimisation des tables Iceberg (compaction, snapshots, gestion des fichiers orphelins)• Mise en place de la CI/CD du projet et de l’infrastructure via GitLab et TerraformBuild et run de pipelines de données au sein de l’équipe BICRM pour les usages métiers :• Pilotage et réalisation d\'un projet de migration de source de données, en coordination avec les parties prenantes métier• Développement de jobs d’enrichissement de données (Glue, Airflow, KubernetesExecutor, APIs)• Mise en place de tests unitaires et de bonnes pratiques pour fiabiliser les pipelines dans la duréeDéploiement d’APIs de pricing visant à fournir le meilleur prix sur un trajet donné, avec des enjeux forts de performance et de disponibilité :• Développement d\'APIs serverless (Lambda, API Gateway)• Mise en place d\'une base DynamoDB afin de répondre aux contraintes de latence• Réalisation de tests de charge afin de valider la résilience et la scalabilitéTech stack : AWS, Spark, Airflow, dbt, Iceberg, PostgreSQL, Terraform, GitLab, GatlingLangages : Python, Scala, JavaScript, SQL
EDUCATION
DTU - Technical University of Denmark
Semestre d'études à l'étranger
Paris-Sud University (Paris XI)
DUT Génie Mécanique et Productique, Mécanique,Productique,Management Industrielle,Bureau d'Etude
CentraleSupélec
Mastère Spécialisé, Ingénierie des Systèmes Informatiques Ouverts
Arts et Métiers - École Nationale Supérieure d'Arts et Métiers
Diplôme d'ingénieur, Mécanique et Productique
SKILLS
ABOUT DAVID T.
Data Engineer avec 5 ans d’expérience dans la conception, l’industrialisation et l’exploitation de pipelines de données.J’interviens sur des environnements data complexes, avec une attention particulière portée à la fiabilité, au run et à la qualité des données, afin de répondre à des besoins métiers concrets.Habitué aux contextes de migration et d’industrialisation, je cherche à construire des solutions data durables, maintenables et alignées avec les usages.
This profile is compiled from publicly available professional sources. Unifers is not affiliated with or endorsed by LinkedIn. Request removal of this profile.