Contexte
Le client, un acteur majeur du secteur du transport et de la logistique, est en pleine transformation numérique et cherche à optimiser la gestion de ses données pour améliorer l'efficacité opérationnelle. L'entreprise souhaite mettre en place de nouvelles solutions pour le traitement et l'analyse des données à grande échelle, afin d'améliorer la prise de décision stratégique et opérationnelle. Dans ce cadre, la mission du consultant Data Engineer contribuera à la mise en place d'une infrastructure de données robuste et évolutive, permettant une meilleure gestion des flux logistiques et une optimisation des ressources.
Responsabilités
Concevoir, développer et maintenir des pipelines de données robustes pour intégrer et transformer des données provenant de différentes sources.
Collaborer avec des équipes multidisciplinaires pour comprendre les besoins en données et concevoir des solutions sur mesure.
Assurer la qualité des données par le biais de tests et de validations rigoureuses.
Optimiser la performance des bases de données et assurer leur scalabilité.
Participer à la veille technologique pour proposer des solutions innovantes en matière de gestion et traitement des données.
Déployer des solutions de stockage adaptées aux volumes importants de données caractéristiques du secteur du transport et de la logistique.
Profil recherché
Expérience confirmée en tant que Data Engineer dans un environnement professionnel similaire.
Maîtrise des langages de programmation tels que Python et SQL.
Expérience avec des outils et technologies Big Data comme Hadoop, Spark ou Kafka.
Bonne connaissance des environnements Cloud (AWS, Azure, GCP) et des solutions de stockage et de traitement de données associées.
Capacité à travailler en autonomie tout en collaborant efficacement avec d'autres équipes.
Esprit d'analyse et aptitudes à résoudre des problèmes complexes liés aux données.