Contexte
Notre client, acteur majeur dans le secteur du bâtiment et de la construction, cherche à renforcer son équipe de développement de données. Dans un contexte de transformation numérique, notre client souhaite intégrer un Data Engineer capable de concevoir et de mettre en œuvre des solutions innovantes pour gérer correctement les flux de données. Le projet concerne la consolidation et l'optimisation de leur infrastructure de données en vue d’améliorer leurs processus opérationnels et de décision.
Responsabilités
Analyser et comprendre les besoins métiers pour traduire ces exigences en solutions techniques de gestion et d’analyse de données.
Concevoir, développer et maintenir des architectures de données robustes et évolutives, incluant les pipelines ETL/ELT.
Assurer l'intégration de différentes sources de données, tant structurées que non structurées, pour garantir la disponibilité et la fiabilité des données.
Collaborer avec les équipes de développement et les parties prenantes pour optimiser les performances et l'efficacité des flux de données.
Mettre en place des solutions de stockage et de traitement des données adaptées aux besoins actuels et futurs de l’entreprise.
Garantir la qualité des données par la mise en œuvre de processus de contrôle et de validation efficaces.
Participer à la veille technologique pour proposer des améliorations et adopter les meilleures pratiques dans le domaine de l’ingénierie des données.
Profil recherché
Expérience significative en tant que Data Engineer dans un environnement similaire.
Maîtrise des outils et technologies de gestion des données tels que Hadoop, Spark, Kafka, et des solutions cloud (AWS, Azure, GCP).
Compétences avancées en programmation, notamment en Python, Java ou Scala.
Bonne connaissance des bases de données relationnelles (SQL) et des systèmes NoSQL.
Expérience dans la mise en place et l'optimisation des pipelines ETL/ELT.
Capacité à travailler en équipe tout en ayant une forte autonomie.
Bonnes compétences en communication pour interagir avec les équipes métier et IT.
Esprit analytique et capacité à résoudre des problèmes complexes de manière proactive.