Contexte
Notre client, un acteur majeur dans le secteur de l'immobilier, cherche à renforcer ses capacités en matière de traitement et d'analyse de données. À cette fin, nous recherchons un consultant freelance pour une mission de Data Engineer. L'objectif principal est de développer et d'optimiser l'architecture de gestion des données pour soutenir la prise de décision stratégique et opérationnelle. Le projet implique la mise en place de pipelines de données robustes, la gestion des flux de données à grande échelle et la collaboration avec l'équipe de science des données pour garantir la qualité et la pertinence des informations collectées.
Responsabilités
Concevoir, développer et maintenir les pipelines de données pour traiter des volumes importants de données provenant de différentes sources.
Mettre en œuvre des solutions d'intégration de données pour garantir une collecte et une transformation efficaces des données.
Assurer la qualité des données à travers la mise en place de contrôles, de validations et d'audits réguliers.
Collaborer avec les équipes de science des données pour identifier et comprendre les besoins en données et optimiser leur utilisation.
Optimiser l'architecture de gestion des données pour améliorer la performance et réduire la latence des traitements.
Créer et maintenir la documentation technique des processus et des flux de données.
Profil recherché
Expérience confirmée en tant que Data Engineer avec une solide connaissance des meilleures pratiques en matière de gestion des données.
Maitrise des technologies de traitement des données telles que Hadoop, Spark, ou Kafka.
Compétences avérées en gestion des bases de données SQL et NoSQL.
Connaissance des outils et langages de programmation usuels comme Python, Java, ou Scala.
Capacité à travailler en autonomie ainsi qu'en collaboration avec des équipes interfonctionnelles.
Excellentes compétences en résolution de problèmes et capacité d'adaptation dans un environnement dynamique.