Contexte
La mission se déroule dans une entreprise du secteur de l'énergie, où l'optimisation des données est essentielle pour améliorer l'efficacité des opérations et la prise de décision stratégique. Dans ce cadre, notre client est à la recherche d'un Data Engineer freelance pour concevoir, développer et maintenir des systèmes de traitement de données robustes. Le défi est d'optimiser la chaîne de traitement des données de bout en bout, en intégrant différentes sources de données et en assurant la qualité et la disponibilité des données. Le Data Engineer jouera un rôle critique dans l'amélioration des processus analytiques pour rendre l'exploitation des données plus efficiente.
Responsabilités
Concevoir et implémenter des pipelines de données pour collecter, transformer et stocker des données provenant de diverses sources internes et externes
Assurer la qualité des données en implémentant des contrôles et des audits de données réguliers
Construire et maintenir des bases de données de grande échelle, en choisissant les technologies les plus appropriées pour chaque projet
Collaborer avec les équipes analytiques pour comprendre leurs besoins en données et optimiser les flux de données existants
Sécuriser les données en implémentant des mesures de protection et de conformité aux normes de l'industrie
Participer à l'élaboration de stratégies de gestion des données et proposer des améliorations continues des infrastructures de données
Profil recherché
Expérience professionnelle avérée en tant que Data Engineer et maîtrise des concepts d'ingénierie de données
Solides compétences en programmation, notamment dans des langages tels que Python, Java, ou Scala
Expérience avec les technologies de bases de données SQL et NoSQL
Connaissance des outils et plateformes de traitement de données tels que Apache Hadoop, Spark, ou Kafka
Capacité à travailler de manière autonome tout en étant collaboratif avec différentes équipes techniques et non techniques
Bonne compréhension des pratiques de sécurité des données et des réglementations de conformité associées