Contexte
Dans le cadre d'un projet innovant pour un client majeur du secteur de l'énergie, nous recherchons un Data Engineer freelance. Le secteur de l'énergie étant en pleine transformation numérique, cette mission offre une opportunité unique de participer à l'optimisation des processus de gestion des données. Vous contribuerez à la création et à l'intégration de pipelines de données robustes et performants qui soutiendront de nouvelles initiatives d'analyse de données et d'intelligence artificielle.
Responsabilités
Concevoir et implémenter des pipelines de données pour gérer et transformer de grands ensembles de données provenant de diverses sources.
Collaborer avec les data scientists pour comprendre leurs besoins en données et optimiser les flux de données en conséquence.
Maintenir et optimiser les bases de données NoSQL et SQL pour assurer une performance maximale des requêtes.
Veiller à la qualité des données en mettant en place des procédures de nettoyage et de validation des données.
Assurer la mise en place de solutions de monitoring et de reporting pour les processus de traitement de données.
Travailler en étroite collaboration avec les équipes IT pour garantir l'intégration des solutions de données dans l'écosystème technique existant.
Profil recherché
Expérience avérée en tant que Data Engineer dans le secteur de l'énergie ou similaire.
Maîtrise des technologies Big Data telles que Hadoop, Spark ou Kafka.
Excellentes compétences en programmation, notamment en Python, Java ou Scala.
Solide expérience avec les systèmes de gestion de bases de données, y compris SQL et NoSQL.
Connaissance des architectures de cloud computing (AWS, Azure, ou GCP).
Capacité à travailler en autonomie et à s'adapter aux changements technologiques rapides.
Bac+5 en informatique, data science ou dans un domaine connexe.