- Maîtriser l'ensemble des techniques et technologies composant la chaine de collecte à la mise à disposition des Logs
- Accompagner les besoins et projets sur la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation avec la Stratégie Data
- Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d’automatiser les pipelines d’ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, …)
- Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données
Contexte technique
- Kafka
- Scripting Python/SQL/Java
- Suite Elastic (ElasticSearch/Kibana)
- Apache Flink / LogStash
- Agent de collecte (Elastic ou autre Open-Source)
Attendus
Pour réaliser la mission, vous serez à même de :
- Participer à la conception des solutions techniques et fonctionnelles
- Gérer les données de l’entreprise (flux : collecte, traitement, stockage et leur cycle de vie)
- Rédiger les documents fonctionnels et techniques, d’exploitation, en veillant au respect des normes existantes
- Mettre en œuvre en mode DevOps (CI/CD)
- Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes
- Être en relation avec les équipes opérationnelles de l’entreprise pour prise en compte des flux de données
- Développer les cas d’usage de Dashboard / ML / IA dans la solution, remontés par les utilisateurs
Compétences requises
- Connaissances en infrastructure : réseau / système
- Connaissance indispensable en SGBD et langage de requêtage
- Connaissance forte en streaming
- Architecture d’Entreprise, plus particulièrement en base de données, flux de données
- Conception et mise en place de solution de stockage et ingestion de données
- Méthodologie Agile / DevOps, maitrise des outils associés
- Gouvernance de la donnée
- Maitrise de divers langages de programmation (Java/Python)
- Anglais
Qualités humaines
- Curieux et force de propositions
- Esprit d’analyse, rigueur, sens de la méthode
- Capacités relationnelles et travail en équipe
- Disponibilité et réactivité
- Sens du service et respect des engagements
- Communication (écrite et orale) claire et concise