Contexte
Un de nos clients, un courtier grossiste en assurance, recherche un Consultant Apache AirFlow. Le client s'occupe de nombreux échanges de données vers les assureurs, les courtiers, et en interne via des EDI (Échanges de Données Informatisés). Il existe également des traitements qui sont lancés sur le Back-Office par le service d’exploitation, les principales sources étant des bases de données Oracle, PostgreSQL, SQL Server, et des données dans un DataLake Azure. Les serveurs sont hébergés chez un infogérant, SIGMA, à Nantes. Actuellement, l’ordonnanceur utilisé est une version de TradeExpress (non maintenue) et un outil PFI développé en interne avec Python pour séquencer les activités de traitement. En raison de nombreuses ruptures dans les traitements causées par d'importantes charges et des blocages, un POC a été réalisé avec Apache AirFlow, qui s’est avéré positif, bien qu'il subsiste un problème d'utilisation de Winrm avec Kerberos pour le lancement de traitements sous Windows sur différents serveurs.
Responsabilités
Initialiser et valider les besoins et scénarios d'infrastructures, notamment comparer l’utilisation d’Azure AKS, d’Azure Container Instances/Apps, et des machines virtuelles chez Sigma.
Valider l'architecture distribuée des composants nécessaires pour AirFlow.
Valider le set-up de la base de données associée à AirFlow.
Partager les bonnes pratiques liées à la conception, la réalisation, et le déploiement CI/CD au sein des équipes.
Accompagner et former les équipes internes lors des premières intégrations avec Apache AirFlow.
Profil recherché
Expérience confirmée en tant que consultant sur Apache AirFlow, avec un historique de mise en œuvre réussie.
Solide compréhension des architectures distribuées et des environnements Cloud, notamment Azure.
Compétences approfondies en configuration et utilisation de bases de données telles qu'Oracle, PostgreSQL, et SQL Server.
Capacité à partager et transmettre les bonnes pratiques de conception et de développement (CI/CD) aux équipes techniques.
Expérience dans l’accompagnement et la montée en compétences d’équipes internes sur de nouveaux outils.