Expert Data Architect – Databricks

Description du poste

Au sein de la Direction des Technologies, le pôle BI/Data pilote et réalise les projets de Business Intelligence et de Data Engineering, en garantissant la qualité, la performance et la scalabilité des solutions.

Vous serez un acteur clé dans la conception, l’optimisation et la supervision de nos pipelines de données. Vous apporterez votre expertise Databricks pour améliorer l’architecture, la performance et la fiabilité de nos flux de données destinés aux clients internes.

Missions principales :

En tant que référent Databricks, vous serez amené(e) à intervenir sur les principaux sujets de conception, d’optimisation et d’évolution de la plateforme data :

• Concevoir, développer et optimiser des pipelines de traitement et de transformation de données sur Azure Databricks et Azure Data Lake.

• Définir et implémenter des architectures data robustes et scalables pour supporter la croissance des volumes de données.

• Mettre en place des tests automatisés et garantir la qualité et la fiabilité des pipelines de données.

• Participer à la définition et à l’optimisation des pipelines CI/CD via Azure DevOps.

• Appliquer les meilleures pratiques de Data Engineering et de software engineering à toutes les étapes du développement.

• Collaborer avec les Product Owners Data et les équipes métiers pour proposer des solutions innovantes adaptées aux besoins.

• Superviser les traitements de données et assurer le monitoring via Datadog ou outils équivalents.

• Identifier et implémenter des optimisations pour améliorer les performances et réduire les coûts sur Databricks.

Environnement technique principal :

• Langages : SQL, PySpark, Python, Scala.
• Outils & BI : Power BI, SSIS, SSAS, Business Objects, Datadog, Snyk.
• Cloud & Data : Azure Databricks, Azure Data Factory, ADLS Gen2.
• CI/CD & DevOps : Git, Azure DevOps.

Qualifications

Vos atouts pour faire la différence :

• Diplôme Bac+5 en informatique, ingénierie ou domaine équivalent.
• Minimum 5 ans d’expérience en Data Engineering, Data Architecture ou Databricks, avec expérience dans le pilotage d’équipe ou de projets.
• Maîtrise avancée de plusieurs langages : Python, PySpark, Scala, SQL.
• Expertise confirmée dans le développement et l’optimisation de pipelines Databricks, avec capacité à définir les standards techniques et bonnes pratiques.
• Maîtrise de Spark UI pour diagnostiquer et améliorer la performance des traitements complexes.
• Très bonne connaissance de l’écosystème Azure Cloud et de ses services orientés Data (ADF, ADLS, Databricks…).
• Expérience dans la mise en place des bonnes pratiques de développement : clean code, versioning, tests unitaires, CI/CD, et principes de modélisation BI.
• Pratique avancée de dbt ou frameworks similaires pour la transformation SQL et l’orchestration de données.
• Expérience du travail en méthodologie Agile, en collaboration avec Product Owners Data et équipes projet.
• Leadership et esprit d’équipe : capable de guider et coacher les membres de l’équipe, de prendre des décisions stratégiques et de proposer des solutions innovantes.
• Capacité d’adaptation rapide dans un environnement technique en constante évolution et force de proposition pour améliorer l’architecture et les processus.

Informations supplémentaires

Pourquoi rejoindre notre équipe ?

• Un environnement dynamique et innovant, au sein d’une équipe passionnée par les technologies de données.
• La possibilité de travailler sur des projets d’envergure, à la pointe des technologies cloud et Big Data.
• Des opportunités d’évolution et de formation continue pour développer vos compétences.
• Un cadre de travail flexible et des avantages attractifs.