Senior Data Engineer (H/F)

Job Description

Dans le cadre du renforcement des équipes Data, nous recherchons des profils capables de concevoir, industrialiser et optimiser des plateformes de données (batch & temps réel) au sein d’environnements distribués basés sur Cloudera.

Vos missions :

Développement & Industrialisation

• Développer des pipelines de traitement de données massives en PySpark (modes Batch et Real-Time / Streaming).

• Mettre en place des flux temps réel via Kafka (topics, partitions, schémas, offsets) et assurer l'ingestion avec NiFi.

• Modéliser et optimiser les schémas NoSQL, notamment sur Cassandra (tables, clés, clustering, réplication) et Hive.

• Intégrer et transformer des données provenant de multiples sources (APIs, BDD, streams, fichiers).

Qualité, Performance & Fiabilité

• Déployer des mécanismes de Data Quality (contrôles, monitoring, alerting).

• Optimiser les traitements Spark (partitioning, tuning, formats de données) spécifiquement pour des architectures distribuées.

• Assurer la supervision et la résolution des incidents dans un environnement de production.

CI/CD & Gouvernance

• Industrialiser les développements via des chaînes CI/CD (tests automatisés, déploiements).

• Documenter les flux, modèles et bonnes pratiques.

• Collaborer ponctuellement avec les équipes métiers sur des sujets Dataviz et collaborer avec les Data Scientists (notamment sur des algorithmes de segmentation client).

• Contribuer à la gouvernance des données (catalogue, traçabilité, sécurité).

Qualifications

• Expérience : ~4 ans d’expérience dans des environnements distribués et des architectures Big Data.

• Architecture : Forte appétence et expérience significative sur des infrastructures On-Premise.

• Spark / PySpark : Maîtrise impérative en traitement Batch et Streaming.

• NoSQL : Expérience confirmée sur Cassandra et/ou Hive

• Streaming & Ingestion : Très bonne maîtrise de Kafka et NiFi

• Nice-to-have / Bonus : Bonne compréhension de l'écosystème Hadoop/HDFS.

• La maîtrise de Cloudera est un plus mais reste facultative.

• Notions en Data Science (modèles de clustering/segmentation client) et outils de Dataviz.

• Outils & DevOps : Compétences en Git, CI/CD (GitLab CI…) et un outil d’orchestration (Airflow, Luigi, Prefect…).

Additional Information

Pourquoi nous rejoindre ?

Rejoindre Devoteam, c’est :

• Évoluer sur des projets stratégiques autour de la donnée

• Bénéficier d’un accompagnement personnalisé pour le développement de vos compétences et certifications

• Travailler dans un environnement stimulant, collaboratif et bienveillant