Data engineer (H/F)

Description de l’entreprise

Et si Business & Décision et le groupe Orange conjuguaient leurs forces pour devenir l’un des leaders européens de la Data transformation ?

Nous l’avons fait ! Notre alchimie nous positionne comme un acteur unique intervenant sur toutes les étapes du voyage de la donnée.

 Business & Décision en croissance sur l’année 2021, continue sur sa lancée avec un nouvel objectif de plus de 500 recrutements de profils #DataSpecialist.

Nous intervenons sur l’ensemble du cycle de vie des projets de clients du CAC40 :

Dès la phase de réflexion d’un projet, en passant par le management consulting, le cadrage, les études métiers, le cadrage de l’architecture, jusqu’au run, et expertises.

Nous formons et certifions régulièrement nos consultants sur les technologies du marché ; la formation étant l’une de nos priorités afin de vous accompagner dans le développement de vos compétences et vos perspectives d’évolutions.

Description du poste

En tant que Data Engineer, vous jouerez un rôle déterminant dans la conception, la construction et l’optimisation des pipelines de traitement des données au sein d’une plateforme de données centralisée « DATAHUB ». Cette plateforme consolide, fédère et améliore les ressources de données massives pour divers cas d’utilisation, notamment le reporting, l’analytique et l’apprentissage automatique. Vous travaillerez avec plusieurs sources de données, garantissant l’intégration, la transformation et la qualité transparentes des données, tout en migrant l’infrastructure Hadoop vers les environnements cloud.

Responsabilités :

– Intégration des données : intégrez des données provenant de plusieurs sources et formats dans la couche brute du DATAHUB.

– Modélisation des données et développement de pipelines : Concevez et développez des pipelines de données efficaces pour enrichir et transformer de grands volumes de données avec des règles commerciales complexes et la modélisation des données du lakehouse

– Transformation et qualité des données : Mettez en œuvre des processus de transformation des données et de contrôle de la qualité pour garantir la cohérence et l’exactitude des données. Utilisez des langages de programmation tels que Scala et SQL et des outils tels que Spark pour les opérations de transformation et d’enrichissement des données.

– Planification avec Airflow : Planifiez des tâches de traitement des données à l’aide d’Airflow.

– Tests de validation : Effectuez des tests unitaires et de validation pour garantir l’exactitude et l’intégrité.

– Mise en œuvre du pipeline CI/CD : configurez des pipelines CI/CD pour automatiser le déploiement, les tests unitaires et la gestion du développement.

– Documentation : Rédiger la documentation technique (spécifications, documents opérationnels) pour assurer la capitalisation des connaissances.

– Amélioration du code : modifiez le code existant selon les exigences de l’entreprise et améliorez-le continuellement pour de meilleures performances et une meilleure maintenabilité.

– Migration de l’infrastructure : migrez l’infrastructure Hadoop existante vers une infrastructure cloud sur Kubernetes Engine, Object Storage, Spark as a service et Airflow as a service

– Optimisation des performances et sécurité : Assurer la performance et la sécurité de l’infrastructure de données et suivre les meilleures pratiques de l’ingénierie des données.

– Support de production et maintenance : Contribuer au support de production, à la correction d’incidents et d’anomalies, et mettre en œuvre des évolutions fonctionnelles et techniques pour assurer la stabilité des processus de production.

– Collaboration d’équipe : travaillez en étroite collaboration avec les équipes de données et les équipes commerciales pour comprendre les besoins en matière de données et fournir des solutions sur mesure.7

– Animer l’équipe : Guider, collaborer et déléguer des tâches de développement à des développeurs juniors

Qualifications

Compétences techniques :

Spark, Airflow, Hadoop, Oozie, Kubernetes, COS, Scala, SQL, Dremio, Git, GitLab, Jenkins

 

Informations supplémentaires

Travailler chez Orange Consulting, c’est rejoindre un cabinet à taille humaine qui offre à ses collaborateurs des perspectives d’évolution claires et accessibles à travers des parcours de formations spécialement conçus par et pour nos consultants.  

Quelques repères : 

• 200 collaborateurs 

• Plus de 250 clients et 1000 missions par an 

• Une entreprise certifiée Top Employeur 2019 

• Un espace de travail de 2000 m² fraîchement rénové, au cœur de Montmartre 

Nous  accompagnons les entreprises et les institutions en France et à l’international sur leurs problématiques de transformation digitale et data et leurs enjeux métiers. 

Nous rejoindre, c’est aussi faire partie d’Orange Business Services SA, une entreprise de services numériques regroupant 7 600 talents en France spécialisés dans de nombreux domaines d’expertises tels que la Cybersécurité, l’IA, le Cloud les Infrastructures IT, l’Internet des Objets, la Data, la Virtualisation, le Fleet Management, les Communications unifiées,  l’Audit et le Conseil.