Data Engineer

L'équipe de développement de la plateforme se renforce avec un data engineer doté d'un solide profil DevOps dans le domaine de la BI. Cette personne fait partie de l'équipe de développement et fait le lien entre les exigences (normes, directives et besoins d'information du business) et ce qui est livré sur le plan technique.  

Le data engineer traduit les normes et les demandes en exigences claires, veille à la qualité des données tout au long de la chaîne et s'assure que les données, de la source au rapport, sont fiables, vérifiables et reproductibles. Dans ce cadre, les principes DevOps sont appliqués à la BI : tout est en gestion de version, testé de manière automatisée et déployé de manière contrôlée.  

Ce profil n'est pas lié à une technologie en particulier : le data engineer travaille avec l'environnement existant (notamment SAS) et participe à la réflexion sur l'évolution de la plateforme de données.  

Cette priorité accordée à des données fiables, bien définies et de qualité fait également de ce profil un facilitateur important pour l'IA. Des applications telles que l'analyse prédictive, la classification automatique ou l'assistance par l'IA dans le traitement des dossiers dépendent entièrement de la qualité, de la traçabilité et de l'accessibilité des données sous-jacentes. C'est le data engineer qui en pose les bases.  

4. Principales responsabilités :  

Exigences et normes — rôle de passerelle  

1. Traduire les normes, standards et directives (architecture, sécurité de l'information, RGPD, politiques IT internes) en exigences fonctionnelles et techniques concrètes concernant les flux de données et le reporting  
   

1. En collaboration avec le Product Owner et les analystes fonctionnels, recenser les besoins en informations et les traduire en user stories assorties de critères d'acceptation clairs  
   

1. Définir de manière univoque les définitions des données et les KPI (dictionnaire de données, couche sémantique), afin que chaque KPI soit calculé de la même manière partout  
   

1. Être la personne de référence au sein de l'équipe pour les questions relatives aux données et à la BI, et assurer la coordination avec les développeurs, les architectes, les testeurs et les stakeholders  
   

Qualité des données  

1. Élaborer, automatiser et assurer le suivi de règles de qualité des données (exhaustivité, exactitude, actualité, cohérence) 
   

1. Intégrer des contrôles dans les processus de chargement ; détecter les anomalies, les signaler et en assurer le suivi jusqu'à leur résolution  
   

1. Consigner la traçabilité et documenter des modèles de données, des flux de données et des processus  
   

1. Rendre compte de la qualité des données à l'équipe, au Product Owner et à la direction  
   

BI DevOps  

1. Mettre en place et gérer la CI/CD pour les pipelines de données, les modèles de données et les rapports : gestion des versions (Git), revues de code, tests automatisés et releases contrôlées dans les environnements de développement, de test et de production  
   

1. Mettre en place un système de surveillance et d'alerte pour les processus batch et les chargements de données  
   

1. Participer au suivi des quality gates pour le code de données et les rapports  
   

1. Assurer la gestion des releases et des modifications, et participer à la résolution des incidents  
   

Data engineering  

1. Développer et assurer la maintenance de processus ETL/ELT  
   

1. Prévoir une couche de publication fiable pour les outils de BI (notamment SAS Visual Analytics, Power BI, Apache Superset ) 
   

1. Participer à la réflexion sur l'évolution de la plateforme de données et, lorsque cela s'avère pertinent, rendre la logique indépendante de l'outil
   

1. Préparer les données pour l'IA : veiller à ce que les ensembles de données soient bien documentés, de haute qualité et accessibles en toute sécurité, afin qu'ils puissent servir de base à de futures applications IA  
   

Gouvernance et conformité  

1. Contribuer à garantir la traçabilité des données, des décisions, du code et des tests, conformément aux exigences en matière de contrôle interne et d'audit  
   

1. Contribuer au respect des règles de sécurité de l'information, du RGPD et de la gestion des accès, de la source au rapport (droits minimaux, sécurité au niveau des lignes) 
   

5. Qualifications et aptitudes requises :  

Formation et expérience  

• Diplôme de master ou de bachelor dans une orientation ICT ou similaire par expérience  
  

• Au moins 5 ans d'expérience pertinente dans le domaine de la data engineering, du stockage de données ou de la BI, dont au moins 2 ans au sein d'une équipe de développement travaillant avec CI/CD