Stagiaire universitaire en informatique – Data Engineering, H/F, 100%

Votre mission L'objectif du stage est de contribuer à la construction et à l'industrialisation de la Plateforme Data de l'Hospice général, une infrastructure Lakehouse entièrement open source déployée sur Kubernetes, en veillant à ce que chaque produit data apporte une valeur ajoutée concrète à nos bénéficiaires et à nos collaboratrices et collaborateurs. Vous aurez pour mission de concevoir et fiabiliser des pipelines de données de bout en bout, de challenger les choix technologiques de la plateforme et de les éprouver sur des cas d'usage métier précis et mesurables. Au sein de la direction des systèmes d'information et du numérique, vous travaillerez au sein de l'équipe Produit Data Intelligence pour concevoir, construire et fiabiliser ces produits data dans leur contexte d'usage social. Vos activités principales - Vous participerez activement à la construction de la plateforme et à la livraison de premiers produits data à forte valeur ajoutée. - Vous contribuerez à la mise en place et à l'évolution des composants de la Plateforme Data (ingestion avec Apache NiFi et RedPanda, stockage Apache Iceberg sur S3, catalogue Nessie / Polaris, requêtage Trino, …). - Vous concevrez et testerez des pipelines de données de bout en bout, des couches Bronze et Silver jusqu'à la couche Gold, sur des cas d'usage métier concrets. - Vous développerez des transformations dbt et les tests de qualité associés (fraîcheur, conformité aux Data Contracts, intégrité référentielle, règles métier, non-régression). - Vous rédigerez et ferez évoluer les Data Contracts en lien avec les producteurs et les consommateurs de données. - Vous contribuerez à l'observabilité de la plateforme (métriques Prometheus, logs Loki, tableaux de bord et alertes Grafana) et au suivi des SLA des pipelines. - Vous comparerez et challengerez les solutions technologiques disponibles et formulerez des recommandations argumentées. - Vous serez force de proposition afin de faire de la donnée un levier de valeur pour nos bénéficiaires et nos collaboratrices et collaborateurs, et en favoriser l'adoption (tableaux de bord, documentation et accompagnement des utilisateurs). Méthodologies utilisées : - Utilisation de l’IA agentique (agents de développement, orchestration d'outils, protocole MCP, …) pour accélérer et fiabiliser les travaux data : génération et revue de code dbt / SQL, rédaction de Data Contracts et de tests, documentation, analyse des incidents, dans le respect de la confidentialité des données. - Architecture Lakehouse en trois couches (Bronze, Silver, Gold), fondée exclusivement sur des technologies open source. - Ingestion des données batch et streaming avec Apache NiFi et RedPanda depuis les systèmes sources on premise (ERP, SI métier, fichiers). - Stockage objet S3-compatible et format de table ouvert Apache Iceberg, catalogue Nessie / Polaris permettant un branchement Git-like des données. - Transformation avec dbt et SQL, approche Data Contracts (YAML) et pyramide de tests de qualité à cinq niveaux. - Requêtage et restitution avec Trino et Metabase. - Développement avec Python et SQL pour l'intégration, l'automatisation et les tests. - Déploiement sur Kubernetes via des charts Helm et une approche GitOps (Flux CD), CI/CD avec Azure DevOps et JFrog Artifactory, environnements DEV, QUAL et PROD isolés. - Observabilité de bout en bout avec Prometheus, Loki et Grafana. - Sécurité dès la conception : authentification, RBAC, chiffrement, gestion des secrets et intégration au SIEM/SOC. - Gouvernance et protection des données personnelles dans un contexte d'action sociale. A l’Hospice général, nous œuvrons pour le mieux vivre ensemble à Genève Fondée en 1535 à Genève, notre institution accompagne les personnes qui, à un moment de leur vie, ont besoin d’un soutien le temps nécessaire pour (re)trouver une autonomie durable.  Nous favorisons la réinsertion sociale et professionnelle des personnes à l’aide sociale, nous accueillons et hébergeons les personnes issues de l’asile que nous suivons dans leur parcours d’intégration. Enfin, nous participons à la lutte contre l’isolement des seniors. Nous sommes plus de 1’ 500 collaboratrices et collaborateurs répartis sur 60 sites sur tout le territoire du canton. Nous accompagnons plus de 35’ 000 personnes. En rejoignant notre institution, vous participerez à la réalisation de notre mission sociale, ancrée dans nos valeurs de collaboration, de respect, d'engagement et de bienveillance. Dans un contexte où nos équipes évoluent dans des domaines exigeants et en mutation constante, nous mettons un point d'honneur à leur proposer des conditions de travail stimulantes : nous visons la diversité et l’inclusion, nous valorisons l’intelligence collective, incitons aux échanges et à l’innovation et favorisons la prise d’initiative et l’expérimentation.