Ingénieur en données - Expert Azure & Databricks

SYSTRA Canada fait partie du groupe SYSTRA, un groupe international de conseil et d'ingénierie, leader mondial dans la conception d'infrastructures de transport. SYSTRA Canada est une firme d'ingénierie et de conseil dont le principal objectif est de proposer des solutions de transport, que ce soit pour les passagers ou les marchandises : études de faisabilité de construction d'une nouvelle ligne de chemin de fer, augmentation de la capacité des infrastructures existantes, privatisation d'une ligne de chemin de fer.

Contexte :

Dans le cadre de notre stratégie axée sur les données, nous recherchons un ingénieur en données expérimenté pour concevoir, développer et optimiser des pipelines de données sur notre plateforme Azure. Vous jouerez un rôle clé dans l'ingestion, le traitement, la transformation et la livraison de grandes quantités de données via Azure Data Lake, Azure Data Factory, Azure Synapse, et surtout Databricks.

Missions/principales responsabilités

• Concevoir et développer des pipelines d'ingestion de données (batch et temps réel) à partir de diverses sources (API, SFTP, bases de données, etc.)
• Configurer et orchestrer des flux de données à l'aide d'Azure Data Factory ou d'Azure Synapse Pipelines
• Développer des workflows de traitement de données complexes avec Apache Spark via Databricks (PySpark ou Scala)
• Assurer la qualité des données, la traçabilité et la gouvernance, notamment via Delta Lake
• Optimiser les performances des pipelines et des travaux de traitement Spark
• Collaborer avec les équipes de Data Science, BI et Architecture pour assurer la cohérence et l'évolutivité de la plateforme
• Participer à l'industrialisation, à la documentation et à la sécurité des flux de données
• Contribuer à l'évolution de l'architecture des données et à la mise en œuvre des meilleures pratiques DevOps/DataOps (CI/CD, monitoring, testing, etc.)

Compétences techniques requises

• Expertise en Microsoft Azure : Data Lake Storage Gen2, Data Factory, Synapse, Key Vault, etc.
• Maîtrise de Databricks (PySpark / Spark SQL / Delta Lake)
• Expérience solide dans le développement de pipelines de données
• Compétences solides en modélisation de données (données structurées et semi-structurées)
• Maîtrise des formats Avro, Parquet et JSON
• Connaissance des principes de sécurité, qualité et gouvernance des données
• Expérience avec Git, CI/CD (Azure DevOps ou GitHub Actions), et tests de pipelines

Compétences préférées

• Scala, SQL avancé
• Connaissance des architectures pilotées par des événements (Event Hub, Kafka)
• Compréhension de MLOps ou expérience de collaboration avec des Data Scientists
• Certification Microsoft (DP-203) ou Databricks est un plus

Expérience requise

• Au moins 5 ans d'expérience en tant qu'ingénieur en données
• Expérience pratique avec des projets de grande envergure de données dans un environnement Azure & Databricks

Qualités personnelles

• Mentalité analytique, rigueur et autonomie
• Capacité à travailler dans un environnement agile et collaboratif
• Excellentes compétences en communication technique

SYSTRA Canada s'engage à avoir une main-d'œuvre diversifiée et inclusive. Nous sommes un employeur qui valorise les candidatures de tous et offre l'équité d'emploi basée sur les mérites et les aptitudes des candidats et du personnel.

Nous utilisons des outils activés par l'IA dans notre plateforme de recrutement (iCIMS) pour des tâches comme le parsing des CV et le matching des candidats. Ces outils ne prennent pas de décisions de recrutement ; toutes les candidatures sont examinées par un recruteur humain, et les décisions finales sont prises par notre équipe de recrutement.

Pour des questions sur notre processus de recrutement ou les outils d'IA, veuillez contacter infocanada@systra.com.

Note : Dans cette description, le genre masculin est utilisé pour des raisons de lisibilité et inclut le genre féminin.

Type de lieu de travail : Hybride