Ingénieur de la plateforme de données (DevOps)
TechnologyDescription
Ayant reconnu les avantages du travail à distance, y compris le moral des employés, la productivité, la réduction des déplacements et le bien-être environnemental, nous sommes fiers d'être une entreprise axée sur le numérique. Les technologies et les programmes dans lesquels nous avons investi ont fourni une base fantastique à cet égard. Notre environnement de travail axé sur le numérique, combiné à nos bureaux et espaces de travail collaboratifs, offre à notre équipe la liberté et la flexibilité de travailler de la manière qui rend nos employés les plus productifs.
À propos de nous
Tecsys est un innovateur en croissance rapide offrant des solutions de chaîne d'approvisionnement aux systèmes de santé de pointe, aux hôpitaux et aux entreprises pharmaceutiques, ainsi qu'aux distributeurs, aux détaillants et aux 3PL. Nous travaillons avec des leaders de l'industrie pour transformer leurs chaînes d'approvisionnement grâce à la technologie. Si vous aimez relever des défis intéressants avec des opportunités continues d'apprentissage, alors Tecsys pourrait être un bon choix pour vous !
Nous recherchons un Ingénieur de la plateforme de données (DevOps) pour rejoindre notre équipe TecsysIQ Data & AI. Il s'agit d'un poste hybride qui construit et exploite la plateforme de données cloud alimentant nos produits analytiques et d'IA sur Databricks et AWS.
Vous serez responsable du code infrastructure-as-code et des pipelines de livraison qui provisionnent et déployent la plateforme, *et* des travaux Databricks et des pipelines de streaming qui déplacent et façonnent les données à travers celle-ci. Vous collaborerez étroitement avec les développeurs de la plateforme de données, les équipes de développement d'applications et les propriétaires de produits — en mettant en place de nouveaux environnements clients, en évoluant le processus CI/CD et de publication, et en créant et en maintenant les pipelines de données qui gardent la plateforme en fonctionnement de manière fiable à grande échelle. Si vous êtes à l'aise pour écrire du Terraform et déboguer un travail Spark Structured Streaming, ce poste est pour vous.
Responsabilités
Plateforme & DevOps* Provisionner et faire évoluer les comptes et espaces de travail AWS et Databricks en utilisant Terraform dans plusieurs régions et environnements, en gérant l'état distant et la configuration par environnement.
- Être responsable des Helm charts et des travaux Kubernetes qui intègrent de nouveaux environnements clients et déployent la couche d'application sur les espaces de travail provisionnés.
- Construire et maintenir les images Docker et le pipeline de construction Java/Maven, en publiant les artefacts dans les registres internes d'artefacts et de conteneurs.
- Intégrer la construction, les tests et le déploiement dans les pipelines CI/CD, et améliorer la gestion des publications et la gestion des versions dans les dépôts de code interdependants.
- Gérer les secrets et les identifiants de manière sécurisée à travers la gestion des secrets cloud et Kubernetes — jamais dans le contrôle de source.
Plateforme de données & Pipelines* Concevoir, construire et maintenir les travaux et pipelines Databricks — y compris la curation, la transformation et les flux de travail de chargement initial en masse des données.
- Développer et exploiter les pipelines de streaming en temps réel et de capture des changements de données (CDC) à travers les couches d'ingestion et de transformation en utilisant Spark Structured Streaming.
- Construire et faire évoluer le déplacement de données de bout en bout à travers les couches de données Bronze, Silver et Gold, en étendant les pipelines pour gérer de nouvelles sources et les changements de schéma à mesure que la plateforme grandit.
- Développer et maintenir des composants et des cadres de pipelines réutilisables afin que de nouveaux flux de travail de données puissent être intégrés et livrés rapidement.
- Optimiser les clusters et les entrepôts SQL pour le coût et les performances, et gérer la gouvernance du catalogue, du schéma et de l'accès à travers les environnements.
- Collaborer avec les développeurs de la plateforme de données, les propriétaires de produits et les parties prenantes métier dans un environnement Agile pour livrer des produits de données de haute qualité.
Exigences
Qualifications* Expérience pratique avec Databricks et Apache Spark, y compris la construction de pipelines de données par lots ou de streaming (obligatoire).
- Solides compétences en Terraform et à l'aise avec la gestion de l'infrastructure cloud sur AWS.
- Connaissance de travail de Kubernetes et Helm, et conteneurisation avec Docker.
- Maîtrise de Python (PySpark) et/ou Java, ainsi que de SQL solide pour la validation et le dépannage des données.
- Expérience avec les flux de travail basés sur Git et les pipelines CI/CD dans un codebase multi-dépôts.
- Compréhension des concepts de qualité des données, ETL/ELT et observabilité des données.
- Expérience de travail dans des équipes Agile aux côtés des développeurs de la plateforme de données et des propriétaires de produits.
- Solides compétences analytiques, de résolution de problèmes et de communication.
Nous comprenons que l'expérience vient sous de nombreuses formes et que les carrières ne sont pas toujours linéaires. Si vous ne remplissez pas toutes les exigences de cette offre d'emploi, nous vous encourageons toujours à postuler.
À Tecsys, nous nous engageons à créer un environnement de travail diversifié et inclusif où tous les employés se sentent valorisés, respectés et autorisés. Nous croyons que la diversité stimule l'innovation et renforce notre capacité à livrer des solutions exceptionnelles. Nous accueillons et encourageons les candidats de tous horizons, expériences et perspectives à rejoindre notre équipe.
Tecsys est un employeur qui offre des opportunités égales. Des accommodements sont disponibles pour les candidats sélectionnés pour un entretien.
NB : si vous postulez à ce poste, vous devez être citoyen canadien ou résident permanent du Canada, OU avoir un permis de travail canadien valide.
This posting was aggregated from indeed. Groupe Sentinella is not the employer; applying takes you to the original site. The full text belongs to the original poster.
Want us in your corner?
Join the Sentinella talent bench. We'll reach out when a mandate matches your profile — including roles like this one.
Join the talent bench