Emploi Canada
Poste : Azure Data Engineer chez Sansar Tec LLC
Présentation de l’entreprise : Sansar Tec LLC est une société innovante qui se spécialise dans les solutions cloud et les services de données. Avec un éventail de projets orientés vers la transformation numérique, l’entreprise offre un environnement de travail stimulant et collaboratif.
Description du poste : Le rôle d’Azure Data Engineer est essentiel au sein de l’équipe technique en raison de son implication directe dans la gestion des données à grande échelle. Ce poste est basé à Mississauga, ON, ou à Montréal, QC, avec un modèle de travail hybride dès le premier jour.
Exigences principales :
- Compétences techniques requises :
- Connaissance de Snowflake
- Maîtrise de SQL
- Compétences en Python
- Utilisation d’Azure Data Factory (ADF)
- Expérience avec Azure Databricks
- Gestion de PySpark
- Compréhension des concepts de Data Warehouse
Responsabilités majeures :
- Optimiser et construire des pipelines de données pour une ingestion et une transformation efficaces, en veillant à la qualité et à l’intégrité des données.
- Concevoir, développer et déployer des programmes Spark dans un environnement Databricks pour traiter de grands volumes de données.
- Expérience de Delta Lake, DWH, intégration de données, et modélisation des données.
- Développement de programmes en Python et SQL pour divers besoins analytiques.
- Utilisation de technologies de streaming pour l’ingestion et le traitement de données.
- Optimisation des tâches Databricks pour la performance et la scalabilité.
- Implémentation des meilleures pratiques en matière de gestion, de sécurité et de gouvernance des données dans Databricks.
Qualifications et compétences :
- Plus de 9 ans d’expérience en codage Python.
- 5 ans d’expérience dans le développement sur SQL Server avec de grands ensembles de données.
- Connaissances approfondies en développement et déploiement de pipelines ETL utilisant Databricks et PySpark.
- Expérience dans des entrepôts de données tels que Synapse, BigQuery, Redshift, et Snowflake.
- Compétences éprouvées dans la modélisation dimensionnelle en Data Warehouse.
- Expérience préalable dans des projets de migration de plateformes Cloud à l’échelle de l’entreprise.
- Certifications Cloud souhaitées, expérience avec Airflow est un atout.
Salaire attendu : À discuter, en fonction des qualifications et de l’expérience.
Date de publication : Thu, 22 May 2025 22:15:32 GMT
### Commentaires Éthiques et Réflexion Critique
Les offres d’emploi dans le secteur technologique peuvent souvent susciter des attentes élevées quant aux compétences requises. Il est essentiel que les candidats évaluent leur adéquation avec les exigences du poste avant de postuler. De plus, des éléments tels que la transparence des conditions de salaire et un environnement de travail inclusif doivent être pris en compte lors de l’examen d’une opportunité. La vigilance citoyenne s’étend donc à la responsabilité des entreprises de fournir des descriptions de poste claires et détaillées, et aux candidats de rechercher des informations complètes sur les employeurs et leurs pratiques.
📅 Date de publication de l’offre : Thu, 22 May 2025 22:15:32 GMT
🏢 Entreprise : Sansar Tec LLC
📍 Lieu : Mississauga, ON – Montreal, QC
💼 Intitulé du poste : Azure Data Engineer
💶 Rémunération proposée :
📝 Description du poste : Role: Azure Data EngineerLocation: Mississauga, ON / Montreal, QC3 Days Hybrid from Day 1Must Have:
- Snowflake
- SQL
- Python
- ADF
- Azure Data Bricks
- PySpark
- Data Warehouse Concepts
Job Description :This position is for a Cloud Data engineer with a background in Python, Pyspark, SQL and data warehousing for enterprise level systems. The position calls for someone that is comfortable working with business users along with business analyst expertise.Major Responsibilities:
- Build and optimize data pipelines for efficient data ingestion, transformation and loading from various sources while ensuring data quality and integrity.
- Design, develop, and deploy Spark program in databricks environment to process and analyze large volumes of data.
- Experience of Delta Lake, DWH, Data Integration, Cloud, Design and Data Modelling.
- Proficient in developing programs in Python and SQL
- Experience with Data warehouse Dimensional data modeling.
- Working with event based/streaming technologies to ingest and process data.
- Working with structured, semi structured and unstructured data.
- Optimize Databricks jobs for performance and scalability to handle big data workloads.
- Monitor and troubleshoot Databricks jobs, identify and resolve issues or bottlenecks.
- Implement best practices for data management, security, and governance within the Databricks environment. Experience designing and developing Enterprise Data Warehouse solutions.
- Proficient writing SQL queries and programming including stored procedures and reverse engineering existing process.
- Perform code reviews to ensure fit to requirements, optimal execution patterns and adherence to established standards.
Skills:
- 9+ years Python coding experience.
- 5+ years – SQL Server based development of large datasets
- 5+ years with Experience with developing and deploying ETL pipelines using Databricks Pyspark.
- Experience in any cloud data warehouse like Synapse, Big Query, Redshift, Snowflake.
- Experience in Data warehousing – OLTP, OLAP, Dimensions, Facts, and Data modeling.
- Previous experience leading an enterprise-wide Cloud Data Platform migration with strong architectural and design skills.
- Experience with Cloud based data architectures, messaging, and analytics.
- Cloud certification(s).
- Any experience with Airflow is a Plus.
Major Responsibilities:
- Build and optimize data pipelines for efficient data ingestion, transformation and loading from various sources while ensuring data quality and integrity.
- Design, develop, and deploy Spark program in databricks environment to process and analyze large volumes of data.
- Experience of Delta Lake, DWH, Data Integration, Cloud, Design and Data Modelling.
- Proficient in developing programs in Python and SQL
- Experience with Data warehouse Dimensional data modeling.
- Working with event based/streaming technologies to ingest and process data.
- Working with structured, semi structured and unstructured data.
- Optimize Databricks jobs for performance and scalability to handle big data workloads.
- Monitor and troubleshoot Databricks jobs, identify and resolve issues or bottlenecks.
- Implement best practices for data management, security, and governance within the Databricks environment. Experience designing and developing Enterprise Data Warehouse solutions.
- Proficient writing SQL queries and programming including stored procedures and reverse engineering existing process.
- Perform code reviews to ensure fit to requirements, optimal execution patterns and adherence to established standards.
🔎 Offre d’emploi vérifiée et enrichie selon la ligne éditoriale de l’Association Artia13 : éthique, inclusion, transparence et vigilance contre les annonces trompeuses.
🌍 Retrouvez d’autres offres sur artia13.world
