Principal Data Engineer-PySpark
Opportunité d’Emploi : Principal Data Engineer-PySpark chez Confiz
Présentation de l’Entreprise
Confiz est un acteur majeur dans le domaine des technologies de l’information, reconnu pour sa capacité à innover au service de clients prestigieux, notamment des entreprises de la liste Fortune 100, des chaînes de magasins leaders et des startups de la Silicon Valley. Avec une équipe dynamique de plus de 700 individus, Confiz se distingue par son approche systématique axée sur la qualité, comme le reflètent ses certifications ISO 9001:2015, ISO 27001:2022, ISO 20000-1:2018 et ISO 14001:2015. L’entreprise prône également une culture de collaboration et d’apprentissage, contribuant ainsi à un environnement de travail vivant.
Description du Poste
Titre du poste : Principal Data Engineer-PySpark
Ce poste requiert un professionnel avec une solide expertise en ingénierie des données et une maîtrise dans la conception et la mise en œuvre de solutions de data warehousing basées sur le cloud, spécifiquement via Azure Synapse. Le candidat idéal doit posséder une pensée stratégique et un historique de réalisations probantes dans la livraison de solutions de données à la fois évolutives et efficaces, adaptées à des exigences commerciales complexes.
Responsabilités
- Concevoir et mettre en œuvre des solutions de data warehousing évolutives et performantes sur **Azure Synapse**.
- Analyser et migrer des systèmes de données existants vers le **cloud Azure**, en optimisant le flux et la collecte de données pour améliorer la précision et l’utilité des données.
- Participer à la conception de l’architecture des données et aux initiatives de modélisation, en veillant à ce qu’elles soient alignées avec les besoins commerciaux et conformes aux normes de gouvernance des données.
- Consulter les parties prenantes pour définir les exigences en matière de données, les livrables et les délais, tout en fournissant un leadership technique tout au long des cycles de vie des projets.
- Mettre en œuvre des politiques de sécurité des données et de confidentialité conformes aux meilleures pratiques de l’industrie.
- Optimiser les pipelines d’intégration de données pour la performance et l’évolutivité.
- Développer et maintenir la documentation concernant les architectures de données, les procédures et les solutions.
Qualifications
- Diplôme de licence ou de master en informatique, en ingénierie, en technologie de l’information ou dans un domaine connexe.
- Plus de 7 ans d’expérience en ingénierie des données avec un accent particulier sur les solutions basées sur le cloud.
- Expertise en **Azure Synapse Analytics**, notamment en intégration, gestion et sécurité des données.
- Maîtrise de **SQL**, **Python**, **PySpark** et d’autres langages de script généralement utilisés en ingénierie des données.
- Connaissances en IaC (*Infrastructure as Code*) sur Azure et en automatisation CI/CD utilisant **ARM**, **Bicep** ou **Terraform**.
- Connaissance approfondie des processus ELT et ETL, avec expérience d’**Azure Data Factory**.
- Compréhension solide de la modélisation des données et de la gestion des entrepôts de données.
- Expérience avérée dans des rôles de conseil pour la conception et le déploiement de solutions de données à grande échelle dans des environnements Azure.
- Certifications Microsoft souhaitées : Azure Data Engineer Associate, Azure Solutions Architect Expert, Certified Data Vault 2.0 Practitioner (CDVP2).
Informations Complémentaires
Localisation : Lahore, Punjab – Multan, Punjab
Date du poste : 21 mai 2025
Salaire attendu : À discuter lors de l’entretien
Cette offre d’emploi s’inscrit dans un contexte où l’engagement envers l’inclusion et l’éthique est fondamental. Les candidats sont encouragés à postuler sans distinction de genre, d’origine ou de statut socio-économique.
Pour plus d’informations sur Confiz Limited, vous pouvez visiter leur profil LinkedIn ici.
📅 Date de publication de l’offre : Wed, 21 May 2025 00:03:49 GMT
🏢 Entreprise : Confiz
📍 Lieu : Lahore, Punjab – Multan, Punjab
💼 Intitulé du poste : Principal Data Engineer-PySpark
💶 Rémunération proposée :
📝 Description du poste : This role requires a professional with a deep background in data engineering and expertise in designing and implementing cloud-based data warehousing solutions using Azure Synapse. The ideal candidate will be a strategic thinker with a proven record of accomplishment of delivering scalable and efficient data solutions to meet complex business requirements. Responsibilities: Design and implement highly scalable, high performance data warehousing solutions in Azure Synapse. Analyze and migrate existing data systems to Azure Cloud, optimizing data flow and collection to improve data accuracy and utility. Contribute to data architecture design and modeling initiatives, ensuring alignment with business needs and compliance with data governance standards. Consult with stakeholders to define data requirements, deliverables, and timelines, providing technical leadership and guidance throughout project lifecycles. Implement data security and privacy policies in line with industry best practices and organizational standards. Optimize data integration pipelines for performance and scalability. Develop and maintain documentation regarding data architectures, procedures, and solutions. Qualifications Bachelor’s or master’s degree in computer science, Engineering, Information Technology, or a related field. 7+ years of experience in data engineering with a strong focus on cloud-based solutions. Expertise in Azure Synapse Analytics, including data integration, management, and security. Proficient with SQL, Python, PySpark, and other scripting languages commonly used in data engineering. Familiar with Azure IaC (Infrastructure as Code) and CI/CD automation using ARM, Bicep or Terraform Deep knowledge of ELT (Extract, Load, Transform) and ETL (Extract, Transform, Load) processes and experience with Azure Data Factory. Strong understanding of data modeling (Data Vault 2.0 experience or certification preferred), data warehousing, and data lakes. Proven consulting or advisory roles in the design and deployment of large-scale data solutions in Azure environments. Experience working directly with clients or stakeholders in a consulting capacity, translating business needs into technical specifications and actionable plans. Demonstrated ability to contribute to project leadership, coordinate across client functional groups, and manage client relationships. Microsoft Certified: Azure Data Engineer Associate preferrable Microsoft Certified: Azure Solutions Architect Expert preferrable Certified Data Vault 2.0 Practitioner (CDVP2) preferrable We have an amazing team of 700+ individuals working on highly innovative enterprise projects & products. Our customer base includes Fortune 100 retail and CPG companies, leading store chains, fast-growth fintech, and multiple Silicon Valley startups. What makes Confiz stand out is our focus on processes and culture. Confiz is ISO 9001:2015 (QMS), ISO 27001:2022 (ISMS), ISO 20000-1:2018 (ITSM) and ISO 14001:2015 (EMS) Certified. We have a vibrant culture of learning via collaboration and making workplace fun. People who work with us work with cutting-edge technologies while contributing success to the company as well as to themselves. To know more about Confiz Limited, visit: https://www.linkedin.com/company/confiz-pakistan/
🔎 Offre d’emploi vérifiée et enrichie selon la ligne éditoriale de l’Association Artia13 : éthique, inclusion, transparence et vigilance contre les annonces trompeuses.
🌍 Retrouvez d’autres offres sur artia13.world
