Senior Analyst (Data Engineer)
Emploi Malaisie
Titre du poste :
Senior Analyst (Data Engineer)
Entreprise :
Informations à venir
Description du poste :
JOB SUMMARY
Le Senior Analyst (Data Engineer) sera responsable de la conception, du développement, de la maintenance et de l’optimisation des pipelines de données, ainsi que des processus ETL (Extract, Transform, Load) et des solutions d’intégration de données. Ce rôle revêt une importance capitale pour garantir que les données structurées et non structurées sont traitées efficacement et mises à disposition pour les besoins en business intelligence (BI), en analytics et en reporting. Le Data Engineer travaillera en étroite collaboration avec les analystes de données, les data scientists et les équipes informatiques afin de soutenir l’infrastructure de données de l’organisation et d’atteindre les objectifs de l’EPF (Employees Provident Fund). En outre, ce poste joue un rôle clé en tant qu’agent du changement pour promouvoir une culture centrée sur les données au sein de l’EPF.
JOB SCOPE
- Conception et maintenance: Concevoir, développer et maintenir des pipelines ETL/ELT pour l’extraction, la transformation et le chargement des données.
- Gestion des CDC: Mettre en œuvre des pipelines de CDC (Change Data Capture) pour ingérer des données provenant de diverses sources, tout en capturant les journaux de modifications.
- Intégration de données: Implémenter des solutions d’ingestion de données provenant de bases de données, d’APIs et de fichiers plats, tout en garantissant l’intégrité et la qualité des données.
- Maintenance des infrastructures cloud: Aider à la création et à la maintenance de lacs de données et d’entrepôts de données basés sur le cloud.
- Optimisation: Optimiser les performances de stockage et de récupération des données pour des cas d’utilisation analytique.
- Collaboration: Travailler avec les équipes des affaires pour intégrer des sources de données ERP, CRM, IoT, et tierces aux écosystèmes analytiques.
- Automatisation: Développer des scripts et des flux de travail d’automatisation pour rationaliser les tâches de traitement de données.
REQUIRED COMPETENCIES
- Expertise technique: Connaissance approfondie de la conception, de la construction et de la maintenance de pipelines de données évolutifs.
- Analyse des données: Capacité à analyser des défis complexes en matière de données et à mettre en œuvre des solutions innovantes.
- Compétences en communication: Aptitude à articuler des concepts techniques à des parties prenantes non techniques.
- Orientation vers l’amélioration continue: Engagement à rester à jour sur les tendances émergentes dans le big data et le cloud computing.
JOB QUALIFICATIONS
- Citoyenneté malaisienne.
- Licence en informatique, science des données, ingénierie des données ou discipline équivalente.
- 7 ans d’expérience dans l’ingénierie des données ou le développement ETL.
JOB STATUS
Permanent – Toutes les candidatures sont strictement CONFIDENTIELLES et seuls les candidats présélectionnés seront contactés pour un entretien. Les candidatures seront considérées comme INSUCCESSFUL si aucun retour n’est reçu de l’EPF deux mois après la date de clôture de l’annonce.
Salaire attendu :
Information à venir
Localisation :
Selangor
Date du poste :
Thu, 15 May 2025 22:40:13 GMT
📅 Date de publication de l’offre : Thu, 15 May 2025 22:40:13 GMT
🏢 Entreprise :
📍 Lieu : Selangor
💼 Intitulé du poste : Senior Analyst (Data Engineer)
💶 Rémunération proposée :
📝 Description du poste : JOB SUMMARY You will be responsible for designing, developing, maintaining, and optimizing data pipelines, ETL processes, and data integration solutions. The role ensures that structured and unstructured data is efficiently processed and made available for business intelligence (BI), analytics, and reporting needs. The Data Engineer collaborates closely with data analysts, data scientists, and IT teams to support the organisation’s data infrastructure to meet EPF business goals. You will also serve as a change agent to promote data culture across EPF. JOB SCOPE Design, develop, and maintain ETL/ELT pipelines for data extraction, transformation, and loading. Implement and manage CDC pipelines to ingest data from multiple sources (e.g. relational databases, mainframes, and cloud platforms), and capture change logs using log-based or trigger-based CDC. Manage CDC processes using batch scripts (e.g., start and stop CDC jobs through automated scripts), with proficiency in writing batch scripts (e.g., Bash for Linux/Unix). Implement data ingestion solutions from various sources, including databases, APIs, and flat files. Ensure data integrity, quality, and consistency through validation and error-handling techniques. Assist in building and maintaining cloud-based data lakes, warehouses, and relational databases. Optimize data storage performance and retrieval processes for analytics use cases. Work on partitioning, indexing, and schema optimization to improve query efficiency. Develop and maintain API-based data integrations to support business applications. Work with business teams to integrate ERP, CRM, IoT, and third-party data sources into the analytics ecosystem. Implement real-time and batch data processing using appropriate tools and frameworks. Monitor and optimize data pipelines for performance, scalability, and cost-efficiency. Develop automation scripts and workflows to streamline data processing tasks. Work closely with data analysts, BI teams, and data scientists to understand data requirements. Provide support in data validation, transformation, and preparation for reporting and analytics. Collaborate with IT and cloud engineers to ensure data infrastructure reliability and security. Stay updated on the latest big data technologies, cloud solutions, and engineering best practices. Identify opportunities to enhance data engineering processes, improving efficiency and scalability. Contribute to the development of best practices and standards for data engineering. REQUIRED COMPETENCIES Expertise in designing, building, and maintaining scalable data pipelines and ETL processes. Knowledge of cloud data architectures and best practices in data engineering. Knowledge of data management disciplines such as data governance and quality, business intelligence, data architecture and strategy, data security and privacy, data integration, master data management and metadata management. Ability to analyze complex data challenges and implement innovative solutions. Strong debugging and troubleshooting skills for optimizing data workflows. Ability to work cross-functionally with business and technical teams to deliver data-driven solutions. Strong communication skills to articulate technical concepts to non-technical stakeholders. Proven track record in delivering high-quality data solutions within deadlines. Focus on continuous improvement and innovation in data engineering practices. Willingness to learn new technologies and adapt to the evolving data landscape. Proactive in staying updated on emerging trends in big data and cloud computing. JOB QUALIFICATIONS Malaysian citizen. Bachelor’s degree in Computer Science, Data Science, Data Engineering, Information Systems, or equivalent qualification from accredited higher learning institutions. 7 years of experience in data engineering, ETL development, or data pipeline optimization. Hands-on experience with cloud data platforms such as AWS, Azure, or Google Cloud. Proficiency in SQL, Python, or other programming languages relevant to data processing. Experience with big data processing frameworks (Spark, Hadoop) and orchestration tools (Airflow, DBT). Knowledge of data modeling, warehousing principles, and schema design best practices. Familiarity with version control tools (Git) and CI/CD pipelines for data engineering workflows. Strong problem-solving skills and ability to optimize data processes for performance. JOB STATUS Permanent All applications are strictly CONFIDENTIAL and only shortlisted candidates will be called in for interview. Applications are deemed UNSUCCESSFUL if there is no feedback from the EPF 2 MONTHS after the closing date of the advertisement.
🔎 Offre d’emploi vérifiée et enrichie selon la ligne éditoriale de l’Association Artia13 : éthique, inclusion, transparence et vigilance contre les annonces trompeuses.
🌍 Retrouvez d’autres offres sur artia13.world
