Data Engineer / Data Platform Engineer
Welvaart
Prepare for this role
Job Type
Description
Sobre a Welvaart
Na Welvaart, criamos soluções tecnológicas centradas nas pessoas.
A nossa liderança próxima e cultura de evolução flexível potenciam o talento das equipas e elevam a qualidade das entregas.
Combinamos rigor, inovação e empatia para impulsionar projetos que transformam negócios e constroem relações de confiança duradouras.
Complementamos esta visão com uma oferta de Marketing Digital focada em performance, ajudando empresas a ganhar visibilidade, fortalecer a presença online e acelerar o crescimento com estratégias inteligentes e resultados mensuráveis.
Projeto
Iniciativa estratégica de modernização de plataforma de dados, focada na migração de Cloudera/Impala para Spark e Databricks, visando maior escalabilidade e resiliência.
Responsável por construir e otimizar pipelines e arquiteturas de Data Lake/DWH, garantindo performance, qualidade e governança para suportar analytics e decisão baseada em dados
Função
- Projetar, desenvolver e manter pipelines de dados escaláveis utilizando Apache Spark e Databricks
- Participar ativamente em iniciativas de migração de tecnologia (Cloudera/Impala Databricks)
- Arquitetar soluções robustas de Data Lake e Data Warehouse
- Garantir disponibilidade, tolerância a falhas, e recuperação de pipelines
- Otimizar cargas de trabalho em Spark e SQL
- Melhorar eficiência de processamento e reduzir custos de infraestrutura cloud
- Aplicar boas práticas de performance tuning em ambientes distribuídos
- Implementar frameworks de data quality, validação e testing
- Criar mecanismos de monitorização, alertas e observabilidade
- Reduzir tempos de deteção e recuperação de incidentes
- Implementar e gerir políticas de acesso e governança com Unity Catalog
- Garantir compliance com standards de segurança e proteção de dados
- Promover a catalogação e discoverability de datasets
- Trabalhar com equipas multidisciplinares (data, negócio, IT)
- Traduzir requisitos de negócio em soluções de dados eficientes
- Entregar soluções alinhadas com objetivos estratégicos e operacionais
Estamos à procura de
- Experiência sólida em Data Engineering (3+ anos recomendado)
- Forte experiência com:
- Databricks
- Apache Spark
- SQL avançado
- Python
- Experiência com sistemas de dados distribuídos e processamento em larga escala
- Conhecimentos em:
- Data Lake / Data Warehouse architectures
- Modelação de dados
- Experiência com ambientes Linux e scripting (Bash)
- Azure Blob Storage
- Unity Catalog (ou equivalente em governance)
- Git (versionamento de código)
- Experiência prévia com
- Cloudera / Impala / Hive
- PL/SQL
- Ferramentas de BI (ex: MicroStrategy)
- Experiência em migrações de plataformas de dados
- Conhecimentos de DataOps / CI-CD para dados
O que pode descobrir connosco?
- Fazer parte de uma start-up tecnológica em crescimento
- Diferentes âmbitos de projeto em diferentes sectores
- Estrutura de remuneração justa e equitativa (Consultant Profile)
- Formação e certificação
- Gestão do percurso profissional
- Mais de 30 parcerias
UNLEASH THE POWER OF YOUR CAREER
This job is found at InterviewStack.io
Skills
About Welvaart
Accelerate your business, marketing, and career growth with Welvaart. Expert IT consulting and digital marketing, services.