Estamos em busca de um(a) Engenheiro(a) de Dados Pleno para atuar em um programa estratégico de modernização da plataforma de dados, com foco na migração de processos, fluxos e soluções analíticas desenvolvidas em SAS para uma arquitetura moderna baseada em Databricks.
O profissional participará da análise dos processos existentes, desenvolvimento de novos pipelines de dados, conversão de rotinas SAS para Python/PySpark e implementação de soluções escaláveis em cloud, trabalhando em parceria com áreas de negócio e equipes técnicas.
Principais responsabilidades:
- Participar da migração de processos e soluções analíticas de SAS para Databricks.
- Desenvolver e manter pipelines de dados (ETL/ELT) utilizando Python, PySpark e Databricks.
- Analisar códigos e processos existentes em SAS, propondo alternativas e melhorias na nova plataforma.
- Automatizar processos de ingestão, transformação e disponibilização de dados.
- Apoiar a elaboração de desenhos de solução e arquitetura de dados.
- Interagir com áreas de negócio para entendimento de requisitos e validação de resultados.
- Elaborar e manter documentação técnica e funcional das soluções migradas.
- Garantir a qualidade, performance e confiabilidade dos dados durante e após o processo de migração.
Você precisa ter:
- Experiência em construção de pipelines de dados (ETL/ELT).
- Conhecimento em soluções de dados em cloud.
- Experiência com Python e SQL.
- Vivência em processos de automação e integração de dados.
- Capacidade de compreender e traduzir requisitos de negócio em soluções técnicas.
Conhecimentos técnicos desejáveis:
- Databricks
- Microsoft Azure
- Python
- PySpark
- SQL
Diferencial:
- Ter atuado com soluções analíticas de SAS
- Experiencia no mercado financeiro