[Job 28454] IA Data Engineer, Pleno
- Ciandt
- Remote Brazil
Job Description
Estamos em busca de uma pessoa Engenheira de IA entusiasta em GenAI, apaixonada por inovação e por revolucionar a forma como processamos e entregamos dados.
Se você quer aplicar inteligência artificial generativa para acelerar o Ciclo de Vida de Desenvolvimento de Dados (DDLC), criando automações que vão desde a ingestão (ETL) até a visualização, essa vaga é para você.
Sua missão será desenvolver agentes inteligentes que atuarão como copilotos para nossa equipe de dados, potencializando o uso do ecossistema Azure (Databricks, Fabric, ADF).
Responsabilidades:
- Projetar e implementar soluções baseadas em GenAI que otimizem etapas críticas do DDLC (Data Development Life Cycle).
- Desenvolver agentes que atuem como assistentes na criação de notebooks Databricks, pipelines no ADF e estruturas no MS Fabric.
- Criar workflows que integrem LLMs ao nosso ecossistema (SQL Server e Power BI), automatizando tarefas como documentação de dados e criação de medidas DAX.
- Aplicar técnicas avançadas de prompt engineering para garantir que a IA gere código PySpark e T-SQL otimizado, seguro e performático.
- Definir métricas de qualidade para validar os artefatos gerados pela IA (ex: garantir eficiência nas queries geradas).
- Garantir o alinhamento das soluções com práticas de Governança de Dados, segurança e privacidade.
- Manter-se atualizado sobre as capacidades de IA dentro do Microsoft Fabric e Databricks para maximizar o uso das ferramentas nativas vs. desenvolvimentos customizados.
Requisitos:
- Formação em Ciência da Computação, Engenharia de Dados, Estatística ou áreas correlatas.
- Experiência sólida com Engenharia de Dados e profundo entendimento de esteiras de CI/CD aplicadas a dados.
- Imprescindível experiência prática na construção de soluções com GenAI (OpenAI API, Azure OpenAI ou Open Source Models), com foco em prompt engineering.
- Necessário experiência com frameworks de orquestração de agentes AI (ex: LangChain, Semantic Kernel ou AutoGen).
- Domínio técnico do ecossistema Azure Data (Databricks, Data Factory e Fabric) e linguagens SQL e Python/PySpark.
- Capacidade de traduzir desafios de negócio em agentes capazes de auxiliar na modelagem de dados e construção de dashboards.
- Mentalidade de DataOps: entender que dados precisam de testes, versionamento e monitoramento.
Diferenciais:
- Conhecimento profundo em Microsoft Fabric e suas capacidades de integração com IA.
- Experiência com Unity Catalog e governança de dados.
- Conhecimento em RAG (Retrieval-Augmented Generation) para criar assistentes que utilizem a documentação técnica interna.
- Certificações Azure Data Engineer ou AI Engineer.
