Azure Data Engineer (Remoto, Portugal)

Principais Responsabilidades - Colaborar com as equipas de negócio e técnicas no levantamento de requisitos e na definição das soluções de dados. - Desenvolver e manter pipelines ETL/ELT com Azure Databricks e PySpark, recorrendo a Azure Data Factory quando aplicável. - Implementar processos de ingestão, transformação e modelação de dados em arquiteturas lakehouse. - Preparar dados para treino de modelos, incluindo limpeza, tratamento de valores em falta e criação de variáveis (feature engineering). - Colaborar no treino, na validação e na avaliação de modelos de Machine Learning clássico, utilizando métricas adequadas ao problema de negócio. - Implementar pipelines de inferência em batch e integrar as previsões dos modelos nos fluxos de dados. - Acompanhar a qualidade dos dados e o desempenho dos modelos em produção, aplicando boas práticas de versionamento, testes e documentação. Requisitos mínimos - 2+ anos de experiência em Engenharia de Dados, incluindo participação prática em projetos de Machine Learning clássico. - Experiência sólida com Azure Databricks e bons conhecimentos de Python, SQL e PySpark. - Experiência com Azure Data Lake Storage, Parquet e Delta Lake. - Experiência no ciclo completo de desenvolvimento de soluções de dados, da ingestão à disponibilização. - Experiência com bibliotecas de Machine Learning e conhecimentos de preparação de dados, treino, validação e avaliação de modelos. - Compreensão de conceitos como overfitting, data leakage, separação entre dados de treino e de teste e validação cruzada. - Experiência na integração de modelos em pipelines de processamento e inferência em batch. - Experiência com Git e capacidade de desenvolver soluções escaláveis, tendo em conta o desempenho e os custos de execução.