Databricks/Python Developer Senior | Remote

. - Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados; - Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes; - Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código; - Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos; - Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados; - Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento; - Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados; - Manter documentação técnica abrangente para os processos e soluções implementadas. - Experiência no desenvolvimento de soluções de dados utilizando Python; - Experiência em construção e manutenção de pipelines de dados com Databricks (PySpark); - Vivência com processamento, transformação e análise de grandes volumes de dados; - Experiência com manipulação e tratamento de dados utilizando Pandas; - Conhecimento em leitura, processamento e integração de dados XML utilizando Python ElementTree; - Experiência com plataformas de nuvem, especialmente Microsoft Azure; - Conhecimento em práticas de qualidade, integridade e monitoramento de dados; - Vivência na definição e implementação de boas práticas de engenharia e arquitetura de dados. Desejáveis: - Experiência na colaboração com times de Engenharia de Dados, Analytics e Ciência de Dados; - Conhecimento em otimização de performance de pipelines e processamento distribuído; - Familiaridade com documentação técnica de processos, pipelines e soluções de dados. Informações adicionais Benefícios - Vale-alimentação e/ou vale-refeição; - Plano de saúde e plano odontológico; - Plano de saúde para o seu pet; - Auxílio home office (para vagas remotas); - Kit de boas-vindas no onboarding; - Seguro de vida; - Zenklub, com acompanhamento psicológico e nutricional; - TotalPass; - Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce); - Parcerias e descontos para o seu desenvolvimento; - Acesso ao conteúdo UOL; - Kit maternidade; - Licença maternidade e paternidade estendidas; - Programa de indicações. Originally posted on Himalayas