Databricks Data Engineers

Buscamos Databricks Data Engineers en Medalla Tech. Queremos incorporar perfiles senior capaces de construir, optimizar y mantener soluciones de ingeniería de datos sobre Databricks, combinando profundidad técnica, buenas prácticas de desarrollo y orientación a negocio. Buscamos personas con experiencia desarrollando pipelines y procesos de datos en producción, que entiendan el procesamiento distribuido y sepan construir soluciones fiables, eficientes y fáciles de evolucionar. Personas que puedan trabajar con autonomía, participar en decisiones técnicas y responsabilizarse de la calidad de sus desarrollos desde la ingesta hasta la puesta en producción. Las posiciones son remotas y requieren residencia en España, español muy alto e inglés con competencia profesional completa. En Medalla Technology trabajamos en proyectos donde desarrollar una solución de datos implica resolver preguntas como: - ¿Cómo integramos fuentes heterogéneas y las convertimos en datos fiables para el negocio? - ¿Cómo organizamos las transformaciones entre las capas Bronze, Silver y Gold? - ¿Cómo construimos procesos incrementales que gestionen duplicados, cambios y reprocesamientos? - ¿Cómo detectamos problemas de calidad antes de que lleguen a los consumidores? - ¿Cómo optimizamos un proceso Spark cuando aumentan el volumen o los tiempos de ejecución? - ¿Cómo probamos, versionamos y desplegamos nuestros desarrollos entre entornos? - ¿Cómo conseguimos que un pipeline sea fácil de operar, mantener y evolucionar? ¿Qué harás? - Desarrollar y mantener pipelines de ingesta y transformación sobre Databricks, integrando datos de diferentes sistemas y formatos. - Implementar procesos con PySpark y SQL, aplicando buenas prácticas de procesamiento distribuido. - Construir y evolucionar las capas Bronze, Silver y Gold siguiendo una arquitectura Medallion. - Trabajar con Delta Lake para implementar cargas incrementales, actualizaciones, deduplicación y gestión del histórico. - Publicar y gestionar tablas y otros activos de datos con Unity Catalog, respetando los modelos de acceso y gobierno definidos. - Incorporar validaciones de calidad, controles de consistencia y mecanismos de tratamiento de errores. - Analizar y optimizar procesos Spark, identificando cuellos de botella y mejorando rendimiento y consumo de recursos. - Orquestar procesos, gestionar dependencias y facilitar su monitorización y recuperación ante fallos. - Desarrollar código versionado con Git, participar en revisiones de código y trabajar con testing y pipelines de CI/CD. - Colaborar con Data Architects y otros profesionales de Data & AI para convertir necesidades de negocio en soluciones de datos listas para producción. ¿Qué buscamos? Queremos perfiles con una trayectoria sólida en ingeniería de datos y una especialización reciente y continuada en Databricks. Los requisitos imprescindibles son: - Un mínimo de 6 años de experiencia profesional en ingeniería de datos. - Los últimos 4 años de experiencia profesional trabajando con Databricks, desarrollando y manteniendo soluciones de datos. - Contar con al menos una de estas certificaciones: Databricks Certified Data Engineer Associate o Databricks Certified Data Engineer Professional. - Dominio práctico de PySpark y SQL, con capacidad para desarrollar transformaciones complejas y diagnosticar problemas de ejecución. - Experiencia con Delta Lake, incluyendo operaciones de actualización, cargas incrementales y gestión de tablas. - Experiencia práctica con Unity Catalog para trabajar con catálogos, esquemas, tablas y permisos. - Experiencia implementando arquitecturas Medallion, con criterio para distribuir las transformaciones entre sus diferentes capas. - Experiencia con Git y CI/CD, incluyendo versionado, revisiones de código y despliegue entre entornos. - Experiencia desarrollando y manteniendo procesos de datos en producción. - Residencia en España. - Español muy alto, oral y escrito, para colaborar con equipos y clientes y elaborar documentación técnica. - Inglés con competencia profesional completa, para participar con autonomía en reuniones, explicar soluciones y trabajar con documentación técnica. Nos interesa especialmente que hayas tenido que resolver problemas reales de ingeniería: procesos que fallan, datos que llegan tarde, cambios de esquema, duplicados, reprocesamientos o ejecuciones cuyo rendimiento se degrada al crecer el volumen. Será un plus haber trabajado con: - Structured Streaming, Kafka y procesamiento de datos en tiempo real. - Terraform e infraestructura como código. - Servicios de datos, almacenamiento y seguridad de AWS, Microsoft Azure o Google Cloud. - Automatización de despliegues y configuración de recursos de Databricks. - Frameworks de testing y validación de calidad de datos. - Modelado de datos y preparación de conjuntos de datos para analítica y consumo de negocio. - Observabilidad de pipelines y optimización de costes. - Migraciones desde plataformas tradicionales hacia Databricks. No esperamos que conozcas todas estas tecnologías. Nos importa que tengas una base sólida de ingeniería, experiencia real en Databricks y criterio para construir procesos fiables y mantenibles. Nos interesa tu inquietud por Databricks Buscamos personas que sigan aprendiendo, exploren las capacidades de la plataforma y se pregunten cómo mejorar las soluciones que construyen. Valoraremos que ese interés se traduzca en formación, certificaciones, pruebas de concepto, laboratorios o participación en la comunidad. Nos interesa conocer qué has explorado por iniciativa propia, qué problemas has intentado resolver y qué conclusiones has sacado. ¿Qué encontrarás en Medalla? Trabajarás en proyectos donde la ingeniería de datos es fundamental para transformar información de diferentes sistemas en datos útiles para el negocio. Formarás parte de un equipo especializado en Data & AI, en colaboración con profesionales de arquitectura e ingeniería, con espacio para compartir conocimiento y seguir profundizando en Databricks. Tendrás la oportunidad de contribuir a nuestras prácticas de desarrollo, calidad y automatización. La modalidad de trabajo es remota desde España. Buscamos personas que disfruten construyendo soluciones de datos que funcionen en producción, se puedan mantener y estén preparadas para evolucionar.