1046 - Data Engineer (Python/AWS/Snowflake) · Senior · Remote · ARG

Disclaimer – Lectura obligatoria: Compromiso y dedicación Este rol requiere dedicación full-time, con prioridad clara sobre los proyectos de Darwoft durante el horario laboral establecido. No es compatible con otros compromisos profesionales full-time. Cualquier actividad profesional adicional deberá ser informada previamente y no deberá interferir con las responsabilidades del rol. Sobre Darwoft Darwoft es una software factory que desarrolla soluciones de software a medida y brinda servicios de staff augmentation IT para clientes internacionales, principalmente en Estados Unidos y Latinoamérica. Trabajamos con startups y compañías en crecimiento, construyendo productos digitales de alto impacto. Nuestra cultura es people-first: priorizamos la calidad técnica, las relaciones de largo plazo y el trabajo colaborativo. Combinamos excelencia técnica con cercanía humana. Senior Data Engineer (AWS Serverless & Airflow) – Relación de Dependencia – Argentina Información general - Ubicación: Argentina - Tipo de contrato: Relación de dependencia, full-time - Industria / Proyecto: Plataforma de datos sobre AWS serverless para cliente internacional [industria a confirmar] Sobre el rol Buscamos un/a Senior Data Engineer para diseñar, construir y operar una plataforma de datos sobre AWS serverless, orquestada con Apache Airflow y gestionada íntegramente como código. La posición combina ingeniería de datos, calidad y gobierno de datos. El foco está en pipelines confiables, automatizados y desplegados mediante CI/CD, que permitan al negocio contar con datos consistentes, trazables y disponibles a tiempo, con un uso eficiente de los costos cloud. Vas a tener autonomía técnica para tomar decisiones de arquitectura, elegir el servicio adecuado para cada caso y definir buenas prácticas sobre toda la plataforma. Responsabilidades - Diseñar, construir y operar la plataforma de datos sobre el ecosistema serverless de AWS, eligiendo cada servicio según el caso de uso, el costo y la operabilidad. - Desarrollar DAGs de Airflow de punta a punta, con foco en idempotencia, reintentos, SLAs y manejo de fallos. - Configurar y operar entornos MWAA: dependencias, plugins, escalado de workers y despliegues blue/green. - Orquestar desde Airflow jobs de Glue, Lambda, ECS y Step Functions, e integrar dbt (vía Cosmos) y dlt. - Implementar ingesta multi-fuente con dlt y Python: APIs REST y GraphQL, Microsoft Graph, Cost Explorer, SharePoint, bases de datos y archivos. - Diseñar y mantener el data lake / lakehouse en S3 con Parquet y Apache Iceberg sobre Glue Catalog. - Modelar datos en Snowflake y dbt por capas, con tests y documentación. - Desarrollar procesamiento con Spark / PySpark garantizando escrituras idempotentes y particionado eficiente. - Aprovisionar la infraestructura como código con Terraform y/o AWS CDK / CloudFormation: entornos MWAA, Glue jobs, Lambdas, buckets S3, roles IAM y permisos de Lake Formation. - Construir y mantener pipelines de GitLab CI/CD con separación de entornos (dev / staging / prod) y despliegues controlados por rama. - Aplicar seguridad de mínimo privilegio, gobierno de datos con Lake Formation y manejo seguro de secretos. - Implementar observabilidad con CloudWatch (logs, métricas, alarmas) y testing de DAGs. - Optimizar costos de la arquitectura serverless aplicando prácticas de FinOps. Requisitos Must-Have - +3 años de experiencia como Data Engineer en entornos cloud productivos. - AWS serverless (excluyente, nivel avanzado): - Cómputo: Lambda (layers, concurrencia, timeouts, cold starts, empaquetado con contenedores), Fargate / ECS. - Procesamiento: Glue (jobs Spark y Python Shell, Data Catalog, crawlers), Athena (particionado, optimización de costos por escaneo), EMR Serverless. - Orquestación y eventos: Step Functions, EventBridge (reglas y schedulers), SQS, SNS. - Almacenamiento: S3 (diseño de data lake, lifecycle, eventos), DynamoDB (modelado por patrones de acceso, índices, streams). - Integración y APIs: API Gateway, AppSync. - Streaming: Kinesis Data Streams / Firehose, MSK Serverless. - Seguridad: IAM con mínimo privilegio, Lake Formation, Secrets Manager. - Observabilidad y costos: CloudWatch, FinOps y Cost Explorer. - Apache Airflow (excluyente, nivel avanzado): - Arquitectura interna (scheduler, executor, workers, triggerer, metadata DB), ciclo de vida de tareas, data intervals, catchup y backfills. - Operadores, hooks y sensores: providers de AWS, operadores custom y deferrable operators. - TaskFlow API, XComs, dynamic task mapping, task groups y assets. - MWAA en producción. - Testing de DAGs, parametrización por entorno, monitoreo y alertas. - CI/CD y control de versiones (excluyente): - Git avanzado: rebase, merge, cherry-pick, resolución de conflictos e historial limpio. - Estrategias de branching (GitFlow, trunk-based, feature branches) y versionado semántico. - GitLab: merge requests, code review, protección de ramas, aprobaciones y reglas de merge. - GitLab CI/CD: stages, jobs, runners, variables y secretos protegidos, artefactos, caché, ambientes y despliegues manuales o automáticos. - Infraestructura como código: - Terraform avanzado: módulos reutilizables, variables por entorno e import de recursos existentes. - AWS CDK y/o CloudFormation: stacks, parámetros, outputs, change sets y drift detection. - Buenas prácticas: separación de entornos, versionado, revisión del plan antes de aplicar. - Ingeniería de datos: - Snowflake: modelado, SQL avanzado y optimización de consultas. - dbt: modelado por capas, tests, documentación e integración con Cosmos. - Python para ingesta y automatización (boto3, APIs REST y GraphQL, procesamiento de archivos). - Spark / PySpark, incluyendo conocimiento de internals. - Parquet y Apache Iceberg sobre Glue Catalog. - Ingesta multi-fuente con dlt. - Agentes: experiencia con Agent Core o conocimiento de arquitecturas de agentes. Nice-to-Have - Docker y criterio para decidir dónde correr cargas (ECS vs. workers de Airflow). - Criterio para elegir entre Glue y EMR como motor de procesamiento. - Diseño de capas de proyección y consumo sobre DynamoDB para aplicaciones web. - FinOps de datos: pipelines de costos cloud y análisis de consumo. - Nociones de Kafka (MSK) y catalogación de topics. ¿Qué ofrecemos en Darwoft? - Contratación en relación de dependencia, con remuneración en ARS. - Modalidad de trabajo remota o Mixta. - Salarios competitivos. - Vacaciones y licencias según legislación vigente. - Días personales adicionales por año. - Acceso a plataformas de capacitación. - Tarjeta de beneficios y descuentos. - Welcome kit. - Programas de reintegros. - Clases de inglés. - Programa de referidos. - Regalo de cumpleaños. - Healthy Break. - Celebraciones, aniversarios y actividades de integración. Explore this and other opportunities at:  Originally posted on Himalayas