Arquivos de Autor: afonso

Engenheiro de Dados Sênior

Engenheiro de Dados Sênior Sobre a vaga Se você tem paixão por dados, experiência consolidada em arquiteturas distribuídas e gosta de propor melhorias contínuas, essa vaga é para você! Estamos em busca de um(a) Engenheiro(a) de Dados Sênior que una profundidade técnica com visão estratégica, capaz de desenhar, construir e otimizar pipelines de dados modernos em AWS e atuar na evolução de um ambiente de dados que é peça chave para nossas decisões de negócio.   RESPONSABILIDADES E ATRIBUIÇÕES Esse profissional irá: Projetar e manter pipelines de ingestão, transformação e consumo de dados em Python e Spark; Construir e otimizar Glue Jobs, Glue Catalog e consultas em Athena; Estruturar data lakes em Iceberg garantindo governança, versionamento e performance; Definir estratégias de particionamento, compressão e formatos colunares (Parquet, ORC) para lidar com alto volume de dados; Orquestrar fluxos complexos no MWAA (Airflow), garantindo robustez e monitoramento de jobs críticos; Integrar sistemas usando SQS e Kafka, garantindo escalabilidade e baixa latência; Apoiar na operação de workloads em EKS, trazendo boas práticas de containerização e deployment; Trabalhar de forma proativa, sugerindo e implementando melhorias de arquitetura, custo, segurança e performance.   Pra mandar bem nessa oportunidade você precisa manjar das tecnologias e ter: Mais de 8 anos de experiência em engenharia de dados; Proficiência em Python e Spark (batch e streaming); Experiência avançada em AWS (Glue, Athena, EMR, S3, Redshift, IAM, MWAA); Conhecimento prático em Iceberg para organização de data lakes; Experiência com Airflow (gestão de DAGs, orquestração de jobs complexos); Vivência com EKS/Kubernetes; Experiência com mensageria e streaming: SQS e Kafka; Sólido background em arquitetura distribuída, governança e segurança de dados; Perfil pró-ativo, com visão crítica e foco em entregar soluções robustas e escaláveis.   O que valorizamos em um(a) profissional sênior: Capacidade de liderar iniciativas técnicas e orientar engenheiros(as) mais juniores; Mentalidade de melhoria contínua, propondo automações, otimizações de custo e padrões de qualidade; Experiência em migração de ambientes legados para arquiteturas modernas em nuvem; Boa comunicação para transformar problemas complexos em soluções simples e claras; Visão end-to-end do ciclo de dados: da ingestão até o consumo analítico.   INFORMAÇÕES ADICIONAIS Oferecemos para essa posição: Modelo de contratação PJ; Day Off de aniversário; Férias Remuneradas de 15 dias após um 1 ano de trabalho; Plano de saúde; Assistência Odontológica.   Modelo de trabalho: 100% remoto