Estamos em busca de um(a) Engenheiro(a) de Dados Pleno para atuar em um projeto estratégico de migração de dados, realizando a transição de tabelas, pipelines e processos do ambiente Cloudera Hadoop para a AWS. O profissional atuará de ponta a ponta no projeto, desde o levantamento do ambiente atual até a implantação e estabilização das soluções em produção.
- Realizar o levantamento e análise do ambiente atual em Cloudera Hadoop, identificando tabelas, pipelines, jobs e queries em HQL.
- Mapear e documentar rotinas de orquestração desenvolvidas em Shell Script.
- Migrar queries HQL para serviços AWS, utilizando Amazon Athena, AWS Glue ou Amazon EMR, conforme critérios de custo, performance e necessidade do negócio.
- Redesenhar processos de orquestração baseados em Shell Script para serviços gerenciados da AWS, como AWS Step Functions, AWS Lambda, Amazon EventBridge e Amazon MWAA (Airflow).
- Projetar e implementar a arquitetura do Data Lake em Amazon S3, estruturando as camadas Raw, Trusted e Refined.
- Modelar e implementar estruturas analíticas em Amazon Redshift, quando necessário.
- Desenvolver, testar e validar pipelines de dados, garantindo integridade, qualidade e performance.
- Atuar na implantação, homologação e estabilização das soluções em produção.
- Trabalhar em conjunto com equipes de arquitetura, infraestrutura e negócios para garantir uma migração eficiente e segura.
- Documentar processos, arquiteturas e fluxos desenvolvidos durante o projeto.
O que precisamos que você tenha de conhecimento:
Experiência como Engenheiro(a) de Dados.
Vivência em projetos de migração de ambientes de dados.
Conhecimento em Cloudera Hadoop e desenvolvimento de queries em HQL (Hive Query Language).
Experiência com desenvolvimento e manutenção de Shell Script.
Conhecimento sólido dos serviços AWS voltados para engenharia de dados, especialmente:
- Amazon Athena;
- AWS Glue;
- Amazon EMR;
- Amazon S3;
- Amazon Redshift;
- AWS Step Functions;
- AWS Lambda;
- Amazon EventBridge;
- Amazon MWAA (Airflow).
Experiência com modelagem de Data Lake e pipelines de dados.
Conhecimento em SQL e boas práticas de modelagem de dados.
Experiência com processos de ETL/ELT.
Diferenciais:
- Certificações AWS.
- Conhecimento em Python para desenvolvimento de pipelines e automações.
- Experiência com CI/CD aplicado à engenharia de dados.
- Vivência em projetos de modernização de plataformas de dados e migração para Cloud.
Informações adicionais
🍛 Vale-alimentação ou vale-refeição;
👨🏼🎓 Desconto em cursos, universidades e instituições de idiomas;
📚 Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado;
🗣 Mentoring;
💉 Clube de vantagens para consultas e exames;
🏥 Assistência médica;
🦷 Assistência odontológica;
💰 Clube de vantagens e descontos nos melhores estabelecimentos;
🛫 Clube de viagens;
🐶 Convênio para pets.
Originally posted on