Especialista de Dados | Engenharia de Plataforma de Dados
Job Description
<h3><span style="color: rgb(241, 196, 15); font-size: 12pt; font-family: helvetica, arial, sans-serif;">Nossa área de Engenharia de Dados</span></h3> <div><span style="font-size: 10pt; font-family: helvetica, arial, sans-serif;"><span data-teams="true">Nossa área é responsável pelo desenvolvimento e manutenção da Plataforma de Dados, assim como pela malha de ingestão de dados provenientes de sistemas transacionais, operacionais, de relacionamento com clientes, entre outros. Armazenamos todos os dados carregados pelos pipelines no Data Lake, essenciais para a tomada de decisões do negócio. Monitoramos continuamente os pipelines de extração de dados para garantir a funcionalidade de leitura e carga, além de otimizar sua performance e eficiência.</span></span></div> <h3><span style="font-size: 12pt; font-family: helvetica, arial, sans-serif;"><span style="color: #f1c40f;">Suas atividades como </span><span style="color: #f1c40f;">CSixer </span></span></h3> <ul> <li><span style="font-size: 10pt;">Programar de verdade: desenvolver e evoluir frameworks, bibliotecas, APIs e ferramentas internas em Python e Golang para sustentar a nossa plataforma de dados;</span></li> <li style="font-size: 10pt;"> <div><span style="font-size: 10pt;">Arquitetura e Cloud: projetar e implementar arquiteturas de software robustas e escaláveis no Google Cloud Platform (GCP), gerenciando a infraestrutura subjacente de ferramentas como Airflow, Dataflow e clusters Kubernetes;</span></div> </li> <li style="font-size: 10pt;"> <div><span style="font-size: 10pt;">Automação e CI/CD: criar e manter esteiras complexas de CI/CD, garantindo qualidade, testes automatizados e implantações contínuas (Infrastructure as Code);</span></div> </li> <li style="font-size: 10pt;"> <div><span style="font-size: 10pt;">Evolução da Plataforma: pesquisar, propor e implementar novas tecnologias e padrões de arquitetura que otimizem o consumo de recursos na nuvem e melhorem a resiliência dos nossos ecossistemas;</span></div> </li> <li style="font-size: 10pt;"> <div><span style="font-size: 10pt;">Engenharia de Confiabilidade: atuar na observabilidade, monitoramento e performance da plataforma como um todo, não apenas dos pipelines individuais.</span></div> </li> </ul> <h3><span style="color: rgb(241, 196, 15); font-size: 12pt; font-family: helvetica, arial, sans-serif;">Requisitos e experiência</span></h3> <div> <ul> <li style="font-size: 10pt;"><span style="font-size: 10pt;">Mindset de Engenheiro de Software: sólida experiência em desenvolvimento de software backend/plataforma (Esta não é uma vaga para criação de pipelines de ETL ou modelagem em SQL);</span></li> <li style="font-size: 10pt;"><span style="font-size: 10pt;">Linguagens: domínio profundo em Python (obrigatório) e experiência/vivência com Golang (muito desejável e será um diferencial de peso);</span></li> <li style="font-size: 10pt;"><span style="font-size: 10pt;">Boas práticas: domínio em arquitetura de software, Clean Code, Design Patterns, SOLID e forte cultura de testes (unitários, integração e e2e);</span></li> <li style="font-size: 10pt;"><span style="font-size: 10pt;">DevOps & infra: conhecimento profundo em CI/CD, ambientes conteinerizados (Docker/Kubernetes) e Infrastructure as Code (Terraform, etc.);</span></li> <li style="font-size: 10pt;"><span style="font-size: 10pt;">Cloud & orquestração: experiência com administração e deploy de orquestradores (como Airflow em larga escala), arquitetura orientada a eventos e forte base em Cloud Computing (GCP é o nosso ambiente principal)