Buscamos uma pessoa apaixonada por dados e automação para integrar nosso time de engenharia. Seu principal desafio será construir e sustentar a "espinha dorsal" da nossa coleta de dados, garantindo que nossos crawlers rodem de forma eficiente, escalável e resiliente em ambiente Kubernetes.
Responsabilidades
- Desenvolvimento: Criar, testar e manter crawlers e scrapers de alta performance em Python.
- Orquestração e Containers: Gerenciar imagens Docker e garantir o deploy seguro das aplicações.
- Infraestrutura: Propor e implementar melhorias no ambiente de execução (K8s), focando em escalabilidade e uso de recursos.
- Observabilidade: Monitorar a execução dos jobs, configurando alertas para falhas de extração, bloqueios ou quedas de performance.
- Manutenção: Investigar e corrigir quebras de layout em sites alvo (o famoso "gato e rato" do scraping).
Requisitos
- Formação: Graduação completa ou em fase de conclusão em Ciência da Computação, Engenharia de Software, Sistemas de Informação ou áreas correlatas.
- Linguagem: Domínio sólido de Python (ênfase em manipulação de dados e requisições).
- Mentalidade Ágil: Vontade de aprender e aplicar boas práticas de desenvolvimento (Git, Clean Code).
Diferenciais (O que nos faria brilhar os olhos)- Experiência prévia com bibliotecas de scraping (Scrapy, BeautifulSoup, Selenium ou Playwright).
- Conhecimentos básicos em Docker e Kubernetes.
- Experiência com scripts de automação de tarefas.
- Noções de bancos de dados (SQL ou NoSQL) para armazenamento dos dados coletados.
