Data Science Specialist | Feature Store & ML Platform| Especialista (Remote)
BrasilFull-timeRemoteMid · 2-5 years
Sign up free to see how well your resume matches this role.
About this role
.
Liderar o desenvolvimento e evolução das capacidades da Feature Store: data lineage, feature views, feature recommendation e novos motores de consulta;
Projetar e implementar tabelas Apache Iceberg com foco em performance de leitura, versionamento e evolução de schema;
Arquitetar e otimizar a camada de serving com Redis para features em tempo real com SLOs rigorosos de latência;
Integrar e otimizar Amazon EMR como motor de consulta e processamento em escala;
Definir e implementar pipelines de feature selection e transformação com rastreabilidade end-to-end;
Estabelecer padrões de qualidade, versionamento e governança de features para toda a plataforma;
Atuar como referência técnica para times de dados e ciência que consomem a Feature Store.
Expertise comprovada em engenharia de features em plataformas de ML corporativas (Feast, Tecton, Hopsworks ou equivalentes)
Domínio avançado de Apache Spark / PySpark para processamento distribuído em escala
Profundo conhecimento de Apache Iceberg e arquiteturas lakehouse (comparativo com Delta Lake e Hudi)
Expertise em Redis para feature serving em baixa latência, incluindo estratégias de cache invalidation e serialização eficiente
Experiência sólida com AWS e seus serviços de dados em produção (S3, Glue, EMR, Redshift, Athena)
Desejáveis:
Domínio de data lineage e catálogos de metadados (DataHub, OpenMetadata, Marquez) em produção;
Experiência com Amazon EMR: configuração, otimização de clusters e tuning de jobs Spark;
Expertise em práticas de MLOps com foco em versionamento e rastreabilidade de artefatos de dados;
Atuação anterior em contexto financeiro com dados de alta cardinalidade, alta frequência e requisitos regulatórios;
Conhecimento de ferramentas de qualidade de dados em escala (Great Expectations, Soda, dbt tests).
