Reestruturação e otimização de plataforma de dados em Databricks

Organizações que adotam plataformas de dados em nuvem enfrentam desafios recorrentes. À medida que o volume de dados e a complexidade das operações crescem, a plataforma precisa evoluir na mesma velocidade, amadurecendo processos, reforçando controles e ganhando eficiência para sustentar a operação em escala.

Esse era o contexto de uma grande empresa do setor imobiliário, que contou com a MG Info como parceira para reestruturar e otimizar sua plataforma de dados sem pausar a operação.

Desafio

O cliente precisava definir e otimizar sua plataforma de dados para acompanhar o crescimento do volume de dados e da complexidade das operações. O momento pedia uma revisão arquitetural que fortalecesse a governança, trouxesse mais previsibilidade de custos e elevasse a performance das cargas críticas.

O diagnóstico mapeou oportunidades relevantes de ganho de performance e eficiência de infraestrutura nos principais jobs da plataforma, além de espaço para consolidar estruturas e reduzir redundâncias acumuladas ao longo do tempo. As cargas SAP concentravam 97,4% do consumo computacional do ambiente, o que evidenciou a performance e o custo dessas rotinas como a frente prioritária de atuação.

Solução

A MG Info conduziu o assessment e a reestruturação/otimização da plataforma de dados, referenciando a Databricks como a melhor solução para o contexto do cliente, sem ruptura da operação e sem necessidade de migração tecnológica.

A iniciativa contemplou uma revisão arquitetural com fortalecimento da governança, revisão de acessos e credenciais, eliminação de redundâncias, padronização de ambientes e reengenharia das cargas críticas, especialmente as integrações SAP, com paralelização, particionamento e lógica incremental real.

Um diferencial importante do modelo de execução foi conduzir o trabalho em paralelo: uma frente sustentando as entregas para o negócio e outra conduzindo a evolução estrutural da plataforma, evitando parar tudo para redesenhar o ambiente.

Resultados

• Fortalecimento da governança do ambiente, com maior transparência e controle sobre os custos da plataforma;
• Potencial de redução superior a 50% no tempo de execução das cargas críticas, especialmente nas rotinas SAP;
• Ambiente analítico mais estável, auditável e escalável;
• Maximização do investimento já realizado, evitando uma migração estimada em 50% a 60% mais cara, sem ganho técnico proporcional para o perfil atual de uso.

Uma abordagem pragmática, que acelerou o amadurecimento da estratégia de dados da empresa e reorganizou a base tecnológica sem interromper o consumo de dados e relatórios pelas áreas de negócio.

‍