Redução de 45% no esforço de migração de SSIS para Databricks com IA

Grandes projetos de modernização de dados têm falhado por conta da execução. Quando o volume de legado é muito grande, os prazos apertam e as estimativas de esforço assustam, até mesmo as iniciativas mais bem planejadas perdem tração.

Ao se deparar com essa situação, uma das maiores empresas de logística ferroviária do Brasil solicitou o nosso apoio. A organização havia tomado a decisão de migrar toda a sua infraestrutura de integração de dados do SQL Server Integration Services (SSIS) para o Databricks, consolidando sua plataforma de dados em um ambiente mais escalável e governado. O problema era o volume de trabalho à frente.

O desafio

O legado da empresa era extenso: aproximadamente 2 mil pacotes de SSIS desenvolvidos ao longo de anos, cada um contendo fluxos ETL com suas particularidades, dependências e complexidades. Migrar esse volume é uma operação de engenharia de precisão que exige leitura de código, compreensão de regras de negócio, reescrita em PySpark e validação em ambiente de produção.

A estimativa inicial feita pela própria equipe do cliente chegou a 30 mil horas de trabalho para uma migração completa de forma manual. Um número que, na prática, inviabilizaria o projeto dentro de qualquer janela de tempo razoável.

Diante desse cenário, conseguimos apresentar uma abordagem que combinava eficiência real com viabilidade de prazo e custo.

A solução

Nossa iniciativa partiu da premissa de que se o problema é repetição em escala, a resposta é automação inteligente. Em vez de escalar o time de engenharia linearmente para dar conta do volume, utilizamos a IA nativa da própria Databricks (sem ferramentas externas, sem custo adicional de licenciamento e sem dependência de plataformas de terceiros) como acelerador.

O núcleo da solução é o Genie. Para que ele atuasse como um engenheiro de dados experiente, investimos na construção de um prompt especializado com cerca de 100 linhas de instrução refinadas iterativamente. Esse prompt ensina o agente a compreender a lógica dos pacotes SSIS, mapear os fluxos ETL, tratar exceções e produzir código PySpark idiomático e pronto para revisão.

O fluxo de trabalho funciona assim:

• Os 2 mil pacotes SSIS (arquivos .dtsx) são carregados em um volume Databricks dentro do Unity Catalog, centralizando o acervo em um repositório único e governado.

• O Genie é acionado para ler cada pacote armazenado no volume e executar a refatoração automática dos fluxos ETL para código PySpark otimizado. Tudo isso em cerca de 5 minutos por pacote.

O resultado são Notebooks Databricks gerados automaticamente, prontos para validação e execução. A revisão humana foca nos ajustes necessários após a geração automatizada dos notebooks. A solução já foi validada tecnicamente com pacotes em ambiente de produção, confirmando tanto a qualidade do código gerado quanto a aderência às regras de negócio da empresa.

A solução já foi validada tecnicamente com pacotes em ambiente de produção, confirmando tanto a qualidade do código gerado quanto a aderência às regras de negócio da empresa.

Os resultados

A solução proporcionou uma redução de aproximadamente 45% no esforço das migrações utilizando IA. Na prática, os projetos passam a consumir cerca de 55% do esforço originalmente estimado.

A produtividade dos engenheiros aumentou significativamente com o apoio da IA, reduzindo o esforço necessário para a execução das migrações e acelerando a entrega dos projetos. Agora, cada refatoração automática leva, em média, 5 minutos. Com isso, os engenheiros são liberados para outras tarefas que exigem o julgamento humano.

O modelo de revisão inverteu a lógica tradicional, o que significa que, em vez de escrever tudo e revisar pontualmente, o time recebe os notebooks prontos e ajusta o que for necessário.

A inteligência na abordagem transforma uma migração que poderia durar anos em uma que entrega resultados em meses, independentemente do tamanho do time. Ao utilizar a IA como aceleradora dentro da própria plataforma do cliente, eliminamos fricção, reduzimos dependências externas e criamos um ativo que pode ser refinado e expandido ao longo de todo o projeto. Enquanto o prompt evolui a cada ciclo, o agente aprende com os ajustes e o processo fica mais preciso com o tempo.

Entregamos para o cliente uma iniciativa com escopo controlado, prazo viável e custo previsível.

Quer entender como essa abordagem pode ser aplicada ao seu projeto de dados? Entre em contato conosco!

‍