Formato colunar (Parquet), compressão (Snappy) e particionamento alinhado às consultas. A arquitetura reduz bytes lidos, evita varreduras desnecessárias e torna custo e latência mais previsíveis.
Era um depósito de 13 TB sem etiquetas: para achar qualquer coisa, era preciso revirar tudo. A reorganização transformou o depósito em um mercado com corredores identificados: a consulta vai direto à prateleira certa (partição) e pega só os itens da lista (colunas). Na prática, menos dados são lidos e cada consulta consome somente o necessário.
13 TB sem padrão: arquivos de todo tipo, sem particionamento, e cada consulta lia o volume inteiro mesmo precisando de uma fatia.
Três zonas (Raw, Trusted, Refined), conversão para Parquet com Snappy e particionamento por data e produto, seguindo os filtros mais usados.
Cada consulta lê só a fatia necessária: menos partições, menos colunas, menos bytes varridos e custo por execução mais controlado.
Arquivos no S3 são imutáveis: não existe "editar". O Apache Hudi é a camada que resolve isso. Os cartões abaixo explicam como, e a simulação mostra a diferença na prática.
Corrigir um registro no data lake era como reimprimir um livro inteiro para consertar uma linha. Com o Hudi, cada registro tem um "endereço" (a chave) e só a página certa é trocada. E o livro ainda ganha um histórico de edições: dá para saber o que mudou, quando mudou e ler só as páginas alteradas.
Para corrigir um único registro era preciso reescrever partições inteiras ou a tabela toda: horas de reprocessamento para mudanças pequenas.
Apache Hudi nas tabelas que mudam com frequência: registros identificados por chave, atualização pontual (upsert) e leitura só do que mudou.
Reprocessamentos completos eliminados: só os arquivos afetados são reescritos e os pipelines seguintes processam apenas o delta.
Cada registro tem uma record key, como o número do contrato. Se a chave já existe na tabela, o Hudi atualiza; se não existe, insere. Se chegam duas versões do mesmo registro, um campo de desempate (a data de atualização) decide qual vence.
Toda gravação vira um commit com data e hora em uma linha do tempo. Isso dá auditoria (o que mudou e quando), permite voltar a estados anteriores e é a base da leitura incremental.
Em vez de varrer a tabela inteira, o consumidor pergunta: "o que mudou desde o commit X?" e recebe só a diferença. Os pipelines seguintes processam as mudanças, não o histórico completo.
Na gravação, o Hudi localiza somente os arquivos que contêm as chaves afetadas e reescreve só esses. A leitura continua sendo Parquet puro e rápido: ideal para cargas analíticas, onde se lê muito mais do que se escreve.
Nenhum lote entra na camada de consumo sem passar nos contratos de dados do Great Expectations. Injete defeitos e veja o pipeline reagir.
É um inspetor de qualidade na esteira da fábrica: cada lote de dados passa por uma bateria de testes antes de chegar "à loja" (os relatórios e modelos de crédito). Se um lote vem com defeito, a esteira para na hora e o lote vai para a quarentena. Antes, o defeito só era descoberto quando o cliente reclamava.
Dados inválidos avançavam sem ninguém perceber, até aparecerem errados em um relatório ou dentro de um modelo de risco.
Great Expectations no meio do pipeline: regras declaradas (os "contratos") validadas em cada lote, antes da promoção para consumo.
Dado corrompido parou de chegar à camada de consumo. Qualidade virou etapa automática do fluxo, não conferência manual.
Três ferramentas que parecem concorrentes, mas protegem coisas diferentes. Dispare um incidente e veja qual camada responde, e por que as outras não resolveriam.
É como a segurança de um carro: cinto, airbag e seguro. O cinto (Hudi) organiza e segura os dados no dia a dia. O airbag (S3 Versioning) salva quando acontece um acidente: alguém apagou ou sobrescreveu um arquivo. E o seguro (Lifecycle) cuida do custo: define por quanto tempo vale a pena guardar as versões antigas. Um não substitui o outro, e é por isso que os três existem juntos.
Proteger o lake contra três riscos diferentes: arquivo sobrescrito por engano, registros que precisam ser atualizados e custo crescente das versões antigas.
Cada risco com a ferramenta do seu nível: Hudi no lógico (registros), S3 Versioning no físico (arquivos), Lifecycle na retenção e no custo.
Recuperação garantida, atualização pontual e custo sob controle, sem uma ferramenta invadindo o papel da outra.
| Camada | O que ela faz | O que ela NÃO faz |
|---|---|---|
| Apache Hudi | Atualiza registros por chave, guarda o histórico, lê só o que mudou | Não protege o arquivo físico contra sobrescrita |
| S3 Versioning | Recupera arquivos sobrescritos ou excluídos | Não entende tabela, chave nem registro |
| S3 Lifecycle | Define retenção e custo para cada versão ao longo do tempo | Não recupera objetos sozinho; trabalha em conjunto com o S3 Versioning |
O lakeFS prometia versionamento estilo Git para o data lake. Uma prova de conceito com 5 critérios respondeu se valia introduzir mais uma ferramenta na plataforma.
Foi um test-drive completo antes de decidir não comprar o carro. A ferramenta era boa e cheia de recursos, mas o que a plataforma realmente precisava (recuperar arquivos apagados por engano) já era resolvido pelo que a AWS oferece de fábrica. Adotar mesmo assim significaria pagar para sempre a manutenção de algo que não seria usado.
Recursos sofisticados à disposição versus o custo permanente de operar mais uma ferramenta. Adotar ou não?
Prova de conceito com 5 critérios objetivos, comparando o ganho de cada recurso com o custo de sustentar a ferramenta.
A necessidade era recuperar arquivos, e isso o stack nativo já fazia. lakeFS arquivado como opção futura, não como carência atual.
O lakeFS não foi descartado por ser ruim: ele oferecia mais recursos do que a plataforma precisava. A combinação nativa já entregava recuperação de arquivos, atualização incremental, histórico e retenção controlada, com integração direta à AWS e menor custo de manutenção. O lakeFS ficou registrado como alternativa para o futuro, caso surja demanda concreta por experimentação paralela de dados.
"Arquitetura não é escolher a ferramenta mais sofisticada. É atender ao que o negócio precisa com o melhor equilíbrio entre capacidade, custo e manutenção."
Armazenamento, versionamento, regras de custo e cluster de processamento declarados em Terraform. Rode o plano e veja o ambiente inteiro nascer, e renascer idêntico.
É a diferença entre cozinhar de cabeça e ter a receita escrita. Sem receita, cada ambiente saía diferente e ninguém sabia o que tinha sido mudado. Com a infraestrutura escrita em código, qualquer ambiente é recriado idêntico, toda mudança fica registrada e passa por revisão antes de valer, como acontece com qualquer código.
Configurações manuais divergiam entre ambientes, sem histórico de quem mudou o quê. Recriar o ambiente era artesanato.
100% da infraestrutura declarada em Terraform, jobs empacotados em Docker, rodando em Kubernetes ou EMR conforme o tipo de carga.
Ambientes reproduzíveis e auditáveis: a mesma declaração recria tudo idêntico, e cada mudança passa por revisão.
O que a plataforma entregou depois das seis decisões, em produção e sem interromper quem consumia os dados.