Creditas · Data Platform Interativa

Creditas · Data Platform demonstração interativa do case
● DEMO AO VIVO · DADOS SINTÉTICOS ← Voltar ao case completo
🏗️
Decisão 01 · Reestruturação do Data Lake

A mesma consulta, 200× menos dados lidos.

Formato colunar (Parquet), compressão (Snappy) e particionamento alinhado às consultas. A arquitetura reduz bytes lidos, evita varreduras desnecessárias e torna custo e latência mais previsíveis.

💡
Traduzindo para o dia a dia

Era um depósito de 13 TB sem etiquetas: para achar qualquer coisa, era preciso revirar tudo. A reorganização transformou o depósito em um mercado com corredores identificados: a consulta vai direto à prateleira certa (partição) e pega só os itens da lista (colunas). Na prática, menos dados são lidos e cada consulta consome somente o necessário.

01
Desafio

13 TB sem padrão: arquivos de todo tipo, sem particionamento, e cada consulta lia o volume inteiro mesmo precisando de uma fatia.

02
Decisão

Três zonas (Raw, Trusted, Refined), conversão para Parquet com Snappy e particionamento por data e produto, seguindo os filtros mais usados.

03
Resultado

Cada consulta lê só a fatia necessária: menos partições, menos colunas, menos bytes varridos e custo por execução mais controlado.

Teste você mesma · "score médio do produto AUTO no último mês"
Partições · 12 meses × 2 produtos · cada quadrado é uma "gaveta" de dados no S3
Colunas da tabela · Parquet lê só as necessárias · CSV é obrigado a ler todas
Clique em um dos dois botões acima e compare quanto cada modo precisa ler para dar a mesma resposta.
📥
Decisão 02 · Processamento Incremental

Apache Hudi: atualizar sem reprocessar tudo.

Arquivos no S3 são imutáveis: não existe "editar". O Apache Hudi é a camada que resolve isso. Os cartões abaixo explicam como, e a simulação mostra a diferença na prática.

📖
Traduzindo para o dia a dia

Corrigir um registro no data lake era como reimprimir um livro inteiro para consertar uma linha. Com o Hudi, cada registro tem um "endereço" (a chave) e só a página certa é trocada. E o livro ainda ganha um histórico de edições: dá para saber o que mudou, quando mudou e ler só as páginas alteradas.

01
Desafio

Para corrigir um único registro era preciso reescrever partições inteiras ou a tabela toda: horas de reprocessamento para mudanças pequenas.

02
Decisão

Apache Hudi nas tabelas que mudam com frequência: registros identificados por chave, atualização pontual (upsert) e leitura só do que mudou.

03
Resultado

Reprocessamentos completos eliminados: só os arquivos afetados são reescritos e os pipelines seguintes processam apenas o delta.

🔑

Upsert por chave insert + update na mesma operação

Cada registro tem uma record key, como o número do contrato. Se a chave já existe na tabela, o Hudi atualiza; se não existe, insere. Se chegam duas versões do mesmo registro, um campo de desempate (a data de atualização) decide qual vence.

🕐

Timeline de commits o histórico da tabela

Toda gravação vira um commit com data e hora em uma linha do tempo. Isso dá auditoria (o que mudou e quando), permite voltar a estados anteriores e é a base da leitura incremental.

⚡

Leitura incremental ler só o que mudou

Em vez de varrer a tabela inteira, o consumidor pergunta: "o que mudou desde o commit X?" e recebe só a diferença. Os pipelines seguintes processam as mudanças, não o histórico completo.

📄

Copy-on-Write o modo usado neste case

Na gravação, o Hudi localiza somente os arquivos que contêm as chaves afetadas e reescreve só esses. A leitura continua sendo Parquet puro e rápido: ideal para cargas analíticas, onde se lê muito mais do que se escreve.

Teste você mesma · chegou atualização do contrato C-103, score recalculado
A tabela tem 6 arquivos Parquet, 2 contratos por arquivo. Clique em um modo e veja quantos arquivos cada abordagem precisa reescrever.
Timeline de commits · o histórico da tabela
20220901104500 · commit · carga inicial · 12 registros
✅
Decisão 03 · Qualidade Automatizada

O portão que barra dado ruim.

Nenhum lote entra na camada de consumo sem passar nos contratos de dados do Great Expectations. Injete defeitos e veja o pipeline reagir.

🏭
Traduzindo para o dia a dia

É um inspetor de qualidade na esteira da fábrica: cada lote de dados passa por uma bateria de testes antes de chegar "à loja" (os relatórios e modelos de crédito). Se um lote vem com defeito, a esteira para na hora e o lote vai para a quarentena. Antes, o defeito só era descoberto quando o cliente reclamava.

01
Desafio

Dados inválidos avançavam sem ninguém perceber, até aparecerem errados em um relatório ou dentro de um modelo de risco.

02
Decisão

Great Expectations no meio do pipeline: regras declaradas (os "contratos") validadas em cada lote, antes da promoção para consumo.

03
Resultado

Dado corrompido parou de chegar à camada de consumo. Qualidade virou etapa automática do fluxo, não conferência manual.

Teste você mesma · injete defeitos no lote e tente promover
💉 CPF nulo em 2 registros
💉 Score 1.240 · fora de 0 a 1000
💉 Volume 40% abaixo do esperado
colunas obrigatórias existem · cpf_hash, score, dsr
nenhum CPF nulo · campo crítico preenchido
score dentro do intervalo · 0 a 1000
volume do lote compatível com o padrão histórico
🔐
Decisão 04 · Proteção em Três Níveis

Hudi, Versioning e Lifecycle: cada um no seu nível.

Três ferramentas que parecem concorrentes, mas protegem coisas diferentes. Dispare um incidente e veja qual camada responde, e por que as outras não resolveriam.

🚗
Traduzindo para o dia a dia

É como a segurança de um carro: cinto, airbag e seguro. O cinto (Hudi) organiza e segura os dados no dia a dia. O airbag (S3 Versioning) salva quando acontece um acidente: alguém apagou ou sobrescreveu um arquivo. E o seguro (Lifecycle) cuida do custo: define por quanto tempo vale a pena guardar as versões antigas. Um não substitui o outro, e é por isso que os três existem juntos.

01
Desafio

Proteger o lake contra três riscos diferentes: arquivo sobrescrito por engano, registros que precisam ser atualizados e custo crescente das versões antigas.

02
Decisão

Cada risco com a ferramenta do seu nível: Hudi no lógico (registros), S3 Versioning no físico (arquivos), Lifecycle na retenção e no custo.

03
Resultado

Recuperação garantida, atualização pontual e custo sob controle, sem uma ferramenta invadindo o papel da outra.

Teste você mesma · dispare um cenário
📥
Apache Hudi · nível lógico
Entende a tabela: chaves, commits, quais arquivos formam o estado válido. Faz a atualização pontual e a leitura incremental.
🛟
S3 Versioning · nível físico
Entende o arquivo: sobrescreveu ou apagou? A versão anterior fica guardada, pronta para restaurar.
⏳
S3 Lifecycle · retenção e custo
Entende o tempo: decide quanto tempo as versões antigas vivem e quando descem para armazenamento mais barato.
CamadaO que ela fazO que ela NÃO faz
Apache HudiAtualiza registros por chave, guarda o histórico, lê só o que mudouNão protege o arquivo físico contra sobrescrita
S3 VersioningRecupera arquivos sobrescritos ou excluídosNão entende tabela, chave nem registro
S3 LifecycleDefine retenção e custo para cada versão ao longo do tempoNão recupera objetos sozinho; trabalha em conjunto com o S3 Versioning
🔬
Decisão 05 · Avaliação de Tecnologia

POC lakeFS: a maturidade de dizer não.

O lakeFS prometia versionamento estilo Git para o data lake. Uma prova de conceito com 5 critérios respondeu se valia introduzir mais uma ferramenta na plataforma.

🚙
Traduzindo para o dia a dia

Foi um test-drive completo antes de decidir não comprar o carro. A ferramenta era boa e cheia de recursos, mas o que a plataforma realmente precisava (recuperar arquivos apagados por engano) já era resolvido pelo que a AWS oferece de fábrica. Adotar mesmo assim significaria pagar para sempre a manutenção de algo que não seria usado.

01
Desafio

Recursos sofisticados à disposição versus o custo permanente de operar mais uma ferramenta. Adotar ou não?

02
Decisão

Prova de conceito com 5 critérios objetivos, comparando o ganho de cada recurso com o custo de sustentar a ferramenta.

03
Resultado

A necessidade era recuperar arquivos, e isso o stack nativo já fazia. lakeFS arquivado como opção futura, não como carência atual.

Os 5 critérios da POC · clique para abrir cada avaliação
1 · Precisamos de "ramificações" de dados para experimentos? abrir ›
Avaliação: branches de dados servem para testar grandes mudanças em paralelo sem afetar a produção. Os pipelines da Creditas não tinham essa demanda: não havia experimentação paralela nem publicação via merge. Veredito parcial: recurso sem uso previsto.
2 · Precisamos recuperar arquivos apagados ou sobrescritos? abrir ›
Avaliação: sim, essa era a necessidade número um. Mas o S3 Versioning, nativo da AWS, já guarda a versão anterior de qualquer arquivo sobrescrito ou apagado. Veredito parcial: já resolvido sem ferramenta nova.
3 · Como fica a integração com o restante da AWS? abrir ›
Avaliação: Glue, EMR, Athena e Redshift conversam diretamente com o S3. O lakeFS entraria como intermediário no caminho de todos eles, um pedágio a mais em cada integração. Veredito parcial: atrito de integração.
4 · Quanto custa operar mais essa ferramenta? abrir ›
Avaliação: mais um serviço para instalar, monitorar, escalar e manter, com banco de metadados próprio que vira ponto crítico. Para um time enxuto, custo alto pelo benefício. Veredito parcial: complexidade não justificada.
5 · E o custo de guardar as versões? abrir ›
Avaliação: versões ocupam espaço em qualquer solução. Com S3 Versioning + Lifecycle, o custo já era controlado por regra automática, sem camada extra para administrar. Veredito parcial: empate técnico, vantagem operacional do nativo.

Decisão: manter S3 Versioning + Lifecycle + Apache Hudi

O lakeFS não foi descartado por ser ruim: ele oferecia mais recursos do que a plataforma precisava. A combinação nativa já entregava recuperação de arquivos, atualização incremental, histórico e retenção controlada, com integração direta à AWS e menor custo de manutenção. O lakeFS ficou registrado como alternativa para o futuro, caso surja demanda concreta por experimentação paralela de dados.

"Arquitetura não é escolher a ferramenta mais sofisticada. É atender ao que o negócio precisa com o melhor equilíbrio entre capacidade, custo e manutenção."

📦
Decisão 06 · Infraestrutura como Código

Nada criado na mão: tudo nasce do código.

Armazenamento, versionamento, regras de custo e cluster de processamento declarados em Terraform. Rode o plano e veja o ambiente inteiro nascer, e renascer idêntico.

🧁
Traduzindo para o dia a dia

É a diferença entre cozinhar de cabeça e ter a receita escrita. Sem receita, cada ambiente saía diferente e ninguém sabia o que tinha sido mudado. Com a infraestrutura escrita em código, qualquer ambiente é recriado idêntico, toda mudança fica registrada e passa por revisão antes de valer, como acontece com qualquer código.

01
Desafio

Configurações manuais divergiam entre ambientes, sem histórico de quem mudou o quê. Recriar o ambiente era artesanato.

02
Decisão

100% da infraestrutura declarada em Terraform, jobs empacotados em Docker, rodando em Kubernetes ou EMR conforme o tipo de carga.

03
Resultado

Ambientes reproduzíveis e auditáveis: a mesma declaração recria tudo idêntico, e cada mudança passa por revisão.

Teste você mesma · o mesmo código em qualquer ambiente
# Exemplo didático (dados e nomes fictícios) # Passo 1: clique em "terraform plan" para ver o que o código declara.
🏆
O que ficou de pé

Resultado: números que o negócio sente.

O que a plataforma entregou depois das seis decisões, em produção e sem interromper quem consumia os dados.

13 TB
de data lake reestruturado em produção, sem interromper os consumidores
leitura seletiva
menos partições, menos colunas e menos bytes lidos por consulta
−35%
custo de armazenamento: compressão, compactação e regras de custo por idade do dado
0 reproc.
reprocessamentos completos eliminados nas tabelas com Hudi: só a diferença é processada
100% IaC
infraestrutura declarada em Terraform: reproduzível, versionada e revisável
1 POC
lakeFS avaliado com critérios objetivos e arquivado: decisão fundamentada
O data lake de 13 TB passou a operar com leitura seletiva, menor volume varrido e custo de armazenamento 35% menor. A qualidade virou etapa automática do fluxo: com o Great Expectations validando cada lote antes da promoção, dado inválido parou de chegar às análises e aos modelos de risco. O Apache Hudi permite atualizações incrementais nas tabelas configuradas para isso; o S3 Versioning permite recuperar versões preservadas, conforme ativação, permissões e retenção e o Lifecycle manteve o custo dessa proteção sob controle. A POC do lakeFS confirmou a maturidade da decisão: nenhuma camada além do necessário. Tudo sobre uma infraestrutura 100% escrita em código, reproduzível em qualquer ambiente.
⚠️ Simulação didática com dados e nomes fictícios. Nenhum trecho contém credenciais, recursos internos, dados de clientes ou informações sensíveis da Creditas ou de qualquer outra empresa.