theJEN NOTESDEMO AO VIVO · DADOS SINTÉTICOS← Experiência Dafiti
D
Spark Migration LabDafiti · operação de dados
● AWS LAB
Modernização em movimento

Da query gigante
ao pipeline distribuído.

Jennifer levou Spark e AWS para ampliar a capacidade da engenharia. Ajuste o volume e compare a execução legada com PySpark no EMR.

Volume do lote500 milhões de linhas
100M900M
ANTESBigQuery SQL

processamento concentrado e consultas extensas

→
MODERNIZADOPySpark + EMR

particionamento, paralelismo e dados no S3

Corrida de processamentocenário ilustrativo
BigQuery legado—
PySpark · EMR—
🔒 Tempos, volumes e resultados desta interface são sintéticos e servem para explicar as decisões de arquitetura sem expor dados da empresa.
Execução observável

Veja o Spark trabalhar.

O lote percorre ingestão, transformação, qualidade e publicação com uma etapa visível por vez.

S3
Landing no Amazon S3partições por data e categoria
AGUARDA
⚡
PySpark no Amazon EMRshuffle, agregação e enriquecimento
AGUARDA
✓
Data qualityschema, completude e distribuição
AGUARDA
ML
IsolationForestscore de anomalia por SKU
AGUARDA
—partições processadas
—alertas gerados
Investigação de anomalias

Do score à hipótese.

Toque em um alerta para entender o desvio e escolher a próxima verificação.

Blusa Cropped Listrada0,97

201 vendas observadas para 47 esperadas.

+328%campanha?estoque?
Camiseta Básica Algodão0,96

6 vendas observadas para 95 esperadas.

−94%ruptura?tracking?
Plano de investigação

01Conferir saldo físico, reservas e pedidos em trânsito.
02Cruzar calendário de campanhas e mudança de preço.
03Validar ingestão do evento e reprocessar somente a partição afetada.
Traduzindo para o dia a dia

Mais escala, menos espera.

A modernização divide um processamento grande entre vários executores, guarda dados em formatos eficientes no S3 e permite investigar desvios sem parar toda a operação.

PySparkprocessamento distribuído
EMRcapacidade elástica
S3armazenamento desacoplado
Airfloworquestração rastreável