Dafiti · Anomaly Detector

D
Dafiti · ML Anomaly Detector
● DEMO AO VIVO · DADOS SINTÉTICOS ← case completo
Spark e AWS como alavancas de escala

Jennifer levou processamento distribuído para a engenharia de dados da Dafiti.

Esta reconstrução mostra a modernização de cargas antes concentradas em consultas BigQuery para pipelines PySpark no Amazon EMR, com dados no Amazon S3 e orquestração Airflow. A mudança abriu espaço para processar volumes maiores, reduzir gargalos e incorporar detecção de anomalias à operação de e-commerce.

BigQueryPySparkAmazon EMRAmazon S3AirflowIsolationForestData Quality
500Mlinhas no cenário didático
12×comparativo ilustrativo
3 cenáriosnormal, campanha e pico
1 investigaçãodo alerta à ação
ETL · 500M rows
BigQuery SQL
8 min
PySpark · EMR
40 s
12× mais rápido
Cenário
📦 Catálogo · Detecção de anomalias por SKU
Aguardando scan…
Produto
Hoje
Esperado
Variação
Anomaly Score
Status
Investigação orientada
Execute o scan e escolha um SKU
O painel cruza venda atual, comportamento esperado e score. Depois do scan, clique em qualquer linha para abrir uma hipótese e a próxima ação recomendada.
Resumo do scan
—
SKUs analisados
—
Anomalias
—
Tempo scan
—
Falso positivo
🔔 Slack · #operacoes-estoque
DafitiBotOntem 14:02
✅ Scan anterior: 12 SKUs normais. Nenhuma reposição urgente.
🤖 Modelo · IsolationForest
AlgoritmoIsolationForest
Contaminação5%
Janela histórica6 meses / SKU
Featuresmean, std, trend_7d
Schedule Airflowa cada 2h
Falso positivo< 8%
🏠 Início Conquistas Competências Serviços Contato
Ada Lovelace
✶ Quem me inspira
Ada Lovelace
Sua lição: tenha visão de futuro e olhe além do óbvio. Escreveu o primeiro algoritmo da história.
Grace Hopper
✶ Quem me inspira
Grace Hopper
Sua lição: simplifique o complexo e torne o conhecimento acessível. Criou o primeiro compilador.
Joan Clarke
✶ Quem me inspira
Joan Clarke
Sua lição: talento não tem gênero. Decifrou comunicações nazistas com Alan Turing na 2ª Guerra.
Mulheres do ENIAC
✶ Quem me inspira
Mulheres do ENIAC
Sua lição: em 1945, seis mulheres programaram o primeiro computador eletrônico de grande escala da história.