Santander · Big Data Pipeline

E
Santander · Big Data Pipeline
● DEMO AO VIVO · DADOS SINTÉTICOS ← case completo
Escolha uma entrega para acompanhar

Execute o lote completo ou foque um fluxo de negócio. Tabelas, etapas, reconciliação e publicação mudam de estado.

0
Tabelas ingeridas
0
Registros totais
:
Tempo total
Hive
Consumo · Impala
Cloudera / Hadoop
Plataforma
📋 Tabelas · Oracle → HDFS
⚙️ Pipeline · Sqoop → Spark → Hive → Impala
aguardando batch…
🗄️
Oracle JDBC
extração incremental
→
⚙️
Sqoop
8 mappers paralelos
→
📁
HDFS
parquet + snappy
→
⚡
Spark
transform + validate
→
📊
Hive
refined.table
Registros técnicos do lote
══════════════════════════════════════════════ Santander · Big Data Pipeline Sqoop + Spark + Cloudera / Hadoop · Hadoop ══════════════════════════════════════════════ Clique em ▶ Iniciar batch para executar a ingestão.
🏠 Início Conquistas Competências Serviços Contato
Ada Lovelace
✶ Quem me inspira
Ada Lovelace
Sua lição: tenha visão de futuro e olhe além do óbvio. Escreveu o primeiro algoritmo da história.
Grace Hopper
✶ Quem me inspira
Grace Hopper
Sua lição: simplifique o complexo e torne o conhecimento acessível. Criou o primeiro compilador.
Joan Clarke
✶ Quem me inspira
Joan Clarke
Sua lição: talento não tem gênero. Decifrou comunicações nazistas com Alan Turing na 2ª Guerra.
Mulheres do ENIAC
✶ Quem me inspira
Mulheres do ENIAC
Sua lição: em 1945, seis mulheres programaram o primeiro computador eletrônico de grande escala da história.