Tipo de crédito
🚗
Auto
a partir 0,99%/m
🏠
Home Equity
a partir 0,69%/m
💼
Consignado
a partir 1,05%/m
FinOps · data lake metrics
FinOps é a prática de controlar o custo da nuvem. Guardar os dados em Parquet comprimido faz cada consulta varrer bem menos, máquinas Spot no EMR baratearam o processamento e o arquivamento automático reduziu o armazenamento. Números ilustrativos.
Storage (13 TB)
R$ 18.400/m
→
R$ 11.960/m
Eficiência de leitura
menos bytes por consulta
Parquet + Snappy vs CSV
−90% scan
Spot instances (EMR)
−70% compute
Economia total mensal
−35% custo
Pipeline de análise de risco
AWS Glue · EMR Spark · Redshift Spectrum
Latência:
:
🛠️ Como foi construído: os jobs eram empacotados em contêineres Docker e rodavam em Kubernetes e em clusters EMR, orquestrados pelo Airflow, com toda a infraestrutura criada por código com Terraform (a chamada Infraestrutura como Código). Assim dava para subir e desligar ambiente sob demanda e pagar só pelo que era usado.
Ingestão · S3 Parquet
Lê histórico de transações (90 dias) do data lake
IDLE
O ponto de partida Lê o histórico de transações (90 dias) guardado no data lake (o Amazon S3), já no formato Parquet, que é comprimido e rápido de ler. As tabelas eram gerenciadas com Apache Hudi: ele permite inserir e atualizar registros novos sem reprocessar a tabela inteira (o que se chama ingestão incremental) e ainda guarda o histórico de versões do dado.
Feature Engineering · PySpark
VectorAssembler: DSR, tx_count, stddev, diversity_score
IDLE
Prepara os dados Transforma os dados crus em números que o modelo consegue entender, as chamadas features: o DSR (a fatia da renda já comprometida com dívidas), a quantidade de transações, a variação dos gastos e a diversidade de categorias. Feito em PySpark para processar um volume enorme de dados em paralelo, em vários computadores ao mesmo tempo.
Modelo de risco · GBTClassifier
Árvores de decisão combinadas para estimar risco de inadimplência
IDLE
O cérebro da decisão GBT significa Gradient-Boosted Trees. Em vez de depender de uma única regra, o algoritmo combina várias árvores de decisão; cada nova árvore corrige parte do erro das anteriores. O conjunto estima a probabilidade de inadimplência, que é convertida em score: quanto maior o risco, menor o score. Nesta reconstrução, o processamento é representado com a MLlib, biblioteca de machine learning do Spark, e dados sintéticos.
Política de Crédito · Redshift Spectrum
Consulta histórico de pagamentos e bureau de crédito
IDLE
Cruza com o histórico Confere o resultado contra o histórico de pagamentos da pessoa e o bureau de crédito (tipo Serasa). O Redshift Spectrum consegue consultar esses dados direto no S3, sem precisar copiá-los para outro banco antes, o que economiza tempo e custo.
Decisão · Motor de Crédito
Compila score final, limite aprovado e taxa personalizada
IDLE
A resposta final Junta tudo (o score do modelo e a política de crédito) e devolve a decisão: aprovado ou não, com o limite, a taxa mensal e a parcela estimada. É o resultado que aparece no card à direita quando a análise termina.
Configure os parâmetros e clique em
"Analisar crédito" para rodar o pipeline
"Analisar crédito" para rodar o pipeline
Resultado da análise de crédito
APROVADO
:
RISK SCORE
APROVADO
Valor aprovado
:
Taxa mensal
:
Prazo máximo
:
DSR calculado
:
Garantia
:
Parcela estimada
:
:
tx / 90 dias
:
DSR ratio
:
diversidade
:
stddev R$
Volume lido por consulta · antes vs depois