Voltar à experiência no Itaú
Itaú · Open Finance
Case 03 · Itaú › Open Finance

Da renda declarada
a uma visão mais completa do cliente.

Resultados reais do hackathon Batalha de Dados · Itaú Unibanco: amostra de 720 mil clientes PF, cerca de 500 milhões de eventos e 847 variáveis. O modelo XGBoost desenvolvido pela equipe alcançou AUC de 0,87 na avaliação do projeto.

Sticker Jen
Para entender em 1 minuto

O que esse projeto resolveu?

O cadastro de renda nem sempre acompanha a vida financeira de uma pessoa. Nosso projeto no hackathon investigou como as movimentações de diferentes bancos poderiam complementar essa informação e apoiar uma análise de crédito mais contextualizada.

O desafio

Organizar um grande volume de movimentações e distinguir renda recorrente de transferências entre contas, estornos e outros valores que não representam renda nova.

A proposta da equipe

Transformar os dados em indicadores, treinar um modelo para reconhecer padrões associados ao pagamento e entregar uma informação adicional para a área de crédito.

O resultado do hackathon

2º lugar, amostra de 720 mil clientes PF, cerca de 500 milhões de eventos, 847 variáveis e AUC 0,87. Esses são resultados históricos do projeto; a experiência navegável abaixo foi reconstruída.

Para explicar numa conversa: “No hackathon, nosso time conectou engenharia de dados e modelagem para complementar a visão de capacidade de pagamento. O modelo ajudava a análise; a decisão de conceder crédito continuava dependendo da política e da avaliação de risco.”

🔒 Resultados reais do hackathon. Experiência reconstruída para o portfólio. Este case documenta minha participação no hackathon interno Batalha de Dados · Itaú Unibanco, com dados fornecidos anonimizados pela organização em ambiente controlado. Os números históricos se referem ao projeto realizado pela equipe no evento. O dashboard e o aplicativo foram reconstruídos com dados fictícios nas visualizações e interações, sem reproduzir registros individuais de clientes.
92,23%
dado informado · discrepância de renda no estudo
R$3,2B
estimativa do hackathon · potencial de expansão de carteira, sujeito à análise de risco
0,87
avaliação do hackathon · AUC XGBoost · +16pp vs. baseline interno (0,71)

O número que ganhou o hackathon

Segundo os dados fornecidos sobre o estudo, 92,23% da base considerada apresentava discrepância entre a renda informada e a recebida observada. Uma faixa de 20% foi adotada como critério estratégico de comparação. O total informado de clientes PF era de 720 mil.

A divergência pode ocorrer para cima ou para baixo: não significa que todos esses clientes tinham renda subestimada ou poderiam receber mais crédito. O resultado mostrou a importância de complementar o cadastro com evidências do comportamento financeiro.

O desafio: usar os dados disponíveis via BACEN Open Finance para reconstruir a renda real de cada cliente a partir dos fluxos de caixa observados em todos os bancos onde ele opera.

Solução em 3 camadas

1. Ingestão cross-bank: via BACEN Open Finance, coletamos 12 meses de transações do cliente em todos os bancos declarados. ~500M eventos normalizados em schema canônico via Kafka.

2. Feature engineering: PySpark/Databricks gerando 847 variáveis cross-bank: renda média observada, regularidade de depósitos, debt service ratio total, sazonalidade, diversidade de credores.

3. Modelo XGBoost: score de Real Capacidade de Pagamento de 0 a 1000 por cliente. Na avaliação do hackathon, o modelo da equipe alcançou AUC 0,87 vs. 0,71 do baseline interno. A proposta era apoiar a política de crédito como variável auxiliar, sem substituir a análise de risco.

BACEN Open Finance XGBoost · MLflow PySpark · Databricks Kafka Python · scikit-learn OAuth2 · PKCE Privacidade · consentimento PostgreSQL Redis

🔓 App Itaú: Real Capacidade de Pagamento

6 telas reconstruídas para demonstrar a proposta do hackathon: do painel inicial à oferta simulada, com aumento ilustrativo de limite de 87,5%. Os dados das interações são fictícios; os resultados históricos do projeto estão identificados separadamente.

🔓 Abrir app interativo → 📊 Ver dashboard analítico →
01 Home: painel com teaser "você pode ter mais limite"
02 Seleção de bancos: checkbox interativo (Bradesco, BB, Santander, Nubank...)
03 Consentimento simulado: finalidade, autorização e revogação
04 Análise: progresso por banco, feature engineering, modelo em tempo real
05 Score: 782/1000, renda declarada R$5k vs estimada R$8,4k, breakdown
06 Oferta: limite R$15k (era R$8k), empréstimo pré-aprovado, Pix parcelado
Explore os resultados

Demo analítica: o que olhar no dashboard?

O app mostra a experiência do cliente. O dashboard mostra como a equipe pode interpretar os dados e avaliar o modelo. Os indicadores históricos estão identificados; os pontos, distribuições e exemplos navegáveis são fictícios.

Divergência de renda

Compara o valor cadastrado com o observado nas movimentações. Divergência não significa fraude e pode ocorrer para cima ou para baixo.

Score e variáveis

O score organiza a leitura de risco. As variáveis mostram quais informações entram na análise, como regularidade de depósitos e compromissos financeiros.

Avaliação e projeções

A AUC descreve uma avaliação do modelo. O potencial de carteira é uma estimativa do estudo, não uma oferta aprovada nem uma garantia de resultado em produção.

Abrir dashboard analítico →

Arquitetura do sistema: pipeline end-to-end

Pense na arquitetura como um mapa de trabalho: primeiro obter autorização, depois organizar os dados, produzir indicadores e apoiar uma decisão. Cada caixa abaixo tem uma função; o desenho explica o fluxo, não representa uma conexão deste site com sistemas do banco.

Do consentimento à análise de capacidade de pagamento O cliente autoriza o compartilhamento. Os dados são reunidos e padronizados, transformados em indicadores e avaliados pelo modelo. O score resultante apoia a política de crédito. App cliente Solicita consentimento BACEN Open Finance OAuth2 · redirect por banco Consent Manager OAuth2 PKCE · escopo · revogação Data Aggregator Schema canônico · adapters por banco Feature Engineering Income reconstruction · cross-bank features · 847 variáveis · PySpark Modelo ML: Real Capacidade de Pagamento XGBoost · score 0 a 1000 · 720K clientes PF · AUC 0,87
Credit Policy Engine
Limite ajustado · oferta personalizada
Dashboard cliente
Score · comparativo · oferta desbloqueada
Como funciona cada camada
🏦
BACEN Open Finance
É a etapa de autorização do compartilhamento. O cliente escolhe quais instituições e informações deseja autorizar. A integração utiliza canais e credenciais próprios, sem pedir que a pessoa entregue sua senha ao portfólio. Aqui, o fluxo é apenas simulado.
⚡
Data Aggregator
Reúne as movimentações e coloca os campos de diferentes origens num mesmo formato. Pense em traduzir vários extratos para uma planilha comum. No desenho do projeto, Kafka transporta os eventos; o estudo histórico trabalhou com cerca de 500 milhões deles.
⚙️
Feature Engineering
Transforma transações em informações úteis para o modelo, chamadas features: por exemplo, renda observada, regularidade de depósitos e compromissos financeiros. O estudo utilizou 847 variáveis. PySpark distribui o processamento; Databricks organiza o ambiente de trabalho.
🧠
XGBoost · MLflow
O XGBoost aprende padrões a partir de exemplos com resultados históricos conhecidos. O modelo da equipe alcançou AUC 0,87 na avaliação do hackathon, contra 0,71 do baseline. O MLflow registra experimentos e versões. A AUC não equivale ao percentual de clientes classificados corretamente.
📊
Credit Policy Engine
Combina o score com regras e outros sinais da análise de crédito. É como levar uma informação adicional para uma reunião: ela ajuda, mas não toma a decisão sozinha. Limites e reduções de inadimplência apresentados como projeções não são resultados comprovados de uma política implantada.
🔒
LGPD + Segurança
O desenho deve prever acesso restrito, proteção dos dados, registro das operações e gestão do consentimento. Prazos e regras de retenção precisam ser definidos no contexto aplicável, não por uma regra universal de 30 dias. Esta reconstrução não acessa contas bancárias nem expõe registros de clientes.
Sem precisar saber machine learning

Entenda o pipeline, uma etapa por vez

Pipeline é uma sequência organizada de etapas. Imagine uma cozinha: receber os ingredientes não é o mesmo que preparar a receita. Aqui, receber transações não basta: elas precisam ser conferidas, organizadas e transformadas antes da análise.

  1. Autorizar e receber

    Open Finance permite compartilhar informações autorizadas entre instituições. API é o canal de comunicação entre sistemas. Nesta demo, a seleção de bancos apenas simula a autorização: nenhum banco real é acessado.

  2. Dar o mesmo significado aos dados

    Um sistema chama o valor de “amount”; outro pode usar “valor”. O schema canônico é um formato comum para todos. O Kafka organiza o transporte de eventos, como uma esteira de mensagens.

  3. Transformar movimentações em indicadores

    Feature é uma informação usada pelo modelo. Em vez de entregar apenas extratos, calculamos sinais como renda observada e regularidade dos depósitos. PySpark distribui esse processamento entre máquinas; Databricks é um ambiente para organizar esse trabalho. As 847 variáveis são do estudo histórico, não 847 perguntas feitas ao cliente.

  4. Ensinar com exemplos e avaliar separadamente

    Machine learning aprende padrões a partir de exemplos. No treino, o modelo vê indicadores e o resultado histórico de pagamento. Na validação, recebe exemplos separados para verificar se o aprendizado se sustenta. Isso evita confundir decorar os exemplos com aprender um padrão útil.

  5. Combinar pequenas regras

    XGBoost combina árvores de decisão: sequências de perguntas sobre os dados. As árvores são construídas em etapas para corrigir erros do conjunto anterior. O MLflow registra versões, configurações e avaliações para que a equipe consiga comparar os testes.

  6. Entregar um apoio, não uma aprovação automática

    Score é uma pontuação. O modelo calcula uma estimativa; a política de crédito considera esse insumo junto com outras regras. Um score não é uma promessa de pagamento, um limite aprovado ou uma garantia de crédito sem risco.

AUC 0,87: o que significa?

É uma medida de como o modelo ordena os dois grupos do resultado avaliado. Uma AUC de 0,5 corresponde a uma ordenação aleatória; 1,0 seria uma separação perfeita na avaliação. 0,87 não significa “87% dos clientes previstos corretamente”, nem aprovação de 87% dos pedidos.

Baseline, Gini e SHAP

Baseline é a referência para comparar o modelo. Gini é outra forma de expressar discriminação: 2 × AUC − 1. SHAP ajuda a explicar contribuições das variáveis numa previsão; não comprova, sozinho, ausência de discriminação.

Treino não é implantação

Treinar e avaliar um modelo no hackathon não demonstra uma política de crédito operando em produção. A reconstrução deste site também não executa o modelo histórico: mostra a proposta com dados fictícios.

Como resumir: “A engenharia prepara dados confiáveis; a modelagem procura padrões; a avaliação testa esses padrões; a área de risco decide como usar o resultado.”

Para aprofundar: AUC e Gini · documentação scikit-learn ↗ · XGBoost · parâmetros do modelo ↗

Código: pipeline principal

Os trechos abaixo são exemplos didáticos para explicar a lógica da solução, não uma cópia do código proprietário do evento nem um sistema completo pronto para produção. Cada aba traz uma leitura guiada antes do código.

O que esse código faz, em português?

  1. filter: seleciona entradas de dinheiro e exclui transferências próprias e estornos, para não contar a mesma renda duas vezes.
  2. groupBy e agg: agrupam por pessoa e mês, somam os valores e contam eventos e instituições.
  3. Window: permite comparar meses de uma mesma pessoa, sem misturar os clientes.
  4. Mediana de 6 meses: usa o valor central dos meses para reduzir o efeito de meses atípicos.
  5. stddev / mean: calcula a variação relativa da renda; precisa tratar médias zero e meses ausentes numa implementação completa.

Por que importa: o modelo precisa de indicadores consistentes, não de uma pilha de extratos sem tratamento.

Income reconstruction + cross-bank features (PySpark)
# Reconstrução de renda real a partir de fluxos observados
from pyspark.sql import functions as F
from pyspark.sql.window import Window

w = Window.partitionBy('cpf').orderBy('month')

features = txn_df \
  .filter(F.col('type') == 'credit') \
  .filter(~F.col('category').isin(['transfer_self', 'refund'])) \
  .groupBy('cpf', 'month') \
  .agg(
    F.sum('amount').alias('monthly_income'),
    F.count('*').alias('credit_events'),
    F.countDistinct('institution').alias('n_institutions')
  ) \
  .withColumn('income_median_6m',
    F.expr('percentile(monthly_income, 0.5)').over(
      w.rowsBetween(-5, 0)
    )
  ) \
  .withColumn('income_cv',  # coeff. variação = regularidade
    F.stddev('monthly_income').over(w) /
    F.mean('monthly_income').over(w)
  )

Como o modelo aprende e como a equipe confere?

  1. X_train e y_train: indicadores usados no treino e seus resultados históricos. X_val e y_val: exemplos separados para avaliação. A separação deve respeitar o tempo para não usar informação do futuro.
  2. fit: aprende padrões dos exemplos. predict_proba: produz uma estimativa de probabilidade para a classe definida no treino, não uma aprovação de crédito.
  3. roc_auc_score: compara a ordenação das previsões com os resultados conhecidos da validação.
  4. MLflow: guarda configurações, métricas e o modelo do experimento para comparar versões.
Entenda cada configuração do exemplo
n_estimators = 800
Limite de etapas de construção do conjunto de árvores neste exemplo.
max_depth = 6
Limita a profundidade das árvores e, portanto, a complexidade das regras.
learning_rate = 0,05
Controla o tamanho de cada ajuste feito durante o aprendizado.
subsample = 0,8 / colsample_bytree = 0,7
Usam partes das linhas e das variáveis ao construir as árvores, ajudando a controlar o ajuste excessivo aos exemplos.
scale_pos_weight = 3,2
Ajusta o peso da classe positiva. Esse valor precisa refletir o problema e ser validado; não é uma regra universal.
binary:logistic / auc
Define uma tarefa de dois resultados possíveis e a métrica usada para avaliar a ordenação.
tree_method = hist
Agrupa valores em intervalos para construir árvores de forma eficiente. Esta configuração, sozinha, não ativa GPU.
early_stopping_rounds = 50
Interrompe o treino quando a avaliação deixa de melhorar durante o número configurado de etapas. A forma de configurar depende da versão da biblioteca.

Atenção: os parâmetros são do trecho ilustrativo. A AUC 0,87 é um resultado histórico do hackathon, não um resultado recalculado por esta página.

XGBoost training + MLflow tracking
import xgboost as xgb
import mlflow

params = {
  'n_estimators':  800,
  'max_depth':      6,
  'learning_rate':  0.05,
  'subsample':      0.8,
  'colsample_bytree': 0.7,
  'scale_pos_weight': 3.2,  # desbalanceamento default vs. adimplente
  'objective':      'binary:logistic',
  'eval_metric':    'auc',
  'tree_method':    'hist',  # construção por histogramas; GPU requer configuração adicional
}

with mlflow.start_run():
  model = xgb.XGBClassifier(**params)
  model.fit(X_train, y_train,
    eval_set=[(X_val, y_val)],
    early_stopping_rounds=50,
    verbose=False
  )
  auc = roc_auc_score(y_val, model.predict_proba(X_val)[:,1])
  mlflow.log_params(params)
  mlflow.log_metric('auc', auc)         # → 0,87
  mlflow.log_metric('gini', 2*auc-1)    # → 0,74
  mlflow.xgboost.log_model(model, 'rcp_model')

Como ler a autorização de compartilhamento?

  1. code_verifier: cria um segredo temporário para esta tentativa de autorização.
  2. code_challenge: transforma esse segredo numa prova que pode acompanhar o pedido; o PKCE ajuda a proteger a troca do código de autorização.
  3. scope: descreve quais tipos de informação são solicitados. state: associa a resposta ao pedido iniciado e deve ser validado.
  4. redirect e callback: levam a pessoa à instituição e recebem a resposta da autorização.
  5. access_token: é uma credencial temporária para acessar somente os recursos autorizados. Não é a senha bancária do cliente.

Nesta página: nenhum redirecionamento bancário real, credencial ou dado de cliente é usado. Funções como build_auth_url e fetch_transactions são apenas referências didáticas; não estão implementadas como integração bancária neste site.

Open Finance consent flow (OAuth2 PKCE)
# Geração do code_verifier e code_challenge (PKCE)
import secrets, hashlib, base64

code_verifier = secrets.token_urlsafe(32)
code_challenge = base64.urlsafe_b64encode(
  hashlib.sha256(code_verifier.encode()).digest()
).rstrip(b'=').decode()

# Redirect para cada banco selecionado
for bank_id in selected_banks:
  auth_url = build_auth_url(
    bank_id       = bank_id,
    scope         = 'openid accounts transactions credit-cards',
    redirect_uri  = 'https://app.itau.com.br/of/callback',
    code_challenge = code_challenge,
    state         = generate_state(cpf, bank_id),
  )
  redirect(auth_url)  # cada banco → tela de login própria

# Callback: troca code → access_token → busca transações
tokens = exchange_code(code, code_verifier, bank_id)
txns   = fetch_transactions(tokens.access_token,
           date_from='2023-01-01', date_to='2023-12-31')

Por que todos os bancos precisam falar o mesmo idioma?

O schema é um contrato de formato. Depois que cada origem é convertida para esse contrato, as próximas etapas conseguem trabalhar com os mesmos nomes e significados.

id / cpf
Identificam o evento e a pessoa no exemplo. Em uma solução real, identificadores exigem controle de acesso e proteção; não há CPFs reais nesta demonstração.
date / amount
Representam a data e o valor. Moeda, precisão, fuso e convenção de sinal precisam estar definidos para evitar somas incorretas.
type / category
Distinguem entrada de saída e o motivo da movimentação. Um salário e uma transferência própria não devem ser tratados como a mesma coisa.
institution / description
Preservam a origem e a descrição para interpretação e rastreabilidade.

dataclass organiza os campos no código; Enum enumera valores permitidos. Eles não substituem validações de qualidade, deduplicação ou segurança. Valores monetários de produção exigem precisão adequada; o float abaixo é uma simplificação didática.

Schema canônico de transação: normalização cross-bank
# Cada banco utiliza campos diferentes. Adaptadores normalizam para o schema:
from dataclasses import dataclass
from datetime import date
from enum import Enum

class TxnType(Enum):
  credit = 'credit'   # entrada de dinheiro
  debit  = 'debit'    # saída

@dataclass
class CanonicalTransaction:
  id:          str
  cpf:         str
  date:        date
  amount:      float       # positivo = crédito
  type:        TxnType
  category:    str         # salary, transfer_self, rent, food...
  institution: str         # bradesco, bb, santander...
  description: str | None

# Ex: Bradesco chama de "lancamentos", BB de "transacoes"
# O adaptador mapeia para o schema e publica no tópico Kafka canonical.txn

Dúvidas técnicas frequentes

Como reconstroem a renda real de fluxos de caixa?

Começamos separando entradas recorrentes de transferências entre contas da mesma pessoa e estornos. Depois agrupamos os valores por pessoa e mês. A mediana dos últimos 6 meses é o valor central desse histórico e reduz a influência de meses atípicos. A variação mensal ajuda a entender a regularidade. São estimativas baseadas em movimentações, não uma comprovação automática de renda.

Por que XGBoost e não redes neurais?

O XGBoost combina árvores de decisão: conjuntos de perguntas simples sobre os indicadores. Ele permite trabalhar com dados em tabelas e investigar quais informações contribuíram para a previsão. A escolha entre XGBoost e redes neurais deve ser feita por comparação e validação, não por uma superioridade garantida. SHAP ajuda a explicar contribuições das variáveis, mas não comprova sozinho ausência de discriminação. No hackathon, o modelo da equipe alcançou AUC 0,87.

O Open Finance não acessa todos os bancos automaticamente?

Não. O compartilhamento depende de autorização e de um fluxo entre as instituições envolvidas. OAuth2 organiza a autorização; PKCE ajuda a proteger a troca do código usado nesse fluxo. Nesta demo, selecionar bancos apenas muda o cenário fictício: não inicia login bancário nem consulta dados reais.

Como o modelo vira feature da política de crédito sem substituí-la?

O score é um insumo adicional, não um botão que aprova crédito. A política pode considerar essa informação junto com histórico de relacionamento, compromissos e outras regras. A área de risco define como e quando usar o modelo, avalia limites e acompanha os resultados. A proposta do hackathon não comprova que essa política foi implantada.

Como funcionam revogação e retenção dos dados?

A proteção exige controles de acesso, registros de auditoria e uma política de retenção e descarte adequada ao contexto. Revogar uma autorização e apagar todos os dados são operações distintas; não se deve apresentar um prazo único como obrigação para qualquer situação. Neste portfólio, as interações usam dados fictícios e não há registros individuais de clientes para consultar.

Contato

Vamos conversar.

Me chama pelo canal que preferir. Eu mesma respondo.

Chibi da Jennifer no escritório
Paleta
Tipografia
Movimento
Jen.AI
online agora
Oi! Sou a Jen. Esse case é sobre o Batalha de Dados do Itaú: nosso projeto ficou em 2º lugar e relatou discrepância de renda de 92,23%, usando uma faixa de 20% como critério de comparação. Os resultados são do hackathon; as telas interativas usam dados fictícios. Me pergunta o que quiser! 💛
🏠 Início Conquistas Competências Serviços Contato
Ada Lovelace
✶ Quem me inspira
Ada Lovelace
Sua lição: tenha visão de futuro e olhe além do óbvio. Escreveu o primeiro algoritmo da história.
Grace Hopper
✶ Quem me inspira
Grace Hopper
Sua lição: simplifique o complexo e torne o conhecimento acessível. Criou o primeiro compilador.
Joan Clarke
✶ Quem me inspira
Joan Clarke
Sua lição: talento não tem gênero. Decifrou comunicações nazistas com Alan Turing na 2ª Guerra.
Mulheres do ENIAC
✶ Quem me inspira
Mulheres do ENIAC
Sua lição: em 1945, seis mulheres programaram o primeiro computador eletrônico de grande escala da história.