O desafio
Organizar um grande volume de movimentações e distinguir renda recorrente de transferências entre contas, estornos e outros valores que não representam renda nova.
Resultados reais do hackathon Batalha de Dados · Itaú Unibanco: amostra de 720 mil clientes PF, cerca de 500 milhões de eventos e 847 variáveis. O modelo XGBoost desenvolvido pela equipe alcançou AUC de 0,87 na avaliação do projeto.
O cadastro de renda nem sempre acompanha a vida financeira de uma pessoa. Nosso projeto no hackathon investigou como as movimentações de diferentes bancos poderiam complementar essa informação e apoiar uma análise de crédito mais contextualizada.
Organizar um grande volume de movimentações e distinguir renda recorrente de transferências entre contas, estornos e outros valores que não representam renda nova.
Transformar os dados em indicadores, treinar um modelo para reconhecer padrões associados ao pagamento e entregar uma informação adicional para a área de crédito.
2º lugar, amostra de 720 mil clientes PF, cerca de 500 milhões de eventos, 847 variáveis e AUC 0,87. Esses são resultados históricos do projeto; a experiência navegável abaixo foi reconstruída.
Para explicar numa conversa: “No hackathon, nosso time conectou engenharia de dados e modelagem para complementar a visão de capacidade de pagamento. O modelo ajudava a análise; a decisão de conceder crédito continuava dependendo da política e da avaliação de risco.”
Segundo os dados fornecidos sobre o estudo, 92,23% da base considerada apresentava discrepância entre a renda informada e a recebida observada. Uma faixa de 20% foi adotada como critério estratégico de comparação. O total informado de clientes PF era de 720 mil.
A divergência pode ocorrer para cima ou para baixo: não significa que todos esses clientes tinham renda subestimada ou poderiam receber mais crédito. O resultado mostrou a importância de complementar o cadastro com evidências do comportamento financeiro.
O desafio: usar os dados disponíveis via BACEN Open Finance para reconstruir a renda real de cada cliente a partir dos fluxos de caixa observados em todos os bancos onde ele opera.
1. Ingestão cross-bank: via BACEN Open Finance, coletamos 12 meses de transações do cliente em todos os bancos declarados. ~500M eventos normalizados em schema canônico via Kafka.
2. Feature engineering: PySpark/Databricks gerando 847 variáveis cross-bank: renda média observada, regularidade de depósitos, debt service ratio total, sazonalidade, diversidade de credores.
3. Modelo XGBoost: score de Real Capacidade de Pagamento de 0 a 1000 por cliente. Na avaliação do hackathon, o modelo da equipe alcançou AUC 0,87 vs. 0,71 do baseline interno. A proposta era apoiar a política de crédito como variável auxiliar, sem substituir a análise de risco.
6 telas reconstruídas para demonstrar a proposta do hackathon: do painel inicial à oferta simulada, com aumento ilustrativo de limite de 87,5%. Os dados das interações são fictícios; os resultados históricos do projeto estão identificados separadamente.
🔓 Abrir app interativo → 📊 Ver dashboard analítico →O app mostra a experiência do cliente. O dashboard mostra como a equipe pode interpretar os dados e avaliar o modelo. Os indicadores históricos estão identificados; os pontos, distribuições e exemplos navegáveis são fictícios.
Compara o valor cadastrado com o observado nas movimentações. Divergência não significa fraude e pode ocorrer para cima ou para baixo.
O score organiza a leitura de risco. As variáveis mostram quais informações entram na análise, como regularidade de depósitos e compromissos financeiros.
A AUC descreve uma avaliação do modelo. O potencial de carteira é uma estimativa do estudo, não uma oferta aprovada nem uma garantia de resultado em produção.
Pense na arquitetura como um mapa de trabalho: primeiro obter autorização, depois organizar os dados, produzir indicadores e apoiar uma decisão. Cada caixa abaixo tem uma função; o desenho explica o fluxo, não representa uma conexão deste site com sistemas do banco.
Pipeline é uma sequência organizada de etapas. Imagine uma cozinha: receber os ingredientes não é o mesmo que preparar a receita. Aqui, receber transações não basta: elas precisam ser conferidas, organizadas e transformadas antes da análise.
Open Finance permite compartilhar informações autorizadas entre instituições. API é o canal de comunicação entre sistemas. Nesta demo, a seleção de bancos apenas simula a autorização: nenhum banco real é acessado.
Um sistema chama o valor de “amount”; outro pode usar “valor”. O schema canônico é um formato comum para todos. O Kafka organiza o transporte de eventos, como uma esteira de mensagens.
Feature é uma informação usada pelo modelo. Em vez de entregar apenas extratos, calculamos sinais como renda observada e regularidade dos depósitos. PySpark distribui esse processamento entre máquinas; Databricks é um ambiente para organizar esse trabalho. As 847 variáveis são do estudo histórico, não 847 perguntas feitas ao cliente.
Machine learning aprende padrões a partir de exemplos. No treino, o modelo vê indicadores e o resultado histórico de pagamento. Na validação, recebe exemplos separados para verificar se o aprendizado se sustenta. Isso evita confundir decorar os exemplos com aprender um padrão útil.
XGBoost combina árvores de decisão: sequências de perguntas sobre os dados. As árvores são construídas em etapas para corrigir erros do conjunto anterior. O MLflow registra versões, configurações e avaliações para que a equipe consiga comparar os testes.
Score é uma pontuação. O modelo calcula uma estimativa; a política de crédito considera esse insumo junto com outras regras. Um score não é uma promessa de pagamento, um limite aprovado ou uma garantia de crédito sem risco.
É uma medida de como o modelo ordena os dois grupos do resultado avaliado. Uma AUC de 0,5 corresponde a uma ordenação aleatória; 1,0 seria uma separação perfeita na avaliação. 0,87 não significa “87% dos clientes previstos corretamente”, nem aprovação de 87% dos pedidos.
Baseline é a referência para comparar o modelo. Gini é outra forma de expressar discriminação: 2 × AUC − 1. SHAP ajuda a explicar contribuições das variáveis numa previsão; não comprova, sozinho, ausência de discriminação.
Treinar e avaliar um modelo no hackathon não demonstra uma política de crédito operando em produção. A reconstrução deste site também não executa o modelo histórico: mostra a proposta com dados fictícios.
Como resumir: “A engenharia prepara dados confiáveis; a modelagem procura padrões; a avaliação testa esses padrões; a área de risco decide como usar o resultado.”
Para aprofundar: AUC e Gini · documentação scikit-learn ↗ · XGBoost · parâmetros do modelo ↗
Os trechos abaixo são exemplos didáticos para explicar a lógica da solução, não uma cópia do código proprietário do evento nem um sistema completo pronto para produção. Cada aba traz uma leitura guiada antes do código.
Por que importa: o modelo precisa de indicadores consistentes, não de uma pilha de extratos sem tratamento.
# Reconstrução de renda real a partir de fluxos observados from pyspark.sql import functions as F from pyspark.sql.window import Window w = Window.partitionBy('cpf').orderBy('month') features = txn_df \ .filter(F.col('type') == 'credit') \ .filter(~F.col('category').isin(['transfer_self', 'refund'])) \ .groupBy('cpf', 'month') \ .agg( F.sum('amount').alias('monthly_income'), F.count('*').alias('credit_events'), F.countDistinct('institution').alias('n_institutions') ) \ .withColumn('income_median_6m', F.expr('percentile(monthly_income, 0.5)').over( w.rowsBetween(-5, 0) ) ) \ .withColumn('income_cv', # coeff. variação = regularidade F.stddev('monthly_income').over(w) / F.mean('monthly_income').over(w) )
Atenção: os parâmetros são do trecho ilustrativo. A AUC 0,87 é um resultado histórico do hackathon, não um resultado recalculado por esta página.
import xgboost as xgb import mlflow params = { 'n_estimators': 800, 'max_depth': 6, 'learning_rate': 0.05, 'subsample': 0.8, 'colsample_bytree': 0.7, 'scale_pos_weight': 3.2, # desbalanceamento default vs. adimplente 'objective': 'binary:logistic', 'eval_metric': 'auc', 'tree_method': 'hist', # construção por histogramas; GPU requer configuração adicional } with mlflow.start_run(): model = xgb.XGBClassifier(**params) model.fit(X_train, y_train, eval_set=[(X_val, y_val)], early_stopping_rounds=50, verbose=False ) auc = roc_auc_score(y_val, model.predict_proba(X_val)[:,1]) mlflow.log_params(params) mlflow.log_metric('auc', auc) # → 0,87 mlflow.log_metric('gini', 2*auc-1) # → 0,74 mlflow.xgboost.log_model(model, 'rcp_model')
Nesta página: nenhum redirecionamento bancário real, credencial ou dado de cliente é usado. Funções como build_auth_url e fetch_transactions são apenas referências didáticas; não estão implementadas como integração bancária neste site.
# Geração do code_verifier e code_challenge (PKCE) import secrets, hashlib, base64 code_verifier = secrets.token_urlsafe(32) code_challenge = base64.urlsafe_b64encode( hashlib.sha256(code_verifier.encode()).digest() ).rstrip(b'=').decode() # Redirect para cada banco selecionado for bank_id in selected_banks: auth_url = build_auth_url( bank_id = bank_id, scope = 'openid accounts transactions credit-cards', redirect_uri = 'https://app.itau.com.br/of/callback', code_challenge = code_challenge, state = generate_state(cpf, bank_id), ) redirect(auth_url) # cada banco → tela de login própria # Callback: troca code → access_token → busca transações tokens = exchange_code(code, code_verifier, bank_id) txns = fetch_transactions(tokens.access_token, date_from='2023-01-01', date_to='2023-12-31')
O schema é um contrato de formato. Depois que cada origem é convertida para esse contrato, as próximas etapas conseguem trabalhar com os mesmos nomes e significados.
dataclass organiza os campos no código; Enum enumera valores permitidos. Eles não substituem validações de qualidade, deduplicação ou segurança. Valores monetários de produção exigem precisão adequada; o float abaixo é uma simplificação didática.
# Cada banco utiliza campos diferentes. Adaptadores normalizam para o schema: from dataclasses import dataclass from datetime import date from enum import Enum class TxnType(Enum): credit = 'credit' # entrada de dinheiro debit = 'debit' # saída @dataclass class CanonicalTransaction: id: str cpf: str date: date amount: float # positivo = crédito type: TxnType category: str # salary, transfer_self, rent, food... institution: str # bradesco, bb, santander... description: str | None # Ex: Bradesco chama de "lancamentos", BB de "transacoes" # O adaptador mapeia para o schema e publica no tópico Kafka canonical.txn
Começamos separando entradas recorrentes de transferências entre contas da mesma pessoa e estornos. Depois agrupamos os valores por pessoa e mês. A mediana dos últimos 6 meses é o valor central desse histórico e reduz a influência de meses atípicos. A variação mensal ajuda a entender a regularidade. São estimativas baseadas em movimentações, não uma comprovação automática de renda.
O XGBoost combina árvores de decisão: conjuntos de perguntas simples sobre os indicadores. Ele permite trabalhar com dados em tabelas e investigar quais informações contribuíram para a previsão. A escolha entre XGBoost e redes neurais deve ser feita por comparação e validação, não por uma superioridade garantida. SHAP ajuda a explicar contribuições das variáveis, mas não comprova sozinho ausência de discriminação. No hackathon, o modelo da equipe alcançou AUC 0,87.
Não. O compartilhamento depende de autorização e de um fluxo entre as instituições envolvidas. OAuth2 organiza a autorização; PKCE ajuda a proteger a troca do código usado nesse fluxo. Nesta demo, selecionar bancos apenas muda o cenário fictício: não inicia login bancário nem consulta dados reais.
O score é um insumo adicional, não um botão que aprova crédito. A política pode considerar essa informação junto com histórico de relacionamento, compromissos e outras regras. A área de risco define como e quando usar o modelo, avalia limites e acompanha os resultados. A proposta do hackathon não comprova que essa política foi implantada.
A proteção exige controles de acesso, registros de auditoria e uma política de retenção e descarte adequada ao contexto. Revogar uma autorização e apagar todos os dados são operações distintas; não se deve apresentar um prazo único como obrigação para qualquer situação. Neste portfólio, as interações usam dados fictícios e não há registros individuais de clientes para consultar.
Me chama pelo canal que preferir. Eu mesma respondo.