nuFormer: modelo de fundação de transações para crédito e fraude

01 · CONTEXTO

Dados de sobra, valor difícil de extrair

Um banco acumula grandes volumes de dados (transações, eventos no aplicativo, interações com clientes), mas extrair valor deles continua difícil. Por serem sequenciais e pouco estruturados, esses dados levaram historicamente as equipes a modelos tabulares construídos sobre variáveis feitas à mão. Esse é o ponto de partida clássico do desenho de sistemas de ML no Nubank.

Segundo uma das pesquisadoras do Nubank, usar modelos tradicionais significa montar um pipeline de engenharia inteiro para extrair valor dos dados, e isso exige pessoas com profundo conhecimento do domínio trabalhando os dados manualmente. Essa dependência torna o processo menos escalável e mais caro conforme o volume e a complexidade crescem.

02 · DO MODELO POR PROBLEMA AO BACKBONE

Uma base compartilhada para várias aplicações

O nuFormer é um modelo de fundação desenvolvido pelo time de AI Core do Nubank para aprender representações de dados financeiros em escala. O objetivo não é resolver um único problema, e sim construir uma base reutilizável para diferentes aplicações do banco.

1. Os dados brutos passam por um pipeline de engenharia de variáveis feitas à mão.

2. Sem um modelo de fundação, cada problema pede um modelo treinado do zero.

3. Esse trabalho depende de especialistas de domínio que manipulam os dados manualmente, o que fica mais caro e menos escalável conforme volume e complexidade crescem.

A alternativa é o que o blog descreve: em vez de treinar um modelo do zero para cada problema, o nuFormer aprende uma representação do comportamento financeiro que pode ser reutilizada em vários contextos, dando às aplicações um ponto de partida compartilhado.

1. As transações são convertidas em sequências de tokens.

2. Um transformer, com aprendizado autossupervisionado, constrói representações direto dos dados brutos.

3. O resultado é uma representação do comportamento financeiro que pode ser reutilizada em vários contextos.

4. Sobre essa base, o modelo permite ajuste fino para tarefas como crédito, detecção de fraude e recomendação de produto.

5. Entre os usos já em aplicação, o blog cita crédito, empréstimos, previsão de renda e venda cruzada.

03 · TRANSAÇÕES COMO LINGUAGEM

Tratar o histórico como sequência

A mudança de paradigma está no olhar sobre os dados. Em vez de tratar transações como registros isolados, a ideia é interpretá-las como sequências com estrutura, contexto e significado, e converter essas sequências em tokens permite capturar padrões de comportamento mais profundos.

O trabalho combina arquiteturas Transformer com aprendizado autossupervisionado para construir representações direto dos dados brutos. O nuFormer mistura atributos estruturados e textuais das transações e permite ajuste fino para tarefas como pontuação de crédito, detecção de fraude e recomendação de produto.

O trabalho começou com transações, e a visão atual do time é multimodal: integrar também sinais comportamentais, interações no aplicativo e outras fontes de informação.

04 · DO TREINO À PRODUÇÃO

Um problema de sistemas, não só de ML

Segundo o blog, o maior desafio não é o modelo em si, e sim a engenharia necessária para fazê-lo funcionar. Isso inclui pipelines, GPUs e treino distribuído, mas também a etapa de produção, onde a governança regulatória entra em cena.

1. Treinar exige pipelines bem estruturados, gestão de GPUs e treino distribuído.

2. No setor financeiro, o modelo passa por várias rodadas de validação antes de ir para produção, para cumprir regulação e padrões internos.

3. Na inferência, modelos baseados em Transformer tendem a ter latência maior, um fator sensível em aplicações financeiras.

4. Com infraestrutura e equipes especializadas, é possível chegar a níveis de desempenho comparáveis aos de modelos tradicionais.

5. Garantir que o modelo aprende corretamente segue entre os maiores desafios, e passa por monitoramento contínuo e métricas alinhadas ao impacto de negócio.

05 · RESULTADOS E LIMITES DA FONTE

O que o Nubank diz ter obtido

O blog afirma que levar esses modelos a sistemas existentes trouxe ganhos relevantes em métricas-chave em poucos meses, superando melhorias acumuladas por anos com abordagens tradicionais. O modelo já é aplicado em crédito, empréstimos, previsão de renda e venda cruzada.

No release de resultados do Nubank, a geração mais recente do nuFormer quadruplicou o comprimento de contexto, a velocidade de treino e a velocidade de inferência, e reduziu o custo de rodar modelos em produção. O modelo está em produção em três carteiras: cartões de crédito no Brasil e no México e crédito sem garantia no Brasil, com pequenas e médias empresas e cartões na Colômbia em teste.

O release descreve o nuFormer como apoio a decisões de subscrição de crédito, atendimento ao cliente e crescimento em toda a empresa, apoiado em mais de uma década de histórico de transações de mais de cem milhões de clientes.