O modelo de crédito que envelhece: porque recalibragem não basta

O KS do seu modelo de crédito, provavelmente, está caindo agora (KS é a métrica que mede a capacidade do modelo de separar bons pagadores de maus pagadores). Não no próximo trimestre, não na próxima revisão de portfólio. E ninguém no seu comitê de risco vai ver isso em tempo real, porque a degradação de um modelo estático não dispara alerta. Ela aparece semanas depois, disfarçada de inadimplência acima do esperado, de mesa de análise mais sobrecarregada ou de bons clientes reprovados sem motivo aparente.

Traduzido para o P&L, cada período sem ajuste é inadimplência subindo em silêncio, receita deixada na mesa por aprovações que deveriam sair e não saem, e custo de mesa crescendo para compensar um modelo que já não reflete a realidade da carteira.

O tamanho do que está em jogo

O ganho de precisão tem dimensão concreta. Um KS médio de um modelo de prateleira isolado gira entre 30 e 40. Já um modelo customizado, como o Score de Crédito Customizado 4kst, que combina dados internos das transações, dados dos bureaus e mais de 260 variáveis 4kst de pessoas físicas e jurídicas, pode fazer esse número subir para 50/60, um salto significativo no poder de separação entre bons e maus pagadores.

Esse é o tamanho do que está em jogo quando se fala em precisão de modelo de crédito. A pergunta que decide se esse ganho vira vantagem permanente, ou vira mais um número bonito na apresentação do backtest, é o que vem a seguir.

Por que todo modelo de crédito estático envelhece

A explicação está na forma como o modelo foi treinado. Um modelo de aprendizado batch, que é a esmagadora maioria dos modelos de crédito em produção hoje, aprende a partir de um conjunto fixo de dados históricos, uma fotografia do comportamento dos tomadores em um momento específico.

O comportamento das pessoas no crédito, porém, não é fotografia, é filme. A renda presumida muda com a inflação, o perfil de risco de um CNPJ muda com o ciclo econômico do seu setor, os padrões de uso de crédito mudam conforme novos produtos entram no mercado. Essa mudança tem nome, concept drift, e já exploramos a fundo como ela opera em O Custo Invisível do Batch Learning.

Para o que importa aqui, o modelo não percebe essa mudança sozinho. Ele continua aplicando as regras da fotografia original até que alguém, geralmente o time de Data Science, note a queda de performance no monitoramento e inicie um novo ciclo de recalibragem, selecionar dados novos, retreinar, validar, colocar em produção. Esse ciclo, mesmo bem executado, leva semanas. Em operações mais complexas, meses.

Um modelo que atinge um ganho de precisão como o descrito acima, mas sem mecanismo de aprendizado contínuo, começa a perder esse ganho a partir do dia seguinte, sem que ninguém marque exatamente o dia em que a curva virou.

A janela que ninguém mede

Entre o momento em que o modelo começa a perder precisão e o momento em que a recalibragem entra em produção, existe uma janela de exposição. Ela sempre existe, independentemente de quão disciplinada seja a operação. O que muda de uma empresa para outra é o tamanho dela.

Para estimar o tamanho da sua, cruze duas coisas: quantos destes sinais de drift já aparecem na sua operação hoje, e se a última recalibragem está dentro ou fora do ciclo padrão da sua empresa:

• FPD (a taxa de clientes que já atrasam a primeira parcela do contrato) subindo em safras recentes
• Volume de reanálise manual crescendo mês a mês
• KS em monitoramento caindo de forma consistente
• Aprovações negadas que o time comercial passou a questionar com mais frequência

Na zona de risco baixo, o modelo ainda reflete a realidade atual de forma razoável. Na zona média, vale antecipar o próximo ajuste antes que o custo cresça. Na zona alta, a defasagem já está sendo paga, mesmo que ninguém tenha ainda calculado exatamente quanto.

Um exemplo ajuda a dimensionar esse custo em reais. Se a última recalibragem foi há quatro meses e o ciclo padrão da operação é semestral, o modelo já rodou dois meses dentro da zona de degradação e vai continuar rodando por mais dois até o próximo ciclo. Multiplique isso pelo volume mensal de aprovações e o resultado é uma estimativa concreta do que essa janela custa, seja em receita deixada na mesa por falsos negativos, seja em risco não capturado por falsos positivos.

Recalibragem não é o problema, é o limite do modelo estático

Nada disso é crítica à prática de recalibragem. É uma prática padrão de mercado, adotada por praticamente todo o mercado financeiro, cooperativa e fintech de crédito que busca sempre a melhor performance de modelo. O ponto não é que recalibrar seja errado. É que recalibrar, por mais frequente e bem executada que seja, é sempre um “remendo” aplicado depois que o rasgo já apareceu.

A pergunta que precisa ser feita não é “com que frequência devemos recalibrar”, mas sim, se “existe uma arquitetura que elimina a necessidade do retreino”.

O modelo que não para de aprender

Existe, e é isso que separa o Score de Crédito Customizado 4kst de qualquer outro modelo customizado do mercado. A tecnologia Adaptive AI 4kst não opera em ciclos de treino e retreino. Ela aprende de forma contínua a partir do fluxo real de operações do cliente, ajustando o modelo a cada novo dado processado, sem necessidade de recalibragem manual e sem a janela de obsolescência que qualquer modelo batch carrega por definição.

O Score de Crédito Customizado 4kst é um modelo híbrido de alta assertividade desenvolvido a partir dos dados internos das transações que, combinados com dados da 4kst (mais de 260 variáveis de pessoas físicas e jurídicas) e dados dos bureaus é o único capaz de capturar características específicas do seu próprio nicho de mercado.

Acerca de 4kst

A 4kst é uma DeepTech brasileira de base científica, nascida do Centro de Pesquisas em IA da PUCPR. Nossa tecnologia é utilizada por fintechs, bancos digitais, SCDs e varejistas com operação financeira própria para transformar dados em decisões de crédito mais inteligentes, rápidas e lucrativas.