Se ha implementado la puntuación personalizada. ¿Qué hay que supervisar a partir de ahora?

El modelo ha entrado en producción. El trabajo de supervisar su rendimiento acaba de empezar.

La implementación de un modelo de puntuación personalizado suele abordarse como un proyecto con un principio, un desarrollo y un final: diagnóstico, desarrollo, validación, integración y puesta en producción. Cuando el modelo está funcionando en producción, el proyecto parece haber concluido.

No es así. En el momento en que el modelo entra en producción, comienza una fase diferente: la supervisión continua. Sin ella, el modelo que hoy tiene un buen rendimiento puede ir perdiendo precisión en pocos meses sin que nadie se dé cuenta hasta que la morosidad o la tasa de aprobación ya hayan variado.

Este artículo aborda las cuatro dimensiones que deben supervisarse una vez que una puntuación personalizada entra en funcionamiento: el KS a lo largo del tiempo, la tasa de cobertura por rango de puntuación, la distribución de las aprobaciones y la estabilidad de la puntuación, medida mediante el PSI, a lo largo del tiempo. Si tu empresa ya cuenta con un modelo en producción, esta es la guía de seguimiento. Si estás valorando su implementación, este artículo te muestra qué puedes esperar tras la firma del contrato.

1. Las cuatro dimensiones del seguimiento

Cada una de las cuatro dimensiones que se indican a continuación mide un aspecto diferente de la salud del modelo. Ninguna sustituye a otra. En conjunto, conforman el panel mínimo de seguimiento de una puntuación en producción.

¿Por qué son necesarias las cuatro dimensiones y no solo una?

El KS, considerado de forma aislada, puede parecer estable mientras que la tasa de cobertura desciende de forma imperceptible. Una cobertura estable puede ocultar una distribución de aprobaciones que se está desplazando hacia rangos de mayor riesgo. El PSI, por su parte, detecta cambios en la población que llega al modelo antes de que dichos cambios se traduzcan en una caída del KS o de la cobertura.

Hacer un seguimiento de una sola dimensión crea un punto ciego en las otras tres. Para un seguimiento completo es necesario tener en cuenta las cuatro en su conjunto, aunque sea con frecuencias diferentes.

2. El KS a lo largo del tiempo: la métrica de referencia

Qué ver

El KS medido en el momento de la implementación es el punto de partida, no un valor fijo. La pregunta relevante en el seguimiento continuo no es solo cuál es el KS actual, sino cómo se compara con la medición de referencia y cuál es la tendencia a lo largo de los últimos meses.

Una sola lectura inferior a lo esperado puede deberse al ruido estadístico, sobre todo en operaciones con un volumen mensual bajo. Una tendencia a la baja sostenida a lo largo de tres o cuatro lecturas consecutivas es la señal que justifica una investigación.

Cómo segmentar la medición

El KS agregado para toda la cartera oculta variaciones importantes. Segmentar la medición por canal de captación, por mercado y por rango de importe revela si la caída, en caso de producirse, se concentra en un segmento específico o es generalizada.

Una caída concentrada apunta a una causa puntual, como un cambio en el perfil de un canal concreto. Una caída generalizada apunta a una causa más estructural, relacionada con el comportamiento general del mercado o del nicho.

3. Tasa de cobertura por rango de puntuación

Lo que revela esta métrica

La tasa de cobertura mide el porcentaje de solicitudes que el modelo resuelve automáticamente, sin necesidad de revisión manual. Es la métrica que vincula directamente el rendimiento del modelo con el coste operativo del back-office.

Cuando la cobertura disminuye, la zona intermedia de puntuación —en la que el modelo no tiene la confianza suficiente para decidir por sí solo— va en aumento. Esto supone que un mayor volumen pasa a la análisis manual, exactamente el patrón que esta serie ya ha documentado con detalle en el contexto de la caída de KS.

Cómo seguirlo

La segmentación por rango de puntuación también es fundamental en este caso. La cobertura agregada puede mantenerse estable, mientras que un rango concreto, normalmente el intermedio, está perdiendo cobertura de forma constante. Realizar un seguimiento de la evolución de cada rango por separado permite identificar el problema antes de que afecte de forma visible a la cifra agregada.

4. Distribución de las aprobaciones

¿Por qué la distribución es tan importante como la tasa?

Dos operaciones pueden tener la misma tasa de aprobación general y perfiles de riesgo completamente diferentes en la cartera aprobada. La distribución de las aprobaciones entre los tramos de puntuación muestra en qué tramos, dentro del conjunto de solicitudes aprobadas, se concentra el volumen.

Si la distribución se está desplazando con el tiempo hacia rangos de puntuación más bajos, aunque la tasa de aprobación total se mantenga estable, la cartera está asumiendo más riesgo del que asumía en el momento de su implantación. Esta tendencia suele preceder al aumento de la morosidad en unas semanas o meses.

Qué comparar

La distribución del mes actual debe compararse con la distribución en el momento de la implementación, y no solo con la del mes anterior. Los cambios graduales y pequeños, mes a mes, pueden pasar desapercibidos en las comparaciones a corto plazo, pero se hacen evidentes al compararlos con el punto de partida.

5. Señales tempranas: lo que se observa antes de la evaluación formal

Las tres dimensiones anteriores dependen de la medición directa del rendimiento: distinción entre buenos y malos pagadores, cobertura y distribución de las aprobaciones. El PSI (Índice de Estabilidad de la Población) mide algo diferente y complementario: en qué medida la población de solicitantes que se incorpora al modelo en la actualidad se asemeja a la población que se utilizó para desarrollar el modelo.

Cómo funciona el PSI

El PSI compara la distribución de la puntuación en producción con la distribución de la puntuación prevista en la fase de diseño, segmentada por tramos. Cuanto mayor sea la diferencia entre ambas distribuciones, mayor será el PSI. Los valores bajos indican que la población actual se comporta de forma similar a la población de desarrollo. Los valores altos indican que el perfil de quienes solicitan crédito hoy en día ha cambiado con respecto al perfil original del modelo.

¿Por qué es esto importante antes de que cambien las demás métricas?

Un cambio en la población puede que no afecte al KS de forma inmediata, pero suele ser la primera señal de que algo ha cambiado en la combinación de canales, en el perfil de captación o en el comportamiento del mercado. El PSI detecta este movimiento antes de que se traduzca en una caída de la cobertura o en una concentración de aprobaciones en segmentos de mayor riesgo.

Cómo interpretar el PSI

La referencia de mercado más utilizada para el PSI se divide en tres tramos:

• PSI por debajo del 10 %: población estable, no es necesario tomar medidas.
• PSI entre el 10 % y el 15 %: variación moderada en la población; se recomienda un seguimiento más estrecho en las siguientes mediciones.
• PSI superior al 15 %: cambio significativo en la población; se recomienda investigar inmediatamente la causa.

6. ¿Qué hay que hacer cuando aparece una señal de advertencia?

Identificar una señal de caída es el comienzo del proceso, no el final. El siguiente paso depende de dónde se concentre la causa.

Si la caída se concentra en un canal, mercado o segmento específico, la causa probable es puntual y está relacionada con ese ámbito concreto. Si la caída es generalizada en todos los segmentos, la causa probable es más estructural. En ambos casos, el diagnóstico técnico del modelo es el paso que determina la acción correcta, y es precisamente este diagnóstico el que queda fuera del ámbito del seguimiento y dentro del ámbito de un análisis específico.

4kst proporciona la puntuación de crédito personalizada, el KS del modelo, la documentación técnica con la relevancia de las variables y el diagnóstico inicial de la operación. Cuando el seguimiento indica un indicio de caída, ya sea en el KS, la cobertura, la distribución de aprobaciones o el PSI, una conversación con el equipo técnico es la mejor forma de comprender si el caso requiere una actualización, un ajuste de las variables o un análisis más profundo de los cambios que se han producido en la operación.

Conclusión

Un sistema de puntuación personalizado en producción no es un sistema que funcione por sí solo de forma indefinida. Se trata de un modelo que requiere un seguimiento estructurado para que el rendimiento del primer mes se mantenga en el duodécimo.

El KS, la tasa de cobertura, la distribución de las aprobaciones y la estabilidad de la puntuación medida por el PSI conforman el conjunto mínimo de indicadores de seguimiento. Ninguna de estas cuatro dimensiones sustituye a las demás, y es precisamente su combinación la que permite actuar antes de que una caída en el rendimiento se traduzca en impagos o en una pérdida de ingresos.

Si tu empresa ya cuenta con un modelo en producción y este seguimiento aún no está estructurado, o si estás valorando su implementación y quieres comprender cómo funciona este proceso en la práctica, lo siguiente que debes hacer es hablar con el equipo técnico de 4kst.

Acerca de 4kst

4kst es una empresa brasileña de DeepTech con base científica, surgida del Centro de Investigación en IA de la PUCPR. Nuestra tecnología es utilizada por fintechs, bancos digitales, sociedades de crédito hipotecario (SCD) y minoristas con operaciones financieras propias para transformar los datos en decisiones crediticias más inteligentes, rápidas y rentables.