Giampaolo Levorato, Senior Data Scientist, Provenir & Dr. Mark Thackham, Head of Data Science, Provenir

Um número cada vez maior de financiadores tem adotado modelos avançados de aprendizagem de máquina (ML) para decisões de crédito. Os modelos de ML (como Random Forest, XGBoost, LightGBM e redes neurais) são mais preditivos e precisos quando comparados à regressão logística utilizada como padrão em análises de crédito tendo em vista sua capacidade de capturar relações não lineares altamente complexas. Sem uma configuração cuidadosa durante o treinamento, contudo, tanto a explicabilidade quanto o poder de generalização do modelo podem ser afetados. Isso é crucial, uma vez que os modelos de decisão de crédito devem atender a dois critérios:

• Explicabilidade: os mecanismos do modelo devem ser transparentes para os usuários e prover conclusões acionáveis para clientes com crédito recusado; e 
• Generalização: os modelos não devem sobreajustar os dados de treinamento e devem apresentar um alto poder de generalização, i.e., devem alcançar alta performance em novos dados (de produção).

Este artigo explica a importância de se aplicar restrições monotônicas e de interação ao treinar modelos de ML a fim de atender a esses critérios.

Muitas jurisdições exigem que os financiadores expliquem como e por que uma solicitação de crédito foi recusada, estipulando que os financiadores forneçam códigos de ação adversa com os principais motivos da recusa. Explicações corretas sobre por que a previsão de um modelo levou um financiador a recusar o crédito torna os modelos de ML transparentes (não há a imprecisão de uma “caixa preta” quanto aos mecanismos de previsão do modelo) e acionáveis (o crédito recusado do cliente tem ações claras e tangíveis sobre as medidas que podem ser tomadas para melhorar suas perspectivas de obter crédito). Vejamos um exemplo concreto de explicabilidade: se o atributo em um modelo cujo impacto mais negativo para quem tem crédito recusado for o “número de buscas de crédito nos últimos seis meses”, então o código de ação adversa poderiaser “o número de buscas de crédito nos últimos seis meses é muito alto”. Isso mostra transparência e indica uma ação clara para os clientes que, para melhorarem sua credibilidade, precisam reduzir suas buscas de crédito. Assim, os solicitantes podem se conscientizar mais facilmente dos fatores que os impedem de ter melhores pontuações e melhorar sua credibilidade.

A transparência garante ainda aos financiadores que as decisões de crédito sejam baseadas em atributos explicáveis e defensáveis e não usem atributos protegidos por lei como sexo, religião ou etnia. 

Há diversos métodos de explicabilidade para interpretar decisões de modelos complexos. Dois dos mais populares são:

1. Local Interpretable Model-Agnostic Explanations (LIME)
2. SHapley Additive exPlanation (SHAP)

O LIME aproxima modelos complexos de ML com um modelo local mais simples e fácil de explicar. Como o LIME utiliza um modelo proxy com foco no impacto local dos atributos, não se pode empregá-lo na geração de códigos de ação adversa, os quais devem ser gerados com o modelo de ML adotado para decisão de crédito (e não um proxy).

O SHAPquantifica a contribuição de cada atributo para uma previsão feita por um modelo de ML (atributos com maiores contribuições para a previsão do modelo têm um SHAP superior), tornando as previsões do modelo transparentes. Todavia, a transparência não leva diretamente à ação necessária para uso em códigos de ação adversa. Para usar os valores SHAP na derivação de códigos de ação adversa é necessário impor as seguintes restrições ao treinamento do modelo:

1. restrições de não-interação e
2. restrições de monotonicidade.

Por que as restrições do modelo são necessárias?

Para entender a necessidade de tais restrições, é útil observar um gráfico de dependência SHAP que mostra o efeito de um único atributo nas previsões feitas pelo modelo (o gráfico abaixo foi produzido a partir de uma árvore de decisão com gradient boosting treinada em um conjunto de dados de risco de crédito com o objetivo de estimar a probabilidade de inadimplência dos solicitantes de empréstimos).

Os cartões de crédito alternativos são cartões projetados para consumidores recém-chegados ao crédito (NTC) com histórico de crédito reduzidos ou nulo, inclusive estudantes universitários, imigrantes e pessoas de baixa renda, para ajudar a criar crédito e melhorar a credibilidade. Diferentemente dos cartões de crédito tradicionais, estes não requerem uma investigação de crédito e, muitas vezes, vêm acompanhados de recursos como educação financeira, pagamentos automáticos e recompensas para ajudar os usuários a criar crédito e, ao mesmo tempo, promover o uso responsável do cartão. Os cartões de crédito alternativos podem ser um ótimo ponto de entrada para os 1,4 bilhão de adultos que não têm conta bancária em todo o mundo.

Por que são populares:

Os cartões de crédito alternativos oferecem aos credores uma oportunidade de atrair novos usuários que normalmente não se qualificariam para os cartões de crédito tradicionais devido a um histórico creditício limitado ou inexistente ou baixo score de crédito. Ao oferecer cartões que ensinam os usuários a construir crédito, com limites de gastos baixos e pagamentos automáticos, os credores podem ajudar os consumidores a estabelecer um bom crédito e criar um relacionamento com eles para futuros produtos financeiros.

Como oferecê-los:

Talvez não seja surpreendente o fato de que os dados alternativos sejam a chave para os cartões de crédito alternativos. Dados alternativos referem-se a todas as informações financeiras que não estão incluídas em um relatório de crédito, como contas de serviços públicos, pagamentos de aluguel, histórico de emprego e, às vezes, até mesmo mídias sociais. Como esses cartões são criados para consumidores sem os dados tradicionais dos bureaus, os credores podem criar seus próprios modelos de pontuação de crédito integrando uma grande quantidade de dados alternativos em seus motores de decisão. Se você tem dados alternativos, você tem a base para cartões de crédito alternativos.

Figura 1 – Gráfico de dependência SHAP para o Atributo 1

A primeira observação é que o padrão é não monotônico: à medida que os valores do Atributo 1 aumentam, a qualidade de crédito melhora, até que se preveja uma deterioração.

A primeira ação necessária é aplicar restrições de monotonicidade, que impõem previsões de modelo para aumentar ou diminuir monotonicamente em relação a um atributo quando todos os outros atributos permanecem inalterados. No exemplo acima, valores mais altos do Atributo 1 correspondem a mais qualidade de crédito. Desvios da monotonicidade (que podem ocorrer frequentemente quando as restrições de atributos monotônicos não são aplicadas) raramente representam um padrão genuíno, e sim geralmente indicam um sobreajuste excessivo aos dados de treino, comprometendo o poder de generalização do modelo.

A aplicação de restrições de monotonicidade não é suficiente para que os valores SHAP retornem códigos de ação adversa. De fato, os atributos podem ser correlacionados até certo ponto: quando os recursos interagem entre si em um modelo de ML, a previsão não pode ser expressa como a soma dos efeitos dos atributos, porque o efeito de um atributo depende do valor de outros.

O gráfico de dependência SHAP a seguir mostra como o efeito de Atributo 1 depende do Atributo 2: a interação entre ambos aparece como um padrão vertical distinto de coloração.

Figura 2 – Gráfico de dependência SHAP mostrando interação entre Atributo 1 e Atributo 2

A segunda ação que precisa ser tomada é impor restrições de não-interação, que permitem isolar o comportamento do modelo em relação a cada atributo independente de todos os outros atributos, fornecendo uma imagem clara de como um atributo individual prediz o risco. Assim, a previsão do modelo corresponde à soma de cada efeito individual.

Quando as restrições de monotonicidade e denão-interação são aplicadas, os valores SHAP podem ser usados para retornar códigos de ação adversa (alguns benefícios adicionais são processos de treinamento mais rápidos, maior poder de generalização do modelo e cálculos de importância de atributos mais fáceis de interpretar). O gráfico de dependência SHAP a seguir mostra o efeito do Atributo 1 na previsão do modelo após a aplicação de ambas as restrições: pode-se notar que há uma relação monotônica de um para um entre os valores do atributo e os valores SHAP.

Figura 3 – Gráfico de dependência SHAP do Atributo 1 depois com restrições monotônicas e de interação aplicadas

O Provenir AI adota uma abordagem cuidadosa para o desenvolvimento do modelo de ML, prevenindo o sobreajuste e fornecendo modelos totalmente transparentes e acionáveis, favorecendo o acesso dos consumidores ao financiamento e, simultaneamente, permitindo que os financiadores cumpram as regulamentações financeiras.

Por: Giampaolo Levorato, Cientista de Dados Sênior, Provenir

Todos nós já ouvimos o termo Big Data, e o mundo dos serviços financeiros não é a exceção. Big data refere-se a conjuntos grandes, estruturados e não estruturados de informações que crescem a taxas cada vez maiores. Os dados orientam as principais decisões tomadas por fintechs e organizações de serviços financeiros – desde ajudar a determinar a identidade e aprovar um empréstimo de carro ou uma hipoteca até otimizar preços e decidir quando fazer upsell para um cliente atual.

O aumento no volume, variedade e velocidade dos dados levou as instituições financeiras a usar algoritmos avançados de aprendizagem automática para tomar decisões mais inteligentes e rápidas. Mas o uso da IA não está isento de desafios. Pode haver vários obstáculos para a implantação bem-sucedida, incluindo escolher os algoritmos certos, interpretar e explicar modelos complexos, implantar os modelos, garantir que a infra-estrutura seja suficiente e gerenciar o viés.

1. Escolhendo o algoritmo certo: nem todos os algoritmos funcionam igualmente bem no mesmo conjunto de dados. Dependendo da natureza dos dados, as organizações devem ser capazes de escolher e configurar o melhor algoritmo para ajustar seus dados.
2. Complexidade, interpretabilidade e explicabilidade do modelo: a complexidade dos algoritmos de IA pode torná-los “caixas pretas” no sentido de que muitas vezes nem mesmo os desenvolvedores sabem por que e como os algoritmos tomam as decisões que tomam.
3. Implantação do modelo: implantar um modelo em produção requer coordenação entre cientistas de dados, desenvolvedores de software e usuários de negócios, representando um desafio em relação às diferentes linguagens de programação e abordagens que precisam ser unificadas em uma solução.
4. Requisitos de infra-estrutura: muitas organizações não possuem a infra-estrutura necessária para modelagem e reutilização de dados. Ser capazes de desenvolver e testar rapidamente diferentes ferramentas, em diferentes conjuntos de dados grandes, é essencial para produzir resultados mais precisos e gerenciáveis.
5. Exclusão de prejuízo: muitos consumidores em todo o mundo permanecem “invisíveis ao crédito” ou desclassificados, o que significa que pouca ou nenhuma pontuação de crédito está disponível para eles.

Qual é a melhor maneira de enfrentar esses desafios? As organizações de serviços financeiros devem fazer a transição dos tradicionais modelos lineares generalizados (GLM) para algoritmos de IA explicáveis para melhorar a velocidade e a precisão de suas decisões. De acordo com uma pesquisa recente realizada pela Pulse e Provenir, 69% das empresas planejam investir em decisões de crédito habilitadas por IA em 2022. Os algoritmos de IA também podem ajudar a identificar fraudes com mais facilidade e criar oportunidades para melhorar a experiência do cliente em todo o ciclo de vida.

• Otimização de algoritmos: escolha os algoritmos mais apropriados entre uma ampla variedade de opções, incluindo Árvores de Decisão de Gradient Boosting, Random Forest e Deep Neural Network, dependendo da natureza do conjunto de dados.
• Interpretabilidade e Explicação: através da adoção cuidadosa dos métodos de explicação SHAP e LIME é possível explicar como e por que seu modelo fez uma previsão.
• Facilidade de implantação: o uso de uma plataforma unificada permite uma implantação perfeita, permitindo que as empresas tomem ações rápidas e eficazes
• Escalabilidade: reduza o tempo de desenvolvimento de meses para dias; treinando, testando, monitorando e gerenciando automaticamente seu modelo.
• Diversos Dados: aproveitando dados tradicionais e alternativos, melhore a precisão do seu modelo, ao mesmo tempo em que gerencia o prejuízo e promove a inclusão financeira.

A mudança para algoritmos de IA tem vários benefícios – incluindo maior precisão, conformidade aprimorada e escalabilidade superior – todos com um tremendo impacto na estabilidade e no crescimento geral de seus negócios. O uso de algoritmos de IA significa modelos mais preditivos e precisos, resultando em lucros maiores, perdas reduzidas e avaliações de risco mais atualizadas. Depois de realizar pesquisas internas, a Provenir observou que os algoritmos de IA podem melhorar a precisão de um modelo em até 7%, enquanto o desenvolvimento e a implantação automatizados de modelos podem reduzir o tempo e o esforço em até 90%. Essa automação garante maior velocidade de lançamento no mercado com modelos mais precisos e a capacidade de responder rapidamente às necessidades do consumidor e às tendências do mercado, para uma escalabilidade real. E os efeitos disso vão além de um negócio individual quando você considera as implicações de maior alcance na economia como um todo – o Wall Street Journal previu um aumento de 14% no PIB global até 2030 graças aos avanços da IA.

Mais legislação está agora em jogo que exige total explicabilidade dos modelos. Os modelos totalmente interpretáveis e explicáveis atendem a esses requisitos, demonstrando claramente como e por que os modelos tomam as decisões que tomam. Além da conformidade, a governança do modelo pode ser incrivelmente difícil com ambientes tradicionalmente isolados. Ambientes separados para coleta de dados, desenvolvimento de modelos, implantação e monitoramento exigem uma quantidade imensa de tempo e recursos para serem integrados. Com um ambiente coeso e tudo-em-um, você elimina esse tempo e esforço de integração, permitindo resultados ao vivo em tempo real e ajudando a reduzir o erro humano de processos manuais.

Além dos ambientes isolados de coleta de dados, o desenvolvimento de modelos, a implantação e monitoramento, os modelos também são freqüentemente construídos separadamente dos mecanismos de decisão e a movimentação desnecessária de dados entre eles aumenta o tempo, o esforço e a probabilidade de erros. Com uma plataforma unificada que incorpora dados, IA e decisão, os modelos são construídos e implementados na mesma plataforma, garantindo a integração perfeita de dados e modelos, eliminando atrasos de recodificação e garantindo o máximo desempenho de seus modelos. Na experiência da Provenir, os modelos implementados em uma plataforma unificada podem economizar até 30% do tempo e esforço total de um projeto de modelagem.

Mas o que torna a IA tão poderosa e capaz? É tudo sobre os dados. Quanto mais dados seus modelos de IA tiverem, melhor será o desempenho de seus algoritmos avançados. Uma plataforma independente de dados que possa integrar e enriquecer seus conjuntos de dados existentes com qualquer outro tipo de conjunto de dados (ou seja, várias formas de dados alternativos) é fundamental. Essa integração perfeita com uma ampla variedade de fontes de dados ajuda a incentivar a inclusão financeira, gerenciar o prejuízo e melhorar o poder preditivo de seus modelos. E não é um negócio único – o verdadeiro valor vem da melhoria contínua que acontece quando você reúne dados, IA e tomada de decisões. O monitoramento do modelo e um ciclo de feedback constante ajudam você a ajustar suas decisões para uma otimização contínua.

Ser capaz de aumentar seu poder preditivo e tomar decisões mais precisas tem impactos em todo o ciclo de vida do cliente. Painéis e relatórios em tempo real ajudam você a se manter atualizado sobre as mudanças com seus clientes, seu portfólio e todos os seus modelos – permitindo que você gere automaticamente modelos preditivos atualizados, com tudo disponível para monitoramento ao vivo. Isso ajuda a possibilitar melhores relacionamentos com seus clientes, aumenta sua agilidade na resposta às necessidades do mercado e prevê melhor (e previne!) fraudes e perdas.

De acordo com The Economist, 86% dos executivos de serviços financeiros planejam aumentar seus investimentos em IA – mas a maioria dos projetos de IA nunca superam o estágio de conceito/planejamento. Apesar de parecer assustador mudar de modelos lineares para modelos avançados de IA, é possível implementar a IA e ver resultados em menos de 60 dias. Confira nosso guia de truques para nivelar sua tomada de decisões de risco com IA.