D类调优可分为宏观和微观两个层面的。
1)宏观层面:对“整体风险客群”的收紧,而非某个具体维度的客群;
2)微观层面:对某个维度的客群(非整体)进行策略收紧,以达到优化策略效用的目的,具体方法包括了策略收紧、策略替换、策略新增。
本篇重点介绍策略规则的收紧。
二、策略收紧
1)概念理解
策略收紧(狭义上理解)这里特指,对规则或模型的阈值进行收紧调整,将原通过的客群进行一定比例的拒绝,以达到降低逾期率的目的。注:这里的策略收紧指的是狭义上的理解,一种具体的方法,仅对规则或模型本身的阈值进行调整,不借助其他变量(比如策略新增、策略替换)。
2)适用对象
策略收紧的分析方法同时适用于规则和模型(因为模型本身就是一个强规则)。规则是微观的调整,调整范围小,而模型是宏观调整,收紧的调整范围更大,比如对主模型融合模型的风险等级进行收紧拒绝一类风险客群,那将会大幅度的降低通过率和逾期率。
3)方法特点
策略收紧是通过有贷后表现的样本分析后制定的,和A类调优的阈值放松相比,有更好的量化分析条件基础,分析过程更容易。
1. 阈值收紧的分析步骤
1)调优需求:政策指导、市场变化导致资产质量变差、监控报表发现逾期率升高等
2)提取样本:挑选合适的历史样本(代表性、充分性、数据可回溯性、时效性),并且回溯数据(具体可参考模型篇“样本设计”内容)
3)寻找风险:一般遵循“从大到小”的顺序向下拆解逐个分析和排查出风险点(寻找可优化点)
4)量化分析:对分析对象(规则或模型)进行分箱,统计分箱下的样本数量、区间坏账率(bad rate )和Lift值等评估指标,确定可调优的对象。
5)制定策略:执行策略调整方案(可能有多个),对比分箱下bad rate和大盘风险指标,制定阈值收紧策略
6)效果测试:在“历史样本、近期样本”上执行收紧策略,对通过率、逾期率进行效果测算,与收紧前对比。如效果未达预期需重新调整策略后再进行评估,直到满足要求为止,完成最终调整方案的确定。
7)策略上线:决策引擎配置策略后,进行灰度测试或者AB测试,最后再正式上线
2. 量化分析
策略分析人员通过监控报表发现,近期FPD7+的首逾指标不断升高,达到风险预警线需要进行策略调整。假设经过分析发现了贷前策略的“规则集”在通过样本上的风险较高,此时我们需要对该规则集内部的规则进行量化分析。
对规则集内部所有的单个规则进行分箱处理,并计算分箱下的区间坏账率 bad rate 和Lift,对比找出 Lift 值较大的,结合业务逻辑来确定可调优的规则对象。比如下面是其中一个xx类的规则,它在线上已有的判断逻辑是:>=4时命中拒绝,否则未命中通过。分析后发现已通过样本的 [3,4)区间对应的 Lift=3.87>3,在所有规则中最高(bad rate接近31%,远高于大盘平均风险水平7.95%)。
3. 制定策略方案
制定策略优化的方案是一个分析的过程,确定好之后需将策略用代码在当前离线分析环境下执行。
右侧的函数ruleset_calc为执行策略的Python代码,将调整后的策略执行后计算规则集的综合命中率、单一命中率、自然命中率,主要用于反映规则集命中的变化情况、以及内部规则互相之间的影响。
4. 效果测算
效果测试主要是评估,调整前后策略对于“通过率、逾期率”的变化影响。理论上来说,做规则阈值收紧的D类调优后,通过率和逾期率会同步下降,如何去评估调优后的效果呢?
可以“对比通过率和逾期率下降的幅度”来评估是否有效。因为通过率和逾期率的量纲不一致,对比绝对值是没有意义的,因此可对比相对值。比如收紧调整后,逾期率下降幅度为20%,通过下降幅度为6.79%,说明逾期率下降的程度更多,即牺牲了少部分好客户拒绝了更多的坏客户。
此外还要注意,如果是日常策略调整(微调),业务上不允许大幅度的下降通过率,这会直接导致业务不稳定;如果是做大规模的收紧调整,通过率下降幅度较大的情况,则需要更详细的效果测算。
可以从“成本收益”的角度进行测算。按照“其他成本(资金成本、人力成本、投放成本、运营成本、数据成本等)+风险损失成本>=利息+罚息”的公式,如果策略收紧调整后,增加拒绝的客群中,成本总和超过了收益总和,则认为策略是有效的。不过该测算过程需要额外补充和匹配还款相关的数据,另外其他成本项也需要进行合理的预估。
D类调优可分为宏观和微观两个层面的。
1)概念理解
策略新增就是,在不改变已有策略的基础上(保持不变)额外增加新的策略,来达到策略调优的目的,一般应用在D类的收紧策略中。
2)使用场景
使用策略新增,通常的需求是 “已有策略没有收紧的空间,即通过已有策略的调整无法满足业务要求,需要其他维度的信息补充”。比如贷前场景中发现近期的风险逐渐升高,需要做收紧的调优策略,但经过通过样本的量化分析后发现没有调整空间,此时可考虑接入新的三方数据源作为补充。基于新的数据维度制定规则策略,补充到决策流程中。因为已有策略不变,额外增加了新的审批策略,通过率会下降。
1. 分析步骤
1)调优需求:政策指导、市场变化导致资产质量变差、监控报表发现逾期率升高等
2)提取样本:挑选合适的历史样本(代表性、充分性、数据可回溯性、时效性),并且回溯数据(具体可参考模型篇“样本设计”内容)
3)策略开发:单变量规则、二维交叉规则、决策树生成多维规则组合(具体可参考策略开发篇内容)
4)制定策略:将新增策略融入旧策略中,执行策略
5)效果测试:在“历史样本、近期样本”上执行策略,对通过率、逾期率进行效果测算,与新增前对比。如效果未达预期需重新调整策略后再进行评估,直到满足要求为止,完成最终调整方案的确定。
6)策略上线:决策引擎配置策略后,进行灰度测试或者AB测试,最后再正式上线
2. 策略开发
1)规则策略的几种形态
策略新增的过程其实就是“策略开发”,即分析变量区分效果并制定规则的过程。
以规则为主的策略形式主要包含基于单变量的规则、二维交叉的规则、基于决策树生成的多维交叉规则这几种。如右侧所示,从上到下,其特点可以归纳为:“随着维度更多,复杂度增加,同时命中率更低,识别能力更加精准”。
最终需要综合考虑对“逾期率、通过率”这两者的影响来决定使用哪种形式。
2)二维交叉规则示例
下面是一个二维交叉的规则组合,评估交叉格子中的区间坏账率(Lift)和样本数量占比,反映对于逾期率、和通过率的影响。
3. 制定策略&效果测算
在策略调优的需求下,新策略开发只是其中一环,能否融入旧策略中,还需要测算整体策略的效果,主要的关注点是新策略能否带来增益,一是额外命中的比例有多少?二是评估新增后对“逾期率、通过率”的影响。
在进行效果测算时,需要注意以下几点:
1)要将已有策略和新策略的数据,用“同一批样本”进行分析。这样制定新策略后才能与旧策略融合,以进行综合效果评估。
2)新策略风险区分效果好不一定就可以对旧策略带来增益。可能二者的相关性较高,或者重叠度较大,大部分是重复命中的,那么新增后也不会有多大提升效果。因此,该部分的数据分析流程:可先进行相关性的分析,或者做二维交叉的决策矩阵,看分布下是否“互有单调性”,最后再通过命中率的测算来看最终效果。
四、策略置换
1)概念理解
置换策略,又叫“swap-in-swap-out”置入置出策略,是通过设计一个全新的策略来替代已有旧策略的优化方法。它与规则阈值收紧、策略新增不同,不是在已有策略上做调整、新增或者收紧,而是完全替换。该优化方法在策略的优化迭代中频繁使用,是策略分析师必备的技能之一。
2)业务场景
置换策略既可以应用在A类调优,也可以应用在D类调优场景中。通过置入置出,可以实现“保持通过率不变,降低逾期率”或者“保持逾期率不变,提高通过率”的目的。
3)置换对象
置换对象可以是以规则为主的策略,也可以是以模型为主的策略。例如,模型策略的置换,近期通过监控报表发现,线上主模型KS指标持续下滑,为此模型团队迭代了一版新模型,交付给了策略团队。策略团队需要做一件事情:从业务角度,对新/旧模型进行离线对比测试,此时就需要用到置换策略,即对模型的置换分析。
1. 什么是置入置出?
所谓“置换”,包括置入和置出两部分,什么是置入置出呢?
举例说明下。右侧是模型迭代前后的置换分析示例,展示了新旧模型在通过和拒绝状态下样本的浓度,其中绿色样本代表好客户,红色样本代表坏客户。
置入:旧模型(策略)拒绝的,而新模型通过的
置出:旧模型(策略)通过的,而新模型拒绝的
在这个示例中,置换就是新旧模型在决策上的“差异部分”,可以看到,置入部分的坏客户浓度要低于置出部分。
2. 置入样本坏账率预测—离线预估
经过前面计算后,获取了置入部分的坏账率预估,结果如下。
1)通过率对比
新模型通过率为86.29%,旧模型通过率为80.81%;
2)逾期率对比
新模型置入部分的坏账率为6.65%,置出部分的坏账率为37.79%;
新模型通过部分的坏账率为4.84%,旧模型通过部分的坏账率为7.79%。
3. 代码实操(节选)
左可试看,右可咨询