模型评估是整个建模周期中基础且核心的部分。选择恰当的评估指标，可以使模型训练和测试事半功倍。
模型训练后，我们需要对刚训练出来的模型通过一系列指标进行关于稳定度、区别能力等效果的度量。
本文主要介绍以下常见评估指标：
评估模型稳定度指标PSI、CSL;
评估模型区别能力指标AUC、Gini、KS。
可衡量测试样本及模型开发样本评分的的分布差异，为最常见的模型稳定度评估指针。
PSI最早应用于评估评分模型的稳定性，但是，PSI指标在风控策略、产品利率等多方面也是有应用的。
其实PSI表示的就是按分数分档后，针对不同样本，或者不同时间的样本，population分布是否有变化，就是看各个分数区间内人数占总人数的占比是否有显著变化
PSI小于0.1时候模型稳定性很高，0.1-0.2一般，需要进一步研究，大于0.2模型稳定性差，建议修复。
PSI的计算公式=SUM((Actual % - Expected %)*(LN(Actual % / Expected %)。
CSI用来衡量样本在特征层面上的分布变化，反映了特征对评分卡分数变化的影响。
能帮助我们理解入模特征变量对模型分数波动的影响以及背后的客群分布偏移原因。这对风控模型不稳定时追溯定位原因具有重要意义。
CSI的计算公式可以写成：
Gini系数是国际上通用的，用以衡量一个国家或地区居民收入差距的常用指标，所以，应用在评分模型中它也是表征评分模型的区分能力。
Gini的计算公式：
cpY是收入排序后的累计比例，cpX是人口的累积比例，其结果是一个秩相关系数，很多统计软件包比如SAS提供的Some’s D，其实就是Gini系数。
在评分卡中，可以看下面表来理解下Gini的计算过程:
其中，G_num代表好客户数量，B_num代表坏客户数量，Retain代表累积。
在金融风控领域中，常用于衡量模型对正负样本的区分度。通常来说，值越大，模型区分正负样本的能力越强，一般0.3以上，说明模型的效果比较好（申请评分卡）。
其定义如下：
KS=Max{|retain_bad_pct - retain_good_pct|}
说起AUC就不得不提ROC曲线。
ROC 曲线，显示分类模型在所有分类阈值下的性能的图表。该曲线绘制了两个参数: TP Rate和FP Rate。
AUC (ROC曲线下的面积)，AUC测量整个ROC曲线下的整个二维区域。
AUC的值范围为0到1。
预测错误100% 的模型的AUC为0.0
具有100% 个正确预测的模型的AUC为1.0。
通常来说，AUC的值位于[0.5,1]上，在AUC>0.5的情况下，AUC的值越接近1，就说明其诊断的效果越好。
一般的，一个诊断方法的AUC在(0.5,0.7]时说明其有较低的准确性，AUC在(0.7，0.9]是就说起有一定的准确性，AUC的值大于0.9时就有较高的准确性。
当诊断方法的AUC=0.5时，其没有诊断价值，若AUC<0.5是不符合实际情况的，一般极少出现。其实说白了AUC就是一个评价一个分类器好坏的指标。
看到这里，如果你想学习更多指标的计算方式与计算逻辑如PSI 、GINI、KS、AUC等，以及各指标之间的区别与应用场景；想更高效提升量化风控方向的模型技能。
