二分类模型评价指标-KS值

---

1.1 概念

  KS值越大，表示模型能够将正、负客户区分开的程度越大。
  通常来讲，KS>0.2即表示模型有较好的预测准确性。

  柯尔莫哥洛夫-斯米尔诺夫检验（Колмогоров-Смирнов检验）基于累计分布函数，用以检验两个经验分布是否不同或一个经验分布与另一个理想分布是否不同。

  绘制方式与ROC曲线略有相同，都要计算TPR和FPR。但是TPR和FPR都要做纵轴，横轴为把样本分成多少份。
步骤：

1. 按照分类模型返回的概率降序排列
2. 把0-1之间等分N份，等分点为阈值，计算TPR、FPR
3. 对TPR、FPR描点画图即可

KS值即为Max(TPR-FPR)

###1.2 代码

  提供代码一份，仅供参考。

下面的图坐标轴标题有误，纵轴tpr/fpr，横轴为threshold阈值(感谢sinat_27339001指出)

PS：并没有觉得这个KS值有什么用啊~

  以一个例子计算:
  对于某二分类模型，针对名顾客打分。如果实际数据中有90名顾客产生购买行为。那么，。按照概率降序排序，取前。如果其中个人产生购买行为，那么排名前的用户其实际购买率的。

1. 按照概率降序排序，0-1等分，等分点为阈值
2. 响应率为各个等分区间内的属于正1的占该区间或者累计区间总体观察数量的百分比
3. 捕获率为各个等分区间内的属于正1的占该区间或者累计区间总体观察属于正1数量的百分比

                      2017-06-05 于杭州
                      2018-07-13 于南京市建邺区新城科技园