如何评价预测模型:这两个指标如果你还不知道,赶紧看看吧~

古月 一点统计 2023-07-20 22:22 发表于福建

点击上方蓝字关注,更多干货等你挖掘!

琵琶语

一、马修斯相关系数
马修斯相关系数(MCC)同样是评价预测模型的一个指标,但在研究中却比较少见。然而,MCC却是一个难得的、用于反映模型综合预测效果的指标。MCC可以理解为预测结果和真实结果之间的相似性和接近程度。
图片

以下面的二分类混淆矩阵为例,其计算公如(2)所示,可以看到,在计算MCC过程中,会用到混淆矩阵中的所有情况(包含了TP、TN、FP和FN)。因此,MCC是一个综合了阳性和阴性类的全能型指标。
图片
图片

MCC的取值范围为[-1,+1],只有当模型将大多数阳性类和大多数阴性类都预测对时,MCC才会较大。数值越偏向1,说明预测效果越好;数值越偏向-1,说明预测结果和真实结果几乎完全相反;数值等于0,说明预测模型和随机猜测相同。
图片

在多数文献中,准确率accuracy和F1值是更常见的,但这两个指标面对不平衡数据时,结果一般是有偏的,尤其是准确率。但MCC对于不平衡预测,同样保持很好的客观性。因此,作者建议在分类预测中,要大力提倡使用MCC指数。
图片

Reference: The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation


二、诊断比值比
诊断比值比(diagnostic odds ratio, DOR)是评价预测模型识别病人效果的综合指标,其含义为真实病例组中预测为阳性的比值与真实非病例组中预测为阳性的比值的比。其值范围为[0,+∞],其值越大,表示模型预测效果越好。另外,DOR不受患病率的影响,在不平衡预测中也是一个不错的指标。其计算公示如下。举个例子,假设预测高血压发病研究中,获得DOR数值为50,说明什么?这个结果说明使用该模型,预测高血压组患高血压的概率是非高血压组患高血压概率的50倍。
图片
Reference: Artificial Intelligence, Machine Learning and Deep Learning: Potential Resources for the Infection Clinician Running


喜欢本文,记得收藏+分享,感谢支持~


收录于合集 #文献速递
 144
上一篇Lancet子刊:分性别预测髋部骨折!当传统的logistic遇上机器学习,孰强孰弱?下一篇预测模型构建新技能Get:先给特征排排序,再来逐个探索~

微信扫一扫
关注该公众号