无论是对于图像领域的分类、分割问题,亦或点云领域的物体分类、场景分割,在评价一个模型的好坏时,经常涉及TP、FP、TN、FN、Recall、IoU、Accuracy。。。等指标进行衡量,那么这些指标是什么意思呢?
今天有幸请到了鸭子先生、猴子客官和熊猫大大来给大家亲身示范一下。
咦!发现10只可爱的小动物,可是我们不知道是什么动物,要不用深度学习分一下类吧?

这个时候直接掏出训练好的模型,把这些小动物丢进去,一番等待之后,我们有了以下的预测结果:

很明显,模型并没有非常完美的完成任务。但是如何评价它呢?
对某一类别A来讲:T = true,表示正确分类的;F = false,表示错误分类的;P = Positive,表示预测结果为A;N = Negative,表示预测结果为非A。
A的数目,既预测为A,真值也是A,。A的数目,既预测为A,真值是非A。非A的数目, 既预测为非A,真值也是非A,。非A的数目,既预测为非A, 真值是A。那么:对于上述3个动物类别而言:
| 类别 | TP | FP | TN | FN |
|---|---|---|---|---|
| 鸭子 | 5 | 1 | 3 | 1 |
| 猴子 | 1 | 1 | 7 | 1 |
| 熊猫 | 2 | 0 | 8 | 0 |
可以看到,对每一个类别而言,TP+FP+TN+FN == 10(共10个动物)
含义:所有小动物分类的准确率,总共10只小动物,其中8只被正确分类。
计算:8 / 10 = 80.00%
含义:一动物类别A的所有预测结果里,真值为A的动物所占的比例
计算:P = TP / (TP + FP)
含义:一动物类别A的所有预测结果里,真值为A的数目,除以原始数据中A类动物的总个数
计算:R = TP / (TP+FN)
含义:某一类的预测结果和真实值的交集与并集的比值

真实值(6只鸭)与预测结果(5只鸭+1只猴),其交集为5只,并集为7只。真实值(2只猴)与预测结果(1只鸭+1只猴),其交集为1只,并集为3只。真实值(2只熊)与预测结果(2只猫),其交集为2只,并集为2只。可见:IoU值约接近于1,表示该类的预测结果越好
含义:所有类别的IoU求和,除以类别数目
计算:(0.714 + 0.333 + 1)/ 3 = 0.682
参考: