(A ,B )---m*n*k---(1,0)(0,1)
分类A和B,让A和B各由7张图片组成,测试集和训练集相同
| A | B | ||||||
| 1 | 0 | 1 | 3 | 1 | 0 | 1 | |
| 0 | 0 | 1 | 1 | 0 | 1 | 0 | |
| 0 | 1 | 0 | 1 | 1 | 1 | 0 | |
| 1 | 0 | 0 | 1 | 1 | 1 | ||
| 1 | 0 | 1 | 3 | 0 | 0 | 1 | |
| 1 | 0 | 1 | 3 | 0 | 1 | 0 | |
| 0 | 1 | 1 | 1 | 1 | 1 |
让这14张图片不断的循环往复,直到收敛,统计分类准确率,并比较,观察分类准确率是如何变化的。
A里有5张图片是重合的,3张101,1张001和1张010.B里有4张图片是重合的,1张101,1张001和2张010.如果网络认为这3张重合图片都是A的,则网络将有4张图片被分类错误,分类准确率为10/14=0.71428571.
但这并不是这个训练集的峰值分类准确率,因为如果认为010是属于B而不是A,则A将有1张图片被分类错误,B有两张图片被分类错误,则A的分类准确率为6/7,B的分类准确率为5/7,因为A和B的测试集数量相同都是7张。因此总的分类准确率就是0.5*6/7+0.5*5/7=11/14=0.78571429.
实测得到的数据
| 4 2 1 0 4 4 5 *** | ||||||||
| 4 1 3 6 2 1 6 *** | 71 | |||||||
| f2[0] | f2[1] | 迭代次数n | 平均准确率p-ave | 1-0 | 0-1 | δ | 耗时ms/次 | 耗时ms/199次 |
| 0.5008517 | 0.49844 | 14.9045226 | 0.50933238 | 0.56137832 | 0.45728643 | 0.5 | 1.33668342 | 266 |
| 0.48304571 | 0.51772972 | 543.809045 | 0.66798277 | 0.67049533 | 0.66547021 | 0.48 | 4.54773869 | 905 |
| 0.46166588 | 0.53901288 | 837.040201 | 0.70136396 | 0.70638909 | 0.69633884 | 0.46 | 6.51256281 | 1296 |
| 0.43734172 | 0.5625642 | 1023.67839 | 0.71213209 | 0.70710696 | 0.71715721 | 0.44 | 7.69346734 | 1531 |
| 0.41697757 | 0.58290464 | 1124.30151 | 0.71428571 | 0.71428571 | 0.71428571 | 0.42 | 8.31658291 | 1655 |
| 0.39672969 | 0.60308087 | 1217.82915 | 0.71428571 | 0.71428571 | 0.71428571 | 0.4 | 9.02512563 | 1796 |
| 0.37675193 | 0.62312376 | 1305.78894 | 0.71428571 | 0.71428571 | 0.71428571 | 0.38 | 9.57286432 | 1905 |
| 0.35712908 | 0.64343648 | 1394.95477 | 0.71428571 | 0.71428571 | 0.71428571 | 0.36 | 10.201005 | 2030 |
| 0.33711391 | 0.66295131 | 1496.19095 | 0.71428571 | 0.71428571 | 0.71428571 | 0.34 | 10.7487437 | 2139 |
| 0.31753706 | 0.68270012 | 1599.32663 | 0.71428571 | 0.71428571 | 0.71428571 | 0.32 | 11.3768844 | 2264 |
| 0.2977825 | 0.70211153 | 1718.57286 | 0.71428571 | 0.71428571 | 0.71428571 | 0.3 | 12.4070352 | 2469 |
| 0.27841551 | 0.72159909 | 1895.78894 | 0.71428571 | 0.71428571 | 0.71428571 | 0.28 | 13.3366834 | 2654 |
| 0.25898464 | 0.74085709 | 2234.81407 | 0.71428571 | 0.71428571 | 0.71428571 | 0.26 | 15.7738693 | 3139 |
| 0.23933037 | 0.76069566 | 3337.55779 | 0.71428571 | 0.71428571 | 0.71428571 | 0.24 | 22.9145729 | 4560 |
| 0.21943873 | 0.78058162 | 4304.96482 | 0.71428571 | 0.71428571 | 0.71428571 | 0.22 | 31.0703518 | 6183 |
| 0.19951553 | 0.80040712 | 6340.52261 | 0.71428571 | 0.71428571 | 0.71428571 | 0.2 | 44.4924623 | 8854 |
| 0.22785295 | 0.77211008 | 8047.50251 | 0.71428571 | 0.71428571 | 0.71428571 | 0.18 | 55.3165829 | 11008 |
| 0.42992394 | 0.56996748 | 9069.29146 | 0.71428571 | 0.71428571 | 0.71428571 | 0.16 | 65.8190955 | 13098 |
| 0.3750617 | 0.62496473 | 9853.29146 | 0.71428571 | 0.71428571 | 0.71428571 | 0.14 | 67.5628141 | 13445 |
| 0.28397223 | 0.71600874 | 10734.3769 | 0.77745872 | 0.84063173 | 0.71428571 | 0.12 | 73.6934673 | 14665 |
| 0.16396303 | 0.83606521 | 11511.2864 | 0.78571429 | 0.85714286 | 0.71428571 | 0.1 | 78.7839196 | 15678 |
| 0.01102295 | 0.98897694 | 120701.075 | 0.78571429 | 0.84206748 | 0.72936109 | 0.001 | 804.939698 | 160183 |
这个网络的峰值分类准确率是0.78571429,并且出现了从10/14到11/14的过度过程。
A有3个101因此101是A的,B有2个010因此010是B的,而001A和B各有1个,所以无论把001分给谁,对总的分类准确率没有影响。因此峰值分类准确率取决于重合图片在训练集中的占比。
所以网络的分类准确率和测试集占比有很大关系,这可以解释为什么有的网络分类准确率由大变小的情况,比如分类A和B,AB各由5张图片构成
| A | B | |||
| 1 | 0 | 1 | 1 | |
| 0 | 1 | 1 | 1 | |
| 0 | 1 | 0 | 1 | |
| 0 | 1 | 0 | 1 | |
| 0 | 1 | 1 | 1 |
如果网络认为01属于B则A的分类准确率是0.2,B是1.但最终网络一定认为01属于A,因为A中有4个01.这时A的准确率是1,B是0.6.但如果AB测试集占比是1:3
则第一种情况的分类准确率是0.2*1/4+1*3/4=0.8
第二种情况的分类准确率是1*1/4+0.6*3/4=0.7.而此时对应的是网络的峰值性能。
所以随着网络的收敛分类准确率从0.8降到0.7.
所以峰值分类准确率取决于训练集的构成比例,如果能充分收敛,最终的分类准确率取决于峰值分类准确率和测试集的构成比例。