复杂度分析：卷积、depth-wise卷积

一：dw conv与普通conv 理论计算复杂度

举例如下：

卷积1：普通卷积，输入为64*64*256，输出为64*64*256，卷积核大小为3*3。

参数为3*3*256*256=590K，计算量为64*64*256*3*3*256=2.42G，计算过程的memory access量（输入输出数据+参数）为64*64*256*2 + 3*3*256*256 = 2.69M。

卷积2：dw卷积，输入为64*64*256，输出为64*64*256，卷积核大小为3*3。

参数为3*3*256=2.3K个，计算量为64*64*256*3*3=9.44M，计算过程的memory access量为64*64*256*2 + 3*3*256=2.10M。

卷积3：普通卷积，输入为64*64*16，输出为64*64*16，卷积核大小为3*3。

参数为3*3*16*16=2.3K个，计算量为64*64*16*3*3*16=9.44M，计算过程的memory access量为64*64*16*2 + 3*3*16*16=133K。

可以看到卷积2肯定比卷积1快，因为计算量下降到1/256了，但卷积2实际上无法达到卷积1的256倍速度（我记得我测得结果大概是快10倍左右），因为memory access大小并没有显著降低