学习文章Event-based Asynchronous Sparse Convolutional Networks涉及到本文的稀疏卷积操作。
关注点
目前卷积网络主要对密集输入进行处理,但是现实中有许多数据是稀疏的,作者提出了稀疏卷积操作用于处理系数点,该卷积可以在子流形结构上进行操作。
1.Motivation
1.1子流形膨胀

如图所示,一维的源泉在二维平面上进行卷积操作时,发现随着卷积层数的增加,输出的特征图的稀疏性会迅速消失。
子流形用于表示稀疏数据,因为它的有效维数低于它所在的空间,例如二维空间的一维曲线或者三维空间中的二维曲面。
1.2 SC和VSC
Sparse Convolution(SC):
表示为SC(m,n,f,s),其中m表示输入特征平面(通道数),n表示输出的特征平面(channel),f表示filter size,s表示步长。其中f可以为non-square的,例如1x7或者7x1大小。
SC与普通卷积不同之处主要在于,它假设非活跃位点的输入恰好为0,从而丢弃了基态(ground state)。
- SC的输入输出变化:输入大小为l时,输出为(l-f+s)/s;
- 普通卷积的输入输出变化:输入大小为l时,输出为(l-f+2p)/s+1。
- 对于active site而言。对于之后的层,如果一个site的感受野中存在actives site, 那么这个site为active site,与普通卷积的操作相同

本文介绍了一种新的卷积网络架构——事件驱动异步稀疏卷积网络(Event-based Asynchronous Sparse Convolutional Networks),该网络专门针对稀疏数据设计,通过子流形卷积和有效维度概念处理稀疏性挑战,提出Sparse Convolution和Valid Sparse Convolution两种操作,构建了改进的VGG、ResNet和DensNet模块。

7986

被折叠的 条评论
为什么被折叠?



