Submanifold Sparse Convolutional Networks

本文介绍了一种新的卷积网络架构——事件驱动异步稀疏卷积网络(Event-based Asynchronous Sparse Convolutional Networks),该网络专门针对稀疏数据设计,通过子流形卷积和有效维度概念处理稀疏性挑战,提出Sparse Convolution和Valid Sparse Convolution两种操作,构建了改进的VGG、ResNet和DensNet模块。

学习文章Event-based Asynchronous Sparse Convolutional Networks涉及到本文的稀疏卷积操作。

关注点

目前卷积网络主要对密集输入进行处理,但是现实中有许多数据是稀疏的,作者提出了稀疏卷积操作用于处理系数点,该卷积可以在子流形结构上进行操作。

1.Motivation

1.1子流形膨胀

在这里插入图片描述
如图所示,一维的源泉在二维平面上进行卷积操作时,发现随着卷积层数的增加,输出的特征图的稀疏性会迅速消失。

子流形用于表示稀疏数据,因为它的有效维数低于它所在的空间,例如二维空间的一维曲线或者三维空间中的二维曲面

1.2 SC和VSC

Sparse Convolution(SC):

表示为SC(m,n,f,s),其中m表示输入特征平面(通道数),n表示输出的特征平面(channel),f表示filter size,s表示步长。其中f可以为non-square的,例如1x7或者7x1大小。
SC与普通卷积不同之处主要在于,它假设非活跃位点的输入恰好为0,从而丢弃了基态(ground state)。

  • SC的输入输出变化:输入大小为l时,输出为(l-f+s)/s;
  • 普通卷积的输入输出变化:输入大小为l时,输出为(l-f+2p)/s+1。
  • 对于active site而言。对于之后的层,如果一个site的感受野中存在actives site, 那么这个site为active site,与普通卷积的操作相同
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

space_dandy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值