另类注意力机制之深度残差收缩网络(附代码)

  • 时间:
  • 浏览:2

强度残差收缩网络Deep Residual Shrinkage Network是并不是较为新颖的强度神经网络,本质上是强度残差网络ResNet的并不是改进版本,其目的是提高强度神经网络在强噪数据上的型态学习效果,其核心思想在于:在型态学习的过程中,剔除冗余信息也是很糙要的

利用强度残差收缩网络进行MNIST手写数字的分类,都可否就看,嘴笨 这么了 加进噪声,效果还是挺好的。强度残差收缩网络的代码:

M. Zhao, S. Zhong, X. Fu, et al., Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898

参考文献:

https://ieeexplore.ieee.org/document/883000096

强度残差收缩网络嘴笨 是并不是通用的强度型态学习法子,不仅都可否用于含噪数据的型态学习,也都可否用于不含噪声数据的型态学习。这是是是因为,强度残差收缩网络中的阈值是根据样本情况表自适应选者的。换言之,是是因为样本中不含冗余信息、只能软阈值化,这么了 阈值都可否被训练得非常接近于零,从而软阈值化就共要不居于了。

首先,大家儿来回顾一下强度残差网络。强度残差网络的基本模块如下图所示。相较于普通的卷积神经网络,强度残差网络引入了跨层的恒等连接,以降低模型训练的难度,提高准确率。

最后,堆叠有些基本模块,就都可否得到完整篇 的网络型态。

假如,相较于普通的强度残差网络,强度残差收缩网络引入了有有另八个 小型的子网络,用你你是什么子网络学习得到一组阈值,继而对型态图的各个通道进行软阈值化。你你是什么过程嘴笨 是有有另八个 可训练的型态选者的过程。具体而言,要是 通过前面的有有另八个 卷积层Conv将重要的型态变加进绝对值较大的值,将冗余信息所对应的型态变加进绝对值较小的值;通过子网络学习得到二者之间的界限,假如通过软阈值化将冗余型态置为零,一块儿使重要的型态有着非零的输出;这么了 就实现了有有另八个 型态筛选的过程。

接下来是强度残差网络ResNet的进程:

以上有有另八个 进程建立了只能有有另八个 基本模块的小型强度神经网络,MNIST图像数据中也这么了 加进任何噪声。训练和测试准确率如下表所示,都可否就看,即使是对于不含噪声的数据,强度残差收缩网络的效果也是挺不错的: