【CNN卷积神经网络】

卷积神经网络(CONVOLUTIONAL NEURAL NETWORK, CNN)到底是什么?全面理解CNN 阅读详情

1. 卷积神经网络的发展历程

1962年,Hubel和Wiesel对猫大脑中的视觉系统的研究,Hubel和Wiesel记录了猫脑中各个神经元的电活动。他们使用幻灯机向猫展示特定的模式,并指出特定的模式刺激了大脑特定部位的活动。这种单神经元记录是当时的一项创新,由Hubel早期发明的特殊记录电极实现,他们通过这些实验系统地创建了视觉皮层的地图。
在这里插入图片描述

1980年,日本科学家福岛邦彦在论文《Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffectedby shift in position》提出了一个包含卷积层、池化层的神经网络结构。
在这里插入图片描述
1998年,在这个基础上,Yann Lecun在论文《Gradient-Based Learning Applied to Document Recognition》中提出了LeNet-5,将BP算法应用到这个神经网络结构的训练上,就形成了当代卷积神经网络的维形。Yann Lecun最早将CNN用于手写数字识别
在这里插入图片描述
CNN的全称是"Convolutional Neural Network"(卷积神经网络)。而神经网络是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)结构和功能的数学模型或计算模型。神经网络由大量的人工神经元组成,按不同的连接方式构建不同的网络。CNN是其中的一种,还有GAN(生成对抗网络),RNN(递归神经网络)等,神经网络能够类似人一样具有简单的决定能力和简单的判断能力,在图像和语音识别方面能够给出更好的结果。

2. 卷积神经网络的应用领域

2.1 分类检系

在这里插入图片描述

2.2 目标检测

在这里插入图片描述

2.3 图像分割

在这里插入图片描述

2.4 无人驾驶

在这里插入图片描述

2.5 人脸识别

在这里插入图片描述

2.6 其它领域

医学任务、OCR、标识识别等:
在这里插入图片描述

3. 卷积神经网络工作原理

基本框架
在这里插入图片描述

3.1 卷积层:

主要是用来提取图像数据的特征和学习图像数据的特征表示
在这里插入图片描述
在这里插入图片描述
卷积层需要定义的参数
在这里插入图片描述
填充
在这里插入图片描述
步长
在这里插入图片描述
卷积核个数
在这里插入图片描述

3.2 池化层:

池化是一种down-sampling技术,本质是基于滑动窗口的思想,可以去除特征图中的冗余信息,对卷积层结果压缩的到重要特征,同时还可以有效的控制过拟合。池化一般通过简单的最大值、最小值或平均值操作完成。
在这里插入图片描述

3.3 批归一化(Batch Nomarliaztion):

为了解决层与层之间传输数据,前面层的数据更新,导致后面层数据分布的变化,会产生网络收敛慢,学习速度降低问题。Batch Nomarliaztion简化了计算过程,并保留了原始数据的表达能力。
在这里插入图片描述

3.4 激活函数:

使得神经网络拥有能拟合所有非线性函数的本领。

  • sigmoid激活函数:通常在二分类任务的输出层中使用
  • tanh激活函数:通常用于分类任务的输出层和模型的隐藏层
  • ReLU激活函数:常用于回归任务和卷积神经网络的隐藏层
    在这里插入图片描述

3.5 优化器:

作用:加快学习速度。
momentum动量优化:动量优化考虑更之前步骤的梯度,每一步将动量向量减去局部梯度m,并且将模型权重加上这一动量向量。换言之,梯度用于加速度,而不用于速度。
在这里插入图片描述
RMSProp优化器: RMSProp优化器在累计梯度时仅使用最近步骤的,而不是从训练一开始的。
在这里插入图片描述
Adam优化器:结合了动量优化和RMSProp的思想。如同动量优化,该算法记录了过往梯度的指数衰减加权平均。如同RMSProp算法,该算法记录了过往梯度平方的指数衰减加权平均
在这里插入图片描述

3.6 随机失活dropout方法:

在每个训练步骤中,每个神经元(包括输入神经元,但不包括输出神经元)都有p概率暂时性
被忽略,但在这一步中被忽略的神经元可能在下一步中活跃,如下图所示。超参数p称为dropout概率,通常设为10%到50%。训练结束后,神经元在预测和使用阶段不会被忽略。使用dropout后神经网络的精度能够提升1 -2%。可以防止过拟合。
在这里插入图片描述

3.7 全连接层

全连接层:当一层中的神经元与前一层的所有神经元都相连时,该层则称为全连接层(dense layer)。主要作用是将输入图像,在经过卷积和池化操作后提取的特征进行压缩,并且根据压缩的特征完成模型的分类功能。
在这里插入图片描述

4. 残差网络

ResNet卷积神经网络结构赢得了2015年的ImageNet图像分类挑战赛,由Kaiming He等人提出,其前五预测错误率达到了3.6%。该结构包含了极其深的卷积层,达到了152层。总体趋势而言,模型变得越来越深,参数变得越来越少。而训练深度网络的关键则是使用跳跃连接(skip connection),即某一层的输入同时会加入更深层的输出。具体而言,训练神经网络的目标是构造一个目标函数h (x),当把输入x加入网络的输出时,则网络会试图构造 f(x)=h(x)-x而不是h(x),这就称为残差学习。
在这里插入图片描述

4.1 残差块

残差块就是有跳跃连接那—部分。
在这里插入图片描述

4.2 残差网络

残差网络可以解决当网络非常深时出现的梯度爆炸和梯度消失问题。
在这里插入图片描述

4.3残差网络的工作方式

当网络加深时,通过恒等函数可以保证网络性能不受影响,甚至可以提高效率。如果输入和输出有不同的维度,会使用一个1×1的卷积来升高或者降低输入维度
在这里插入图片描述

4.4 ResNet-50

残差网络网络结构
在这里插入图片描述
ResNet50:第5列,首先有一个7×7×64的卷积,然后经过3+4+6+3=16个残差块,每个块有3个卷积层(如图(3)),所以有16×3=48,最后有一个全连接层(fc),一共是1+48+1=50层。

参考文献:
https://www.bilibili.com/video/BV1FT4y1E74V?p=66
https://www.bilibili.com/video/BV1FT4y1E74V?p=67
https://www.bilibili.com/video/BV1FT4y1E74V?p=68
https://www.zhihu.com/question/41037974
https://blog.csdn.net/qq_42118719/article/details/113544673

本人学习模式识别课程陈莹、黎耀娟提供参考资料
特此鸣谢!!!

【Pytorch教程】:卷积神经网络 CNN Pytorch教程目录 Torch and Numpy 变量 (Variable) 激励函数 关系拟合(回归) 区分类型 (分类) 快速搭建法 批训练 加速神经网络训练 Optimizer优化器 卷积神经网络 CNN 目录Pytorch教程目录什么是卷积神经网络 CNN卷积 和 神经网络池化(pooling)流行的 CNN 结构CNN 卷积神经网络MNIST手写数据CNN模型训练可视化训练全部代码 什么是卷积神经网络 CNN 卷积 和 神经网络 卷积神经网络是如何运作的呢, 举一个识别图片的例子, 我们知 阅读详情

相关推荐

基于Pytorch的卷积神经网络CNN实例应用及详解

基于Pytorch的卷积神经网络CNN实例应用及详解 一、卷积神经网络CNN定义 卷积神经网络(CNN,有时被称为 ConvNet)是很吸引人的。在短时间内,它们变成了一种颠覆性的技术,打破了从文本、视频到语音等多个领域所有最先进的算法,远远超出了其最初在图像处理的应用范围。CNN 由许多神经网络层组成。卷积和池化这两种不同类型的层通常是交替的。网络中每个滤波器的深度从左到右增加。最后通常由一个或多个全连接的层组成。 二、卷积神经网络的原理 ...

rothschild666的博客 5496

卷积神经网络(CNN)

1. CNN的起源 1962年,Hubel和Wiesel等通过对猫的大脑视觉皮层系统的研究,提出了感受野的概念,并进一步发现了视觉皮层通路中对于信息的分层处理机制,由此获得了诺贝尔生理学或医学奖。 Hubel DH, Wiesel TN. Receptive fields, binocular interaction and functional architecture in the ca

Joe的博客 2万+

CNN卷积神经网络

CNN卷积神经网络 一、CNN卷积神经网络概念 卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。 二、CNN卷积神经网络原理 简要介绍下。神经网络的每个单元如下: 其对应的公式如下: 其中,该单元也可以被称作是Logistic回归模型。当将多个单元组合起来并具有分层结构时,就形成了神经网络模型。下图展示了一个具有一个隐含层的神经网络。其对应的公式如下: 比较类似的,可以拓展到有

qq_54615837的博客 6130

深度学习1

摘要:本文全网基于深度学习的资料,综合整理了一篇全网最全最详细的深度学习的简介。所谓简介就是让不懂深度学习的人或者想要学习深度学习的人一个参考。由于网上的资料参差不齐,作者也是能力有限,如有错误,请及时指正。本文所有的参考资料都在文末。 文章目录 前言 人工智能的浪潮席卷全球,很多词汇时刻萦绕在我们的耳边,人工智能,AI,机器学习,深度学习,神经网络,卷积,反卷积,池化,反池化。今天主要针对这几个概念,做一个详细的解释。 人工智能 人工智能(Artificial Intelligence),英文缩写为AI。

weixin_43923223的博客 1279

CNN 卷积神经网络

滑动窗口方式除了计算量比较大,还有个问题就是窗口是离散的,所以大概率不会有窗口完美框到待识别物体,并且可能物体本身也不是正方形,因此单纯的滑动窗口无法准确给出边界。YOLO(you only look once)算法解决了上面问题,并且替换了滑动窗口。它将图像等分成n×n的格子,以下图为例3×3,然后识别3类物体,标签为8维数据,P_c每个格子是否有Object,有的话中心点坐标b_x、b_y,框的高度b_h,框的宽度b_w,softmax结果3个,然后训练。

djl806943371的博客 1255

[2] 卷积神经网络CNN 图解

背景之前在网上搜索了好多好多关于CNN的文章,由于网络上的文章很多断章取义或者描述不清晰,看了很多youtobe上面的教学视频还是没有弄懂,最后经过痛苦漫长的煎熬之后对于神经网络和卷积有了粗浅的了解。于是在这里记录下所学到的知识,关于CNN 卷积神经网络,需要总结深入的知识有很多: 人工神经网络 ANN 卷积神经网络 CNN 卷积神经网络 CNN - BP算法 卷积神经网络 CNN - LetNet

3407

卷积神经网络概念与原理

一、卷积神经网络的基本概念 受Hubel和Wiesel对猫视觉皮层电生理研究启发,有人提出卷积神经网络(CNN),Yann Lecun 最早将CNN用于手写数字识别并一直保持了其在该问题的霸主地位。近年来卷积神经网络在多个方向持续发力,在语音识别、人脸识别、通用物体识别、运动分析、自然语言处理甚至脑电波分析方面均有突破。 卷积神经网络与普通神经网络的区别在于,卷

yunpiao123456的专栏 30万+

AIGC实战——卷积神经网络(Convolutional Neural Network, CNN)

在全连接网络中,首先需要将图像展平为一个一维向量,以便将其传递给第一个全连接层。为了考虑图像的空间结构,需要使用卷积神经网络 (Convolutional Neural Network, CNN) 。本节中,将介绍卷积神经网络的优势及其基本组件,并使用 Keras 构建卷积神经网络。

盼小辉丶的博客 1万+

人工智能:卷积神经网络概述

卷积神经网络 1962年,Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时,发现其独特的局部互连网络结构可以有效地降低反馈神经网络的复杂性,继而提出了卷积神经网络(Convolutional Neural Networks,CNN)。1980年,Fukushima基于神经元间的局部连通性和图像的层次组织转换,为解决模式识别问题,提出的新识别机是卷积神经网络的第一个实现网络。 随着1986年BP算法以及权值共享和池化的提出,LeCun和其合作者遵循这一想法,使用误差梯度设计和训练卷积神

m0_38063435的博客 1110

银河麒麟服务器操作系统V10SP2实战:基于vsftpd构建多角色精细化权限FTP服务

本文详细介绍了在银河麒麟服务器操作系统V10SP2上基于vsftpd构建多角色精细化权限FTP服务的实战指南。从环境准备、核心配置到多角色用户权限管理,全面解析了FTP服务的部署与优化技巧,特别针对企业级应用场景提供了安全加固和故障排查方案。

weixin_30312563的博客 352

MacOS蓝牙连接疑难杂症:从基础排查到高级修复全攻略

本文提供了一份全面的MacOS蓝牙故障排查与修复指南。从基础的菜单栏检查、终端命令诊断,到软/硬重启蓝牙服务、删除配置文件,再到使用blueutil工具、重置NVRAM等高级方法,系统性地解决了蓝牙无法连接、连接不稳定等常见问题。最后还分享了环境干扰排查、预防措施及硬件故障自检方法,帮助用户彻底解决Mac蓝牙连接难题。

weixin_29271263的博客 437

卷积神经网络(Convolutional Neural Networks,CNN)

卷积神经网络(Convolutional Neural Networks,CNN)是一种深度学习架构,它在图像和视频识别、分类以及相关的视觉识别任务中非常有效。CNN基于人脑处理视觉信息的方式,特别是视觉皮层中神经元的层次结构和连接模式。

weixin_43156294的博客 2863

TX 的 LOL(Local Oscillator Leakage,本振泄露)

项目内容LOL 是什么本振残留在 TX 输出中心频率上的杂散主要原因IQ 失衡、硬件不完美、零中频架构影响杂散、干扰、性能劣化、安全问题解决方法初始化校准 + 跟踪校准(AD9371 支持)检测手段频谱仪、回环检测、ADC ILA 抓取。

weixin_41230430的博客 2035

CNN卷积神经网络详解

1、cnn卷积神经网络的概念 卷积神经网络(CNN),这是深度学习算法应用最成功的领域之一,卷积神经网络包括一维卷积神经网络,二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络主要用于序列类的数据处理,二维卷积神经网络常应用于图像类文本的识别,三维卷积神经网络主要应用于医学图像以及视频类数据识别。 2、卷积神经网络结构 卷积神经网络通常包含以下几层: 卷积层:卷积神经网路中每层卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征,第一层卷积层

qq_45301231的博客 1万+

经纬度转换为UTM坐标

UTM(通用横向墨卡托投影): 是一种以米为单位的坐标系统,用于地图和GPS导航。将地球划分为60个纵向的区域。每个区域宽6度,从赤道开始往南北两级方向划分。每个区域都有一个特定的字母。

weixin_45626706的博客 7269

问题解答:如何不通过修改底层数据库表的方式,给数据库对应的数据结构,增添新的字段?

现在需要将这张表里的内容读取到 ABAP 内表里,并且针对每个行项目,增加一个新的列字段,我随便举个例子,这个列字段名称叫 LENGTH,值为 OBJ_NAME 字段的长度,使用。最笨的办法就是下面这样定义一个新的类型,这个类型的每个字段名称,都来自数据库表 TADIR 的同名字段,在末尾再增添自定义字段 length.其实我们是做 ALV 输出,只需要 ABAP 内表变量的类型,包含 TADIR 数据库表的全部字段,再加上新的 LENGTH 字段即可。这相当于多了一个中间层,没办法直接被 ALV 处理。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 463

卷积神经网络(Convolutional Neural Networks, CNN)

CNN是一种包含卷积计算且具有深度结构的前馈神经网络,通过模拟人脑视觉系统的工作原理,利用卷积层、池化层等结构,从数据中自动提取并学习特征,实现高效且准确的分类、识别等任务。CNN的主要特点包括局部连接、权值共享和平移不变性,这些特点使得CNN在处理图像等具有网格结构的数据时具有显著优势。

hong161688的博客 1490

996引擎 - 读写变量性能测试

单轮100万次读写,取3轮平均耗时(毫秒),有效读取率均为100%,数值越小性能越优。

灵台方寸山斜月三星洞 237

DL —— 卷积神经网络(convolutional neural networks,CNN)

卷积神经网络是深度学习最核心的部分; 最早用于美国银行系统识别手写支票; 卷积神经网络 一、训练数据 因为卷积神经网络是为了解决图像领域的应用而提出的网络结构,所以训练数据一般为视频图像数据(张量数据,tensor);可以根据图像的性质对CNN的结构进行设计,使得CNN相比一般的神经网络结构更加高效、性能更好。 其中: X(i)是第i张图像; H * W * D是每个图像的尺寸; D表示整个训练...

biubiusion的博客 1478

SXU—软件测试方法和技术-朱少民-第三部分 软件测试方法大题汇总-附考点和相关习题及解答

软件测试方法和技术-朱少民-第三部分 软件测试方法—-最少测试用例个数,强一般弱一般强健壮、边界值分析、ns流程图、白盒逻辑覆盖代码、等价类划分,逻辑组合(条件)覆盖,计算圈复杂度等—附考点和相关习题及解答

weixin_63597914的博客 2204

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

理解卷积神经网络——CNN(Convolutional Neural Networks)

1 卷积神经网络(CNN)模型结构 在DNN大类中,卷积神经网络(Convolutional Neural Networks,以下简称CNN)是最为成功的DNN特例之一。 CNN广泛的应用于图像识别,当然现在也应用于NLP等其他领域,本文我们就对CNN的模型结构做一个总结。 1.1 CNN基本结构 首先我们来看看CNN的基本结构。一个常见的CNN例子如下图: 图中是一个图形识别的CN...

qq_41665685的博客 1622

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

卷积神经网络CNN

卷积神经网络(convolutional neural network, CNN),是一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络是受生物学上感受野(Receptive Field)的机制而提出的。卷积神经网络专门用来处理具有类似网格结构的数据的神经网络。例如,时间序列数据(可以认为是在时间轴上有规律地采样形成的一维网格)和图像数据(可以看作是二维的像素网格)。

crossoverpptx的博客 5684

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

CNN卷积神经网络入门

Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09            自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样。所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另

s151506879的博客 2441
上一篇: 【自己动手Python编程替换视频会议背景】
下一篇: 【HomeAssistant外网访问(cpolar)】
2345VOR
2345VOR 领域专家: 嵌入式与硬件开发技术领域 领域专家: 嵌入式与硬件开发技术领域
博客等级 码龄9年 4万+粉丝 452原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

2345VOR

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值