Please enable JavaScript.
Coggle requires JavaScript to display documents.
卷积原理 (动机 (稀疏交互 (做法
相比全连接,参数矩阵中每一个单独的参数都描述了输入单元与一个输出单元的交互,卷积使参数矩阵的大小远小于输入大…
卷积原理
动机
稀疏交互
做法
相比全连接,参数矩阵中每一个单独的参数都描述了输入单元与一个输出单元的交互,卷积使参数矩阵的大小远小于输入大小
优点
减少了模型的存储需求,还提高了它的统计效率(相同的感受野但运算少了,运算时间也减少了)
个人理解
就是神经元相比根据输入输出连接,它根据一个固定的常数k连接
原因
- 一般认为人对外界的认知是从局部到全局的,而图像的空间联系也是局部的像素联系较为紧密,而距离较远的像素相关性则较弱
- 因而,每个神经元其实没有必要对全局图像进行感知,只需要对局部进行感知,然后在更高层将局部的信息综合起来就得到了全局的信息)
参数共享
-
优点
虽然没有改变传播的运行时间,但它显著地把模型存储需求较低至k个参数
-
原因
一个特征检测器(filter)对图片的一部分有用的同时也有可能对图片的另外一部分有用
等边表示
定义
参数共享的特殊形式使得神经网络层具有对平移等变的特质
结果
如果一个函数满足输入改变,输出也以同样的方式改变这一特质,我们就说它是等变的(就是输入图像翻转切割,输出图像也会翻转切割)
-
统计学原理
Strided
-
卷积后图像大小计算
按公式向下取整,因为若移动的窗口落在图片外面时,则不要再进行相乘的操作,丢弃边缘的数值信息,所以输出图片的最终维度为向下取整
作用
跳过核中的一些位置来降低计算的开销,达到下采样的效果
卷积核
定义:
- 一般以随机小数矩阵的形式初始化,在网络的训练过程中卷积核将学习得到合理的权值
- 事实上卷积神经网络因为“卷积”的原理应该叫cross-correlation神经网络,但是因为某些原因一直叫卷积神经网络
原理
-
数学原理
- 卷积核遍历输入相乘然后相加
- 通过卷积核输出的结果,识别输入的图像特征,例如斜线,竖线,横线等
- 卷积核识别的特征一层一层堆叠下去,然后越来越复杂,越来越靠近分类的某些特征
多层输入与多层输出
多层输入
- 图片一般有3层,R、G、B,所以对应卷积核就应该有三层
- 多卷积核输出后也将变成下一层的多层输入
多层输出
同样的输入,通过在一层中用多个并行的卷积核提取不同的特征,因此也就有了几层输出
Padding
分类
相同卷积
实现
- 在原图像外围加上宽度p的0
- p的计算:p=(f-1)/2(f为卷积核边长,一般为奇数)
原因
- 每次卷积操作,图片会缩小,一旦卷积层多了,图片会变得非常小
- 角落和边缘位置的像素进行卷积运算的次数少,可能会丢失有用信息
概述
只进行足够的零来填充保持输出和输入具有相同的大小
优缺点
- 网络能包含任意多的卷积层
- 边界填充零导致边界像素存在一定程度的欠表现
有效卷积
-
优缺点
- 输出像素表示更规范
- 限制了网络中能够包含的卷积层的层数
全卷积
概述
进行足够多的零填充,使得每个像素在每个方向上恰好被访问k次
优缺点
- 边界填充零导致边界像素存在一定程度的欠表现
- 学得一个在卷积映射的所有位置都表现不错的单核更为困难
作用
- 允许对核的宽度和输出的大小进行独立的控制
- 因为不用面对网络空间的快速缩减或被逼选择小型核,极大的提高了网络的表示能力
总结
步骤
- 定义卷积核、Padding、Strided
- 各个卷积核扫描输入
- 计算得出各个输出,堆叠成新的输入
- 卷积核权重w乘以输入x然后加上b得出z
- 用激活函数计算g(z)得出a
公式
- 例子:10个333的卷积核参数共有333*10+10个参数
感觉心理学原理
感觉是一个自上而下的过程
高级的大脑中心可以“命令”低级的加工水平的中心,应当向上发送哪些信息(这个不确定的形状可能被旁边的信息所影响,格式塔心理学)
感觉是一个自下而上的过程
- 视网膜神经元会被某些光学刺激(横、竖、钩和折线等)激起
- 潜意将视网膜刺激和视觉记忆中的内容比较,生成对刺激的认识(这是个什么东西)
变体
-
平铺卷积
概述
学习一组核使得在空间移动时它们可以循环利用(一般是在channel并行,这个就相当于在图像上并行。或者说是局部连接和卷积的折中)
特征
无限强的先验
先验的定义
我们在看到数据之前认为什么样的模型是合理的
特征
一个无限强的先验需要对一些参数的概率置零并且完全禁止对这些参数赋值,无论数据对于这些参数的值给出了多大的支持
例子
卷积神经网络类比成一个无限强先验的全连接网络,因为它的那些卷积核池化特征
结果
- 导致欠拟合(不符合先验条件的将很难学习,相反就减少过拟合)
- 比较卷积模型的统计学习表现时,只能以基准中的其他卷积模型为比较对象