卷积神经网络
一、概念
通过卷积的运算由浅入深的提取图象的不同层次特征，用神经网络的训练过程使整个网络自动调节卷积核的参数，从而无监督的产生了最适合的分类特征。
二、卷积
函数的光滑化（正则化）：对于任意的可积函数f，都可以简单地构造出一系列逼近于f的光滑函数
fs
两个变量在某范围内相乘后求和
模拟信号
卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积。即，一个域中的卷积相当于另一个域中的乘积，例如时域中的卷积就对应于频域中的乘积。F(g(x)*f(x)) = F(g(x))F(f(x)) 应用：电子工程与信号处理中，任一个线性系统的输出都可以通过将输入信号与系统函数（系统的冲激响应）做卷积获得。
高斯变换就是用高斯函数对图像进行卷积。
根据我们需要待处理的信号形式，来设计所谓的系统传递函数，那么这个系统的传递函数和输入信号，在数学上的形式就是所谓的卷积关系。
滤波器其实就是卷积核、响应函数
从上面的式子中，可以很明显的看到，卷积实际上是提供了一个权重模板，这个模板在图像上滑动，并将中心依次与图像中每一个像素对齐，然后对这个模板覆盖的所有像素进行加权，并将结果作为这个卷积核在图像上该点的响应
1）卷积是一种线性运算
2）卷积核的大小，定义了图像中任何一点参与运算的邻域的大小。
3）卷积核上的权值大小说明了对应的邻域点对最后结果的贡献能力，权重越大，贡献能力越大。
4）卷积核沿着图像所有像素移动并计算响应，会得到一个和原图像等大图像。
5）在处理边缘上点时，卷积核会覆盖到图像外层没有定义的点，这时候有几种方法设定这些没有定义的点，可以用内层像素镜像复制，也可以全设置为0。
三、卷积特征层
卷积运算是用领域点按一定权重重新定义该点值的运算
卷积神经网络就是在普通的多层神经网络前面加了2个特征层，这两层特征层是通过权重可调整的卷积运算实现的
四、卷积神经网络
卷积神经网络中有特征抽取层和降维层，这些层的结点是部分连接，并且一幅特征图由一个卷积核生成，这一幅特征图上的所有结点共享这一组卷积核的参数。
不懂
RBF参数向量起着F6层目标向量的角色。需要指出这些向量的成分是+1或-1，这正好在F6 sigmoid的范围内，因此可以防止sigmoid函数饱和。实际上，+1和-1是sigmoid函数的最大弯曲的点处。这使得F6单元运行在最大非线性范围内。必须避免sigmoid函数的饱和，因为这将会导致损失函数较慢的收敛和病态问题。
（2）S2-C3
C3那16张10*10大小的特征图是怎么来？
将S2的特征图用1个输入层为150（=5*5*6，不是5*5）个节点，输出层为16个节点的网络进行convolution。
该第3号特征图的值（假设为H3）是怎么得到的呢？
首先我们把网络150-16（以后这样表示，表面输入层节点为150，隐含层节点为16）中输入的150个节点分成6个部分，每个部分为连续的25个节点。取出倒数第3个部分的节点（为25个），且同时是与隐含层16个节点中的第4（因为对应的是3号，从0开始计数的）个相连的那25个值，reshape为5*5大小，用这个5*5大小的特征patch去convolution S2网络中的倒数第3个特征图，假设得到的结果特征图为h1。
同理，取出网络150-16中输入的倒数第2个部分的节点（为25个），且同时是与隐含层16个节点中的第5个相连的那25个值，reshape为5*5大小，用这个5*5大小的特征patch去convolution S2网络中的倒数第2个特征图，假设得到的结果特征图为h2。
最后，取出网络150-16中输入的最后1个部分的节点（为25个），且同时是与隐含层16个节点中的第5个相连的那25个值，reshape为5*5大小，用这个5*5大小的特征patch去convolution S2网络中的最后1个特征图，假设得到的结果特征图为h3。
所以这里可以知道刚刚14*14的图像计算它的节点，按步长为3计算，则一幅图可得5*5个神经元个数，乘以6得到150个神经元个数。