CS231N Lecture5 神经网络

“线性分类器不够强大”

Solution ①：

Feature Transform “特征变换”

————需要考虑如何设计特征类型

举例一：颜色直方图 Color Histogram

只考虑颜色出现的频率/多少，不考虑图像实际信息

举例二：Histogram of Oriented Gradients（HoG）

主要流程：

1.对每个像素边缘方向、强度计算。

2.将图像分为8x8 区域

3.在每个区域，计算HoG。

常用于物体检测等任务（20世纪初）。

举例三：”data driven 数据驱动型”

将数据集图片内容提取，使用聚类，得到与视觉词对应的”codebook”（形成特征向量）

再对图片进行处理，绘制图片的颜色直方图，将其与codebook匹配，寻找结果。

缺点：特征提取复杂；不能有效利用数据自行调整系统、达到最好的分类效果

神经网络

如图，是一个简单的神经网络示例：由输入列向量x，权重矩阵W1、W2，隐藏层h，输出层S构成。

其中的权重矩阵每个元素都有值，对后续输出造成影响，称为全连接神经网络/多层感知器 “Fully-connected neural network”/“Multi-Layer Perceptron”（MLP）

复杂神经网络

常用Activation Function –RELU函数

RELU函数（修正线性单元）–使用最广泛的激活函数

如果不添加激活函数，神经网络又是一个线性分类器！

其他常用激活函数：

从一个有趣的角度理解激活函数：空间扭曲

线性分类器造成的空间扭曲，大概率是这样的：

但是使用RELU函数，对空间变换如下：

这样的话，数据在变换后的特征空间变得线性可分（如下图，类似于对空间进行两次折叠）

增加隐藏层，可能导致决策边界变复杂

——需采用更强的正则化，而不是减少隐藏层！

神经网络另一功能：Universal Approximation “万能逼近”

从代数观点分析：

对于结果y，每一项u1max(0,w1x+b1)相当于RELU函数的平移/放大缩小：

根据wi正负对RELU进行左右翻转；

根据偏差bi来设置拐点；

根据第二个权重/第一个权重得到斜率。

例：用四个隐藏层（四个relu函数），完成对凹凸函数的拟合

关于神经网络的优化–

1.NONConvex Functions “非凸函数优化”

目前没有理论验证其一定收敛，但实践证明有用。