1.One time setup1.Activation Function激活函数及其特征sigmoid函数类似于“神经放电”，将数字压缩至[0,1]
三个问题：①平滑的地方梯度消失，让学习过程更困难 （最严重的问题）
②其输出一直为正，并不是以零中心对称的。存在非常不稳定的因素。（会导致梯度一直为正/负）–使用小批量梯度，对这些梯度求平均得到最后的梯度，可以解决这个...
Lecture8 CNN经典架构Alexnetinput：227x227x3
① CONV1: 96 11x11 filters at stride 4 pad 2.
输出？W’ = (W-k+2p)/s +1=55 [55x55x96]
总参数？(11113+1)96 = 35k 一层有：（输入通道内核大小+偏差）
浮点运算（乘法和加法）? （C_o...
Lecture7 卷积神经网络前面存在的问题：并没有利用图像的空间结构（将其展开成向量）
1.Convolution layer 卷积层超参数：（卷积层大小、层数、填充、步长）
构成：①输入三维张量（depth x width x height）
②权重矩阵 filter（也是三维）
存在约束：filter与input的depth必须相同。（filter会覆盖input的整个深度）
计算：...
Lecture6–反向传播如何为神经网络计算梯度？
bad idea：在纸上推导
better：计算图
以svm loss举例
蓝色节点：x与W的矩阵乘法
红色节点：铰链损失（针对SVMloss）
绿色：正则化项
相加得到L（loss）
Backpropagation 反向传播构成：
1.Forward pass “前向传递”计算输出值
2.backward pass “反向传递”计算每...
“线性分类器不够强大”
Solution ①：
Feature Transform “特征变换”————需要考虑如何设计特征类型
举例一：颜色直方图 Color Histogram只考虑颜色出现的频率/多少，不考虑图像实际信息
举例二：Histogram of Oriented Gradients（HoG）主要流程：
1.对每个像素边缘方向、强度计算。
2.将图像分为8x8 区...
2️⃣ follow the slope
直接计算导数、使用导数（deltaloss/delta-h）
缺点：对求导计算缓慢，如果矩阵/维度过大
===用一个方程表示梯度（反向传播 第六节中讲述）
Computing Gradients(计算梯度)
numeric/analytic （计算出值/分析）
一般使用数字梯度来检...
Linear Classifiers–线性分类器一、如何理解线性分类器一、代数观点分析线性分类器：权重矩阵W和像素X之间的矩阵相乘，再加上b
如果输入数据具有native vector form，可以将b合并至W矩阵中处理**（针对线性分类是好的方法，对于卷积并非）
feature：预测也是线性的，放大/缩小所有像素，会让所有预测值都放大/缩小
（如下图）
二、视觉角度...
一、Tensor 张量定义：The number of dimensions is the rank of the tensor；例：tensor([1,2,3])的秩为1
the shape of a tensor is a tuple of integers giving the size of the array along each dimension 例：tensor([1,...
Welcome to Hexo ! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub....
