Lecture15 Object Detection物体检测:Classification+Localization(分类+定位)
多任务损失:
滑动窗口使用滑动窗口来检测物体(将窗口内图片进行分类,k种类别or背景)
R-CNN : Region-Based CNN存在的问题:运行过慢
将选择的区域(RoI : region of Interest)作为input,扭曲后再进入Conv ...
Z-Buffer 深度缓存对所有三角形遍历,存储最近的像素:
使用frame buffer存储色彩值
使用z buffer存储深度
Shading 着色三个部分:Specular highlights高光、Diffuse reflection漫反射和 Ambient lighting环境光
输入变量:
视线方向v
表面法线n
光源方向I
表面参数:颜色、亮度…
Diffuse...
SegmentationSemantic Segmentation 语义分割定义:对图片的每一个像素进行分类
1.Fully Convolutional初始想法
只用conv层搭建神经网络(不使用全连接or池化层)
在最后一层,使输出通道数与预测类别相等。
将输出解释为每个类别的得分,用类似softmax对每个像素处理,得到概率分布。
其loss:可以对每个像素使用cross-entrop...
光栅化 RasterizationTriangles三角形的特质:
可分解其他多边形
保证平面性
明确界定的内部区域
好的数值插值方法
Sampling 采样:简单的光栅化方法实际上是将函数离散化的过程。
判断:如果像素中心在三角形内,则采样。
1.利用叉积:全正or全负,说明在三角形内部。P1QxP1P2,P2QxP2P0,P0QxP0P1(按逆/顺时针顺序,否则会出错)...
Transformation 变换2D 变换线性变换 ——使用矩阵
仿射变换 Affine Transformation缩放变换Scale (not uniform/uniform)缩放某一比例,可以写成矩阵形式
反射Reflection Matrix斜切 Shear Matrix
旋转 Rotate Matrix默认绕原点逆时针旋转
齐次坐标增加一个维度,解决了平移用矩阵表示...
Lecture14 Visualizing &Understand可视化模型&帮助理解
Visualizing what models have learnedVisualizing filters 可视化过滤器对第一层过滤器使用有效,对更高层多通道图像作用不大
对更高层:将其切割为灰度图像,但效果不明显。
Visualizing final layer features...
Lecture13 AttentionAttention 注意力机制第一时间步(单个)
1.计算 标量alignment scores(对齐分数),对每一个隐藏层打分.
2.对用softmax归一化,得到概率分布(注意力权重)。
3.上下文向量通过线性计算得到:
4.解码器再对上下文向量解码:
(这个过程是可微的!没有对注意力的监督——对每个部分进行反向传播)
第二时间步(向前传递):...
Lecture12 RNN循环神经网络:以某种顺序的过程,处理顺序问题和非顺序的问题
隐藏层的更新如图,呈递归关系。
注意:在每个时间步中,使用的f函数以及参数都是相同的。即一直使用相同的权重矩阵。其中x_{t}为当前时间步的输入向量。
h_{t}=f_{W}(h_{t-1},x_{t})
举例:Vanilla RNNh_{t-1}乘以矩阵,x_{t}乘以另一个矩阵,然后使用ta...
Client-Server model⭐Client-Server结构是一种经典的通信模型。它通常采取两层结构:
服务器(Server)负责数据的处理。它有以下特征:
等待来自客户端的请求
处理请求并传回结果
客户端(Client)负责完成与用户的交互任务。它有以下特征:
发送请求
等待直到收到响应
IP AddressIP Address(Internet Protocol a...