生成模型

监督学习

数据x，标签y，目标是学习一个函数可以将x->y（将数据 x 映射到标签 y）

无监督学习

只有数据，没有标签。目标是学习一些数据中潜在的隐含结构。 由于数据无标签，数据的成本很低，可使用的数据量很大。

生成样本

无监督学习的一类，目标是由给定的数据，从相同的数据分布中生成新的样本。

循环神经网络

背景

在批量归一化发明之前，20 层以上的深层卷积神经网络的训练非常困难。当年（2014 年）出现的深层卷积网络如 VGG 和 GoogleNet 都是采用了一些小技巧来让它收敛——

• 如 VGG 采用先训练 11 层，然后在中间添加一些额外的随机层。
• 在网络的下层添加一些辅助分类器。

这些都是为了获得额外的梯度，而不是为了更好地分类。

ResNet——残差神经网络，输入通过一些小的残差块，再进入到卷积层再得到输出。两个好的性质：

线性分类

KNN 的缺点：

1. 分类器必须记住所有训练数据并将其存储起来。以便以后测试数据用于比较。而往往数据集的大小都很大。
2. 对一个测试图像进行分类需要和所有的训练图像作比较，算法计算资源耗费高。
   阅读全文 »

CS231n 笔记

Lecture 5 Convolutional Neural Networks 卷积神经网络

背景

常规的神经网络（全连接网络）在大尺寸图像分类领域由于参数量过大，易导致过拟合且算力消耗巨大，效果不佳。

卷积神经网络的结构

特点是神经元呈三维排列。CNN 中各层的神经元是三维排列的，分为宽度、高度、深度（这里的深度是指激活数据体的第三个维度，不是整个网络的深度）。

一般 CNN 主要由三类层构成：卷积层、池化层、全连接层。