From Linear to Deep

1. 线性回归的基本要素

线性模型

损失函数

解析解&随机梯度下降

2. 矢量化

3. 正态分布与平方损失

4. 从线性回归到深度网络

神经网络图

• 需要注意的是，输入值都是已经给定的，并且只有一个计算神经元。 由于模型重点在发生计算的地方，所以通常我们在计算层数时不考虑输入层。

• 我们可以将线性回归模型视为仅由单个人工神经元组成的神经网络，或称为单层神经网络。

• 对于线性回归，每个输入都与每个输出（在本例中只有一个输出）相连， 我们将这种变换 称为全连接层（fully-connected layer）或称为稠密层（dense layer）。 下一章将详细讨论由这些层组成的网络。

生物学

5. Softmax回归

分类问题

网络架构

前连接层的参数开销

Softmax运算

小批量样本的矢量化

损失函数

对数似然

softmax及其导数

交叉熵损失

信息论基础

熵

信息量

模型预测和评估

Reference：d2l