Perceptron and Activation Function

Perceptron

One hidden layer

Activation function

激活函数的特点：非线性，可微性，单调性

Sigmod

Tanh

ReLU

输出结构Softmax

• 用于概率输出or输出结果

• 将多个神经元的输出，映射到$(0,1)$区间，可以当成是概率来理解，从而进行多分类