人工智能中的神经网络如何初始化?

2020-02-22 15:12 来源:未知 作者:石家庄生活网1
人工智能中的神经网络如何初始化?

人工智能专栏推荐

 

 

正文

人工智能中的神经网络如何初始化?这个和人类大脑有关系吗?

 

我们已经简单的了解到了梯度消失和梯度爆炸,本文我们介绍神经网络的权重初始化,他能够在一定程度上帮助我们解决梯度消失和梯度爆炸的问题。

我们先举一个神经单元初始化地例子,然后再演变到整个深度网络。

人工智能中的神经网络如何初始化?这个和人类大脑有关系吗?

 

我们这个神经元有四个输入特征,从x1到x4,经过a=g(z)处理之后,最终得到y^

 

= 11 + 22 + ⋯+ , = 0,暂时忽略,为了预防值过大或过小,你可以看

到越大,你希望越小,因为是的和,如果你把很多此类项相加,希望每项值更小, 最合理的方法就是设置 = 1/,n表示该神经元的输入特征的数量,我们将这种操作放到神经网络中,我们初始化参数矩阵要做的就是:

人工智能中的神经网络如何初始化?这个和人类大脑有关系吗?

 

Shape为第l-1层和第l层之间的权重矩阵的shape

n[l-1]就表示的是第l-1层神经元的数量

 

如果我们的神经网络使用的是Relu激活函数,那么我们的参数矩阵初始化为

人工智能中的神经网络如何初始化?这个和人类大脑有关系吗?

 

如果是tanh,我们也可以

人工智能中的神经网络如何初始化?这个和人类大脑有关系吗?

 

这就是神经网络的权重初始化方式,我们也可以在上面这些基础之上乘以一个超参数,但是这个超参数还需要我们进行调整,一般我们都不加,因为这个调节这个超参数提升效果一般。


上一篇:从伦理监管入手谋求全球领导地位        下一篇:没有了

上一篇:从伦理监管入手谋求全球领导地位

下一篇:没有了

热门搜索