玻尔兹曼机

在Hopfield神经网络中，如果发生串扰和陷入局部最优解，网络将不能正确回忆模式，而玻尔兹曼机的出现避免了局部最优解。 玻尔兹曼机网络的结构和Hopfield一样，如上图所示。

各神经单元之间相互连接，两单元之间的权重是对称的，即w _{i j} = w _{j i}，且没有到自身的连接，即w _{i i} = 0，同时，每个神经单元的状态只能是0/1(也可用1/-1表示)。

玻尔兹曼机和Hopfield神经网络最大的区别是前者的输出是按照某种概率分布确定的，概率分布公式如下：

如何训练玻尔兹曼机

训练步骤如下：

1.初始化连接权重w _{i j} 和阈值b _i；

2.选取一个神经单元i，计算u _i ；

3.根据u _i 计算输出x _i ；

4.按照同样的步骤计算出x _j ，根据输出x _i 和x _j 的值，调整连接权重w _{i j} 和阈值b _i。

重复上述2-4步骤。

步骤中u _i 的计算与Hopfield神经网络一样，x _i的值也同Hopfield，即当u _i >0时x _i = 1,当u _i < 0 时x _i = 0 ，当u _i = 0时x _i = x _i 。然后根据x _i  的值，利用公式(1)计算出x _i取值为1或0的概率，然后调整x _i 的值，以同样的步骤计算x _j ，如果x _i 和x _j均为1，那么增大w _{i j} ，网络中其它的神经单元按找同样的方法处理。

然后再向网络输入任意的模式，按照同样的步骤计算x _i 和x _j  ，这次如果x _i 和x _j 均为1，那么降低w _{i j}，网络中其余的神经单元按照同样的方法进行处理。这种先增大权重再减小的处理方式叫做模拟退火算法。

那么，权重w _{i j} 和偏置b _i 的调整值如何调整？

这里使用似然函数导出：

这里，θ 是表示所有的权重和偏差，其中概率分布p ( x _n ∣ θ ) 的定义如下：

这个概率分布成为玻尔兹曼机，E 表示能量函数，Z ( θ ) 是一个归一化常数，能保证所有概率分布总和为1，

为了便于运算，式(2)转换为对数函数，如下：

其实通过式(5)调整权重和偏置的过程就是求式(5)的梯度的过程，但目前由于计算量过大，不能快速实时计算，因此人们又提出了一种对比散度算法，这将在之后进行说明。

受限玻尔兹曼机

除了上面所说的玻尔兹曼机的网络结构之外，还有一种网络结构是将一部分神经单元隐藏起来，那么整个网络变成由可见单元与隐藏单元组成，但这使得似然函数的计算更加困难，为了解决这个问题，辛顿等人在玻尔兹曼机中加入了"层内单元之间无连接"的限制，这便成为受限玻尔兹曼机(RBM)。我们把可见变量记作v ，隐藏变量记作h，那么受限玻尔兹曼机的能量函数表示如下：

这里，θ是表示所有权重和偏置，b _i 表示第i个可见神经单元的偏置，c _j 表示第j个隐藏神经单元的偏置。

在受限玻尔兹曼机中，状态( v , h )的联合概率分布为：

如何训练？

受限玻尔兹曼机的结构可以表示如下：

和玻尔兹曼机一样，训练过程中对权重w _{i j} 和偏置b _i , c _j 的调整也需要使用对数似然函数，表示如下：

对各参数的调整使用的是误差反向传播算法，分别计算各参数的偏导得：

然后，各参数得更新如下：

但是上式中得∑ _v p ( v ) 表示所有输入模式的总和，这使得整个公式得计算量大大增加，同样的，为了解决这个问题可以使用对比散度算法。

 

对比散度算法

算法训练过程

1.  使用随机数初始化权重和偏置；

2.在可见层v ( 0 ) 设置输入模式；

3.根据概率分布公式调整隐藏层中h ( 0 ) 的值；

4.根据输出x _i 和x _j 的值，调整连接权重w _{i j} 、偏置b _i 和c _j  。

最后，重复步骤2-4。

这里，步骤2-3描述的过程的计算公式为(以通过初始可见层计算隐藏层的值为例)：

那么接下来：

这里σ 表示sigmoid激活函数，为：

按照同样的规律迭代步骤2-3。一般在对比散度算法中，只迭代一次足够。

最终，连接权重w _{i j} 、偏置b _i 和c _j 的调整值变为了：

这里，η和神经网络一样，表示学习率。此时我们根据上式计算所有训练样本的参数，最后取平均值就是网络最后的参数。

深度信念网络

深度信念网络的结构不像受限玻尔兹曼机一样只有两层，而是由一层可见层和多层隐藏层组成，训练时使用对比散度算法先训练可见层与第一层隐藏层之间的参数，然后将这些参数作为下一层隐藏层的输入，计算第二层隐藏层，如此循环下去，直到训练到最后一层。

各层的条件概率分布如下：

计算第二层隐藏层，如此循环下去，直到训练到最后一层。

各层的条件概率分布如下：

————————————————

本文转载自CSDN博主：!Polaris

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.csdn.net/qq_40905198/article/details/120146422

玻尔兹曼机

在Hopfield神经网络中，如果发生串扰和陷入局部最优解，网络将不能正确回忆模式，而玻尔兹曼机的出现避免了局部最优解。 玻尔兹曼机网络的结构和Hopfield一样，如上图所示。

各神经单元之间相互连接，两单元之间的权重是对称的，即w _{i j} = w _{j i}，且没有到自身的连接，即w _{i i} = 0，同时，每个神经单元的状态只能是0/1(也可用1/-1表示)。

玻尔兹曼机和Hopfield神经网络最大的区别是前者的输出是按照某种概率分布确定的，概率分布公式如下：

如何训练玻尔兹曼机

训练步骤如下：

1.初始化连接权重w _{i j} 和阈值b _i；

2.选取一个神经单元i，计算u _i ；

3.根据u _i 计算输出x _i ；

4.按照同样的步骤计算出x _j ，根据输出x _i 和x _j 的值，调整连接权重w _{i j} 和阈值b _i。

重复上述2-4步骤。

步骤中u _i 的计算与Hopfield神经网络一样，x _i的值也同Hopfield，即当u _i >0时x _i = 1,当u _i < 0 时x _i = 0 ，当u _i = 0时x _i = x _i 。然后根据x _i  的值，利用公式(1)计算出x _i取值为1或0的概率，然后调整x _i 的值，以同样的步骤计算x _j ，如果x _i 和x _j均为1，那么增大w _{i j} ，网络中其它的神经单元按找同样的方法处理。

然后再向网络输入任意的模式，按照同样的步骤计算x _i 和x _j  ，这次如果x _i 和x _j 均为1，那么降低w _{i j}，网络中其余的神经单元按照同样的方法进行处理。这种先增大权重再减小的处理方式叫做模拟退火算法。

那么，权重w _{i j} 和偏置b _i 的调整值如何调整？

这里使用似然函数导出：

这里，θ 是表示所有的权重和偏差，其中概率分布p ( x _n ∣ θ ) 的定义如下：

这个概率分布成为玻尔兹曼机，E 表示能量函数，Z ( θ ) 是一个归一化常数，能保证所有概率分布总和为1，

为了便于运算，式(2)转换为对数函数，如下：

其实通过式(5)调整权重和偏置的过程就是求式(5)的梯度的过程，但目前由于计算量过大，不能快速实时计算，因此人们又提出了一种对比散度算法，这将在之后进行说明。

受限玻尔兹曼机

除了上面所说的玻尔兹曼机的网络结构之外，还有一种网络结构是将一部分神经单元隐藏起来，那么整个网络变成由可见单元与隐藏单元组成，但这使得似然函数的计算更加困难，为了解决这个问题，辛顿等人在玻尔兹曼机中加入了"层内单元之间无连接"的限制，这便成为受限玻尔兹曼机(RBM)。我们把可见变量记作v ，隐藏变量记作h，那么受限玻尔兹曼机的能量函数表示如下：

这里，θ是表示所有权重和偏置，b _i 表示第i个可见神经单元的偏置，c _j 表示第j个隐藏神经单元的偏置。

在受限玻尔兹曼机中，状态( v , h )的联合概率分布为：

如何训练？

受限玻尔兹曼机的结构可以表示如下：

和玻尔兹曼机一样，训练过程中对权重w _{i j} 和偏置b _i , c _j 的调整也需要使用对数似然函数，表示如下：

对各参数的调整使用的是误差反向传播算法，分别计算各参数的偏导得：

然后，各参数得更新如下：

但是上式中得∑ _v p ( v ) 表示所有输入模式的总和，这使得整个公式得计算量大大增加，同样的，为了解决这个问题可以使用对比散度算法。

 

对比散度算法

算法训练过程

1.  使用随机数初始化权重和偏置；

2.在可见层v ( 0 ) 设置输入模式；

3.根据概率分布公式调整隐藏层中h ( 0 ) 的值；

4.根据输出x _i 和x _j 的值，调整连接权重w _{i j} 、偏置b _i 和c _j  。

最后，重复步骤2-4。

这里，步骤2-3描述的过程的计算公式为(以通过初始可见层计算隐藏层的值为例)：

那么接下来：

这里σ 表示sigmoid激活函数，为：

按照同样的规律迭代步骤2-3。一般在对比散度算法中，只迭代一次足够。

最终，连接权重w _{i j} 、偏置b _i 和c _j 的调整值变为了：

这里，η和神经网络一样，表示学习率。此时我们根据上式计算所有训练样本的参数，最后取平均值就是网络最后的参数。

深度信念网络

深度信念网络的结构不像受限玻尔兹曼机一样只有两层，而是由一层可见层和多层隐藏层组成，训练时使用对比散度算法先训练可见层与第一层隐藏层之间的参数，然后将这些参数作为下一层隐藏层的输入，计算第二层隐藏层，如此循环下去，直到训练到最后一层。

各层的条件概率分布如下：

计算第二层隐藏层，如此循环下去，直到训练到最后一层。

各层的条件概率分布如下：

————————————————

本文转载自CSDN博主：!Polaris

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.csdn.net/qq_40905198/article/details/120146422