人工神经网络原理第6章习题参考答案

(1) 神经元的净输入不能决定其输出状态为0或1，决定神经元输出状态的是值为1或0的概率；

(2) 在网络学习阶段，随机型神经网络并不基于某种确定性算法调整网络连接权值，而是按照某种概率分布进行处理；

(3) 在网络运行阶段，随机型神经网络不是按照某种确定性的网络方程进行状态演变，而是按照某种概率分布决定网络状态的转移。

2. 试述Boltzmann机的特点，并比较其与离散型Hopfield网络的异同。

从网络结构看，与离散型Hopfield神经网络相同的是，Boltzmann机网络为单层全互连结构，各个神经元之间采用双向对称连接方式，并且每个神经元到自身都无反馈；但与离散型Hopfield神经网络不同的是，Boltzmann机同时又考虑到了多层网络的特点，将神经元按照功能分为可视层与隐含层两大部分，其中的可视层又可以继续分为输入部分和输出部分，但是这些层次在Boltzmann机中并没有明显的划分界限。

从处理单元模型看，Boltzmann机网络的每个神经元的输出均为0、1二值离散输出，n个神经元的状态集合构成了Boltzmann机网络的状态，即在给定时刻t，Boltzmann机网络的状态为X(t)=(x1, x2, …, xn)，但与离散型Hopfield神经网络不同的是，Boltzmann机中的神经元不能通过其输入状态获得确定的输出状态，它的输出状态要由神经元净输入状态的概率决定，不同的净输入状态对应不同的输出状态概率。

从能量函数看，随着Boltzmann机的运行，从概率意义上说，网络的能量呈下降趋势。这意味着在网络状态的演化过程中，尽管网络能量总的变化趋势是下降的，但不能排除在某一时刻某个神经元按照小概率事件进行状态变化，从而使网络的能量暂时上升；而随着离散型Hopfield神经网络的运行，王的能量是单调递减的。

3. 为什么Boltzmann机可以避免陷入局部极小点？

Boltzmann机的网络能量在概率意义上呈单调下降趋势，即在网络状态变化过程中，网络能量总的趋势是下降的，但也存在能量暂时上升的可能性，这种可能性使得Boltzmann机具有了跳出局部极小点的能力。

4. 选取不同的初始状态，重新求解例6.1的网络热平衡状态。

随机选取网络中各神经元的初始状态为X(0)=(0,1,0)，则

(1)在网络中随机选取一个神经元，计算其输入（假定选取神经元2），则

s2=w12x1+w22x2+w32x3-θ2=0.55*0+0*1+0.2*0-0.3=-0.3 P(x2=1)=1/(1+e0.3/5)=0.4850

随机生成一个阈值概率ρ=0.3617，则由P(x2=1)>ρ可知接受神经元2的新状态1。此时由于其他神经元的状态保持不变，所以网络状态转移为X(1)=(0,1,0)。

(2)在网络中随机选取另一个神经元，计算其输入（假定选取神经元3），则

s3=w13x1+w23x2+w33x3-θ3=0.45*0+0.2*1+0*0-0.4=-0.2 P(x3=1)=1/(1+e0.2/5)=0.4900

随机生成一个阈值概率ρ=0.2919，则由P(x3=1)>ρ可知接受神经元3的新状态1。此时由于其他神经元的状态保持不变，所以网络状态转移为X(2)=(0,1,1)。

(3)在网络中随机选取另一个神经元，计算其输入（假定选取神经元1），则

s1=w11x1+w21x2+w31x3-θ1=0 *0+0.55*1+0.45*1-0.65=0.35

由于s1>0，所以接受神经元1的新状态1。此时由于其他神经元的状态保持不变，所以

1.

网络状态转移为X(3)=(1,1,1)。

(4)在网络中随机选取一个神经元，计算其输入（假定选取神经元2），则

s2=w12x1+w22x2+w32x3-θ2=0.55*1+0*1+0.2*1-0.3=0.45

由于s2>0，所以接受神经元2的新状态1。此时由于其他神经元的状态保持不变，所以网络状态转移为X(4)=(1,1,1)。

(5)在网络中随机选取另一个神经元，计算其输入（假定选取神经元3），则

s3=w13x1+w23x2+w33x3-θ3=0.45*1+0.2*1+0*1-0.4=0.25

由于s3>0，所以接受神经元3的新状态1。此时由于其他神经元的状态保持不变，所以网络状态转移为X(5)=(1,1,1)。

(6)在网络中随机选取另一个神经元，计算其输入（假定选取神经元1），则

s1=w11x1+w21x2+w31x3-θ1=0 *1+0.55*1+0.45*1-0.65=0.35

由于s1>0，所以接受神经元1的新状态1。此时由于其他神经元的状态保持不变，所以网络状态转移为X(6)=(1,1,1)。

此时网络状态不再发生变化，网络达到了热平衡状态(1,1,1)。 5. 试验证例6.1中网络达到稳定状态(1,1,1)时的能量值为最小值。

稳定状态(1,1,1)时的能量值为

n1nn1

Ewijxixjixi((0*1*10.55*1*10.45*1*1)

i12i1j12

(0.55*1*10*1*10.2*1*1）(0.45*1*10.2*1*10*1*1))

(0.65*10.3*10.4*1)

1.21.350.15

状态(0,0,0)时的能量值为

n1nn1

Ewijxixjixi((0*0*00.55*0*00.45*0*0)

i12i1j12

(0.55*0*00*0*00.2*0*0）(0.45*0*00.2*0*00*0*0))

(0.65*10.3*10.4*1)1.35

状态(0,1,1)时的能量值为

n1nn1

Ewijxixjixi((0*0*00.55*0*10.45*0*1)

i12i1j12

(0.55*1*00*1*10.2*1*1）(0.45*1*00.2*1*10*1*1))

(0.65*10.3*10.4*1)0.21.351.15

6. 试验证例6.1所示Boltzmann机网络的运行符合Boltzmann分布。

略。 7. 一个三节点Boltzmann机网络的连接权值和各节点的阈值分别如下，试求解初始温度

T0=1时网络的状态转移过程。

0.10.70

0.100.4W

00.70.4

以状态(1,1,1)为例，有

n

0.9

0.2

0.3

s1xiwi111*01*0.11*(0.7)(0.9)0.3

i1n

s2xiwi221*0.11*01*0.4(0.2)0.7

i1n

s3xiwi331*(-0.7)1*0.41*00.30.6

i1

则

P(x11)

11e

0.30.57

P(x10)0.43

P(x21)

11e11e

0.60.70.67

P(x20)0.33 

P(x31)

0.35

P(x30)0.65 

网络状态转移概率如下表所示。

网络状态

(0,0,0) (0,0,1) (0,1,0) (0,1,1) (1,0,0) (1,0,1) (1,1,0)

节点 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3

P(x=1) 0.71 0.55 0.43 0.55 0.65 0.43 0.73 0.55 0.52 0.57 0.65 0.52 0.71 0.57 0.27 0.55 0.67 0.27 0.73 0.57 0.35

P(x=0) 0.29 0.45 0.57 0.45 0.35 0.57 0.27 0.45 0.48 0.43 0.35 0.48 0.29 0.43 0.73 0.45 0.33 0.73 0.27 0.43 0.65

(1,1,1)

1 2 3

0.57 0.67 0.35

0.43 0.33 0.65

8.

试设计一个含有4个随机神经元的Boltzmann机，使其最终的热平衡状态为(1,1,1,1)。 略。