Adaline神经网络随机逼近LMS算法的仿真研究

该方法与前一算法区别在于：用ε(k)X(k)代替E[ε(k)X(k)]，从而避免统计计算的困难，但同时使加权矢量的变化趋向随机性；步幅α变成一个随时序k变化的量，可以证明，当α(k)满足以下条件时，学习是收敛的：α(k)是时序k∞ ∞
的非增函数；在这样k=0 k=0的条件下，W(k)随着k增大而趋向W*的概率为1。

4 随机逼近LMS算法仿真
按以下步骤对随机逼近算法编制程序进行仿真：
(1)对图1所示的正弦波和三角波分别进行64点均匀采样，组成64维输入样本矢量。

(2)W(0)选择服从(0，1)之间均匀分布的随机矢量，初始步长参数α选为0．03，选定误差的平方临界值ε02(k)=10-5，将X0，X1交替重复地送入采用线性函数的神经元，反复训练，直至ε2(k)≤ε02(k)，这样可以得到误差平方和学习次数之间的关系，如图2所示。
从图2中可以看出．当α=0．03时，学习是收敛的，学习次数k=1 147，学习完成时ε(k)=3．2x10-3，其平方小于所确定的ε02(k)。把X0，X1重新送入神经元，计算后得到实际输出值Y0=0．003 9，Y1=0．999 9，这和预期输出值相当接近，从而较好完成了X0，X1的分类。
(3)设置不同的步幅α，分别计算并绘制ε2(k)变化曲线，观察ε2(k)的收敛性、收敛速度与α的关系，试验结果如图3所示。从图3中可以看出，当α 很小时，学习收敛，学习速度很慢，且收敛的稳定性较好；当α增大，学习仍保持收敛，但学习速度加快，同时稳定性降低；当α=0．08时，学习已不再收敛。