向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hidelayer)和输出层(outputlayer)。算法原理由于传统的感知器和线性神经网络有自身无法克服的缺陷,它们都不能解决线性不可分问题,因此在实际应用过程中受到了限制。而BP网络却拥有良好的繁泛化能力、容错能力以及非线性映射能力。因此成为应用最为广泛的一种神经网络。BP算法的基本思想是把学习过程分为两个阶段:第一阶段是信号的正向传播过程;输入信息通过输入层、隐层逐层处理并计算每个单元的实际输出值;第二阶段是误差的反向传递过程;若在输入层未能得到期望的输出值,则逐层递归的计算实际输出和期望输出的差值(即误差),以便根据此差值调节权值。这种过程不断迭代,最后使得信号误差达到允许或规定的范围之内。基于BP算法的多层前馈型网络模型的拓扑结构如上图所示。BP算法的数学描述:三层BP前馈网络的数学模型如上图所示。三层前馈网中,输入向量为:;隐层输入向量为:;输出层输出向量为:;期望输出向量为:。输入层到隐层之间的权值矩阵用V表示,,其中列向量为隐层第j个神经元对应的权向量;隐层到输出层之间的权值矩阵用W表示,,其中列向量为输出层第k个神经元对应的权向量。下面分析各层信号之间的数学关系。对于输出层,有对于隐层,有以上两式中,转移函数f(x)均为单极性Sigmoid函数:f(x)具有连续、可导的特点,且有以上共同构成了三层前馈网了的数学模型。当网络输出和期望输出不相等时,存在输出误差E如下:将以上误差定义式展开至隐层,有进一步展开至输入层,有由上式可以看出,网络输入误差是两层权值W和V的函数,因此调整权值可以改变误差E。显然,调整权值的原则是使误差不断的减小,因此应使权值的调整量与误差的负梯度成正比,即:式中负号表示梯度下降,常数表示比例系数,在训练中反映了学习速率。
全文预览
