出来。LMSE算法特点:最小平方误差算法1.分类器的不等式方程两类分类问题的解相当于求一组线性不等式的解。如果给出分属于,两个模式类的训练样本集,应满足:其中,Xi是规范化增广样本向量,。上式分开写为:01分类器的不等式方程写成矩阵形式为:令N×(n+1)的长方矩阵为X,则变为:01分类器的不等式方程01分类器的不等式方程式中:0为零向量感知器算法是通过解不等式组,求出W。02LMSE算法2.LMSE算法1)原理的求解。式中:∴两式等价。为各分量均为正值的矢量。LMSE算法把对满足XW>0的求解,改为满足①在方程组中当行数>>列数时,通常无解,称为矛盾方程组,一般求近似解。在模式识别中,通常训练样本数N总是大于模式的维数n,因此方程的个数(行数)>>模式向量的维数(列数),是矛盾方程组,只能求近似解W*,即说明:02LMSE算法②LMSE算法的出发点:选择一个准则函数,使得当J达到最小值时,XW=B可得到近似解(最小二乘近似解)。③LMSE算法的思路:转化为转化为准则函数定义为:“最小二乘”:——最小:使方程组两边误差最小,也即使J最小。——二乘:次数为2,乘了两次最小平方(误差算法)考察向量(XW-B)有:02LMSE算法可以看出:①当函数J达到最小值,等式XW=B有最优解。即又将问题转化为求准则函数极小值的问题。②因为J有两个变量W和B,有更多的自由度供选择求解,故可望改善算法的收敛速率。XW=B的近似解也称“最优近似解”:——使方程组两边所有误差之和最小(即最优)的解。准则函数:02LMSE算法使J对W求最小,令,得:2)推导LMSE算法递推公式与问题相关的两个梯度:(3-46)(3-47)由(3-47)式可知:只要求出B,就可求出W。求递推公式:(1)求W的递推关系X为N×(n+1)长方阵,X#为(n+1)×N长方阵。称为X的伪逆,式中:(3-45)02LMSE算法
全文预览
