caffe深度学习薛开宇笔记实例_基于卷积神经网络的声音识别

差对偏置项b的变化率,公式如下: ????????= ????????????????=??(2.11) 由于????????=1,所以????????= ????????=??,因此,可得出对于单个偏置项b灵敏度,其等于误差E对它所有输入的??的导数????????。经过对????????的推导,具体推导方式参考Stanford 大学的 Andrew Ng教授的UFLDL中关于deep learning的教程。隐藏层的灵敏度,关系式为: ????=(????+1) ??????+1°??′(????)(2.12) 其中,“°”这个运算符号代表每个元素相层,??代表第??层隐藏层。对于输出层的灵敏度,可用以下公式描述: ????=??′(????)°(?????????)(2.13) 其中L代表输出层。式2.12和式2.13可以分别计算出隐藏层和输出层的灵敏度????,????,而再结合本文 2.1.2(4)中梯度下降法的更新公式原理,用如下公式,在单个样本n中,则可更新隐藏层和输出层的偏置??????,??????,其中μ为学习率。??????=???????μ????????=???????μ??????=1,2,?,??(2.14) ??????=???????μ????????=???????μ??????=1,2,?,??(2.15) 步骤6:权值更新。根据梯度下降法,以及UFLDL中的推论,可以用δ的规则对权值进行缩放更新,其公式为: ??????????=?????1(????) ??(2.16) ????=?????μ??????????(2.17) 步骤7:判断网络预测误差????是否小于一定值,若小于则误差函数到达全局最小值,这时的权重和阀值都是最优的,这时的神经网络模型就已经具有优秀的学习特征能力了。若不小于则需要重新从步骤2循环,直到误差小于一定值。