部极小解。РРР2）训练次数多使得学习效率低下，收敛速度慢（需做大量运算）；Р对于部分复杂问题，BP算法可能要进行几小时甚至更长时间训练。这关键是因为学习速率太小所造成。可采取改变学习速率或自适应学习速率来加以改善。РР3）隐节点选择缺乏理论支持；Р4）训练时学习新样本有遗忘旧样本趋势РРР7、请描述结构风险最小化标准（SRM）思想，并给出其数学表示式。РР答： 传统机器学习中经验风险最小化（ERM）标准在有限样本情况下是不合理。需要同时最小化经验风险和置信界限。统计学习理论提出了一个新策略，即把函数集结构为一个函数子集序列，使各个子集根据VC维大小(亦即大小)排列：在每个子集中寻求最小经验风险，在子集间折衷考虑经验风险和置信界限，取得实际风险最小，以下图所表示。这种思想称作结构风险最小化准则,即SRM准则。结构风险最小化标准数学表示式以下式所表示：РnРhРnРhРwРRРwРRРempР) Р4Р/Рln(Р)Р1Р)Р/Р2Р(ln(Р)Р(Р)Р(РhР-Р+Р+Р£РР式中R(w)为实际风险，R（w）为经验风险，是函数集VC维，是样本数。РРРР结构风险最小化原理图РР三、推导题（共一题，计19分）РР给定图1所表示含有一个隐含层BP简化网络图，请给出BP算法完整推导步骤。РРРР答：Р1、信息正向传输Р1)隐含层中第i个神经元输出为：Р（1）Р2)输出层第k个神经元输出为：Р（2）Р3)定义误差函数为：Р （3）Р2、利用梯度下降法求权值改变及误差反向传输Р(1)输出层权值改变Р对从第i个输入到第k个输出权值有：Р（4）Р其中：Р（5）（6）Р同理可得：РР （7）Р(2)隐含层权值改变Р对从第j个输入到第i个输出权值，有：Р （8）Р其中： （9）Р同理可得： （10）
全文预览
