------------------------------------ ——————————————————————————————————————交叉验证方法来辅助 Parzen 窗方法,提高算法的性能。简单地说,“交叉验证方法”使用数据集中的一小部分来形成一个“验证集”,而窗的宽度就是通过使验证集上的误差率最小来调节得到的。我们可以通过使用“ m- 重交叉验证”( m-fold cross validation ) 来估计 Parzen 窗方法得到的分类器的推广性能。首先讲训练样本集 D ,样本点的总数为 n 。然后把训练样本随机地划分为 m 个集合,每个集合包含 n/m 个样本点,这m 个训练样本子集互不相交。用这 m 个训练样本集去训练 Parzen 窗分类器,训练完成之后,再选择一个与训练样本集不同的样本集作为“验证集”( validation set ) ,在验证的时候可以计算出这一次的推广误差( generalization error ) ,把这个值作为 Parzen 分类器推广能力的度量。上述过程重复 m 次,将获得的推广误差取平均值,就可以估计 Parzen 分类器的推广能力,从而评价它的性能如何。利用交叉验证技术,我们可以对 Parzen 窗技术中的高斯窗函数的宽度进行调整。通过姓名:吴潇模式识别学号: 1333755 不断调整窗宽度 h 的值, 使得交叉验证方法得到的推广误差最小。从而达到优化 Parzen 窗方法的目的。下面的例子中, 将数据集 D 分为 2 部分, 第一部分占样本点总数的 90% , 用作训练集; 第二部分占样本总数的 10% , 用作验证集以测试推广性能。对 Parzen 窗分类器以及大多数的问题而言,训练误差会随着训练的进行而单调下降。而在验证集上误差典型的情况是首先单调下降, 然后上升。这是因为后面出现了对训练集“过拟合”
全文预览
