差”(reconstruction error),就是以训练数据作为初始状态,根据RBM的分布进行一次Gibbs采样后所获样本与原数据的差异(一般用一范数或二范数来评估)。 Error= 0 %初始化误差 for all v (t), t∈{1,2,· · ·, T}do %对每个训练样本v (t)进行以下计算 h～P(·|v (t)) %对隐层采样 v～P(·|h) %对可见层采样 Error=Error+kv?v (t)k %累计当前误差 end for returnError %返回总误差算法2.重构误差的计算. 重构误差能够在一定程度上反映RBM对训练数据的似然度,不过并不完全可靠[23]。但总的来说,重构误差的计算十分简单,因此在实践中非常有用。 4.2 退火式重要性采样“退火式重要性采样”(Annealed Importance Sampling, AIS)[32]是目前比较主流的RBM评估方法。它的想法非常直接,就是利用蒙特卡罗方法估计RBM对数据的似然度。只不过没有使用MCMC,而是通过一种叫做“重要性采样”(Importance Sampling)[20]的算法进行逼近。这种算法的优点在于:当目标分布十分陡峭时,不直接对其进行采样,而是引入另一个简单的分布, 在这个简单的分布上采样。然后,利用采样所获样本和两个分布之间的关系对原分布上的均值进行估算。“重要性抽样”的基本思想如下:假设我们要计算某个分布P A(x)的归一化常数Z A,那么, 我们可以引入另一个状态空间相同,但更容易采样的分布P B(x),并且事先知道它的归一化常数Z B。这时,只要能计算出Z A/Z B的值,我们就可以算出原分布的归一化常数Z A。假- 10 - 中国科技论文在线
全文预览
