阵(V里面的向量是正交的,称为右奇异向量),即(2)在很多情况下,前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。所以,我们也可以用前r个奇异值来近似描述矩阵,这里定义一下部分奇异值分解:(6)r是一个远小于m、n的数,这样矩阵的乘法形式如下:(7)右边的三个矩阵相乘的结果将会是一个接近于A的矩阵,r越接近于n,相乘的结果越接近于A。2、LSA法[4]LSA(latentsemanticanalysis)潜在语义分析,也被称为LSI(latentsemanticindex),是ScottDeerwester,SusanT.Dumais等人在1990年提出来的一种新的索引和检索方法。该方法和传统向量空间模型一样使用向量来表示词和文章,并通过向量间的关系(如夹角)来判断词及文档间的关系。(二)模型的建立假设:信息资源系统自动获取。采用奇异值分解法和LSA方法相结合建立模型,以用户查找文章的行为为例,假设用户需求为“文章”,其输入为“关键词”。1、分析关键词与文章之间的关联性,建立关键词-文章矩阵X。假设有m个关键词,n篇文章,X就是一个m*n的矩阵。其中,第i行、第j列的元素是Xij,是第i个词在第j篇文章中出现的次数。下边以m=12,n=9为例:X=100100000011010000110000000101000200011200000010100001010010000001000000010010000000001110000000111000000011观察这个矩阵,第一个词(b1)和第二个词(b2),他们没有在某篇文档中共同现过,他们的关系使用Spearmancoefficient相关系数来计算。具体代码及结果如下:即得到b1和b2的相关系数为-0.3780,说明它们两者的相关性不大。2.对X进行奇异值分解。分解公式为X=USVT,代码及结果如下:
全文预览
