一种高效防抄袭的由粗到细的框架(2)

于一些主题来说有些词可能是噪声特征。然而文档建模方法[5-10]几乎都使用全部的词来形成基本的直方图特征向量。为DR做高效的特征选择仍然是个难题，这个我们留给其他研究者。就词汇表大小的选择（见6.4.3节和6.4.4节），我们执行了详细的实验来评价其对结果的影响。

3.3 多级表示

词汇表构造以后，我们使用3.1节介绍的步骤来分割数据集中的每一篇文档，并产生“文档-段落-句子”的多级结构的表示。顶级结构包含整个文档的直方图，而对于句子使用2级结构；直方图中的每个元素指示词汇表中对应在文档或段落中出现的词的次数；第三级不同于前两级，它在句子级别，使用词汇表V2中词索引数代替直方图来指示一个词是否出现在一个句子中，这种体系结构有两个优点：节省了存储空间（提高了计算效率）并提高了检测精度（精确效率），因为它更多的检测了文档的局部。

因为文档和段落级别主要用于DR(见第4节)，我们应用PCA（一种应用广泛的降维工具）来对整个文档和分割的段落的词直方图向量。这里，用PCA将高维数据映射到低维隐式空间，而不丢失太多的统计信息。我们首先正规化第i篇文档的直方图向量

其中nt是词汇表中第t个词的频率，ft是第t个词的文档频率。然后我们使用正规化的直方图来构造PCA映射矩阵B。为了节省计算开销，我们只在文档级应用PCA。我们已经使用了MATLAB工具[42]计算出了映射矩阵。第i篇文档的压缩直方图向量Fid = [ftD] (u=1,2,??NF)被计算出：

其中B是N1×NF维映射矩阵，NF是被映射的特征的维数，因此，在Fid中映射的特征根据他们的统计量重要性有序排列了。同样，可以类似地使用映射矩阵B来计算第i篇文档的第j个段落的压缩直方图向量Fijp = [fvp] (v=1,2,??NF)。接下来保存这个映射，随后用它对一个新的查询文档特征化。

图Fig.1显示出对文档的多级表示分等级地描述了文档的内容。由于这种结构，我们就可以对文档由粗到细地检查。文档和段落级节点包括描述词频分布的压缩特征。注意到，不同级别包含相同的特征频率，但是它们从文档的不同部分提取出来的。就DR的应用（见第四部分）来讲，两个文档在根部有相似的词直方图，却在语义上完全的不同，因为相同词集的不同的空间分别会导致不同的意思，这个可以从多级结构数据的精细部分反映出来。

D

4. 文档检索

在这一部分，我们展示了和目前大部分已有模型不同的DR方法，因为我们所提出的方法充分地利用了文档的多级表示，在检索过程中加入了文档的局部信息，这也为随后要做的抄袭检测铺好了道路。当下的文档建模方法（如VSM[5]、LSI[6]、PLSI[7]、LDA[8]、EFH[9]和RAP[10]）只考虑文档的全局信息（特征频率）。两篇含有相似特征频率的文档却有可能因为词的空间分布的不同而在内容上的大相庭径，例如，school、computer和science，当它们分布在文章的不同部分和在一起的情况下（school of computer science）是大不一样的。因此，仅使用“词包（bag of words）”模型里的特征频率信息来解释内容相似性不是一个最有效的方法，还需要包括各词间相互联系和词在文档中的空间分别[2-4]。根据我们的由粗到细的框架，对于一个给定的查询，包含局部信息来首先检索大量相关文档，这在直观上是不可少的，使得我们可以从一个更加密集的可疑抄袭源上继续进行更深层次的匹配（即句子匹配）。我们首先定义一个不相似度度量（见4.1节），然后开发两套检索方案（见4.2节和4.3节）。对于一个给定的查询，我们使用检索方法对候选文档按升序排列。然后我们建立一个集合Φ，它由首先预定义的Nret个检索列表中的文档组成，为接下来的抄袭检测做准备。

4.1 不相似度度量

在文档应用中，余弦距离（cosine distance）经常被用来度量其不相似度。在本文中，我们在应用中定义了如下不相似度（不相似距离）度量（指数的余弦距离）：

其中?表示点积，F

Query

表示整个查询文档或查询段落的压缩的PCA特征。同样，F

Candidate

表示数据集中候选文档的特征。上述公式表明了，当距离很大时，它接近1，当距离很

小时，它非常接近0，其效果是加强了非常相似的段落间的距离融合处理（见4.2和4.3节）。

4.2 基于直方图的检索（MLMH）

给定两篇文档的多级结构表示（见图Fig.1），全局距离HGlobal可以直接通过匹配文档级别的节点得到，同时局部距离HLocal可以通过匹配段落级别的节点来得出。然而，文档的第二级包含不同数目的段落，根据我们定义的不相似度（见4.1节），我们简单地使用每个段落的压缩直方图向量作为特征单元来比较每两个段落，然后正规化所有的距离：

i个段落和候选文档的第j个段落之间的距离，m表示查

其中

Para

dij表示查询文档中第

询文档的段落数，n表示候选文档数。为了共同地包含全局和局部的信息，可以直接地定义一个混合距离：

λ∈[0,1]用来调整全局或局部信息的重要程度。这样系统根据用户的期望通过提供灵活地改变λ值来协调这种混合度量。在这项工作中，我们也研究λ值的影响（见6.4.1

节）。

4.3 基于签名的检索（MLMS）

基于直方图的检索只涉及所选择的词条作为特征，然后使用PCA将这些特征压缩到隐式的语义空间。它忽视了在文档中全体词汇中所选的一部分词汇，考虑到这一点，我们提出为整个文档或每个段落的直方图增加一个权值参数来产生文档的签名表示，在文档级别只需简单地进行签名匹配。但是对于段落级，如果只是简单地使用给定的权值在段落间做彻底的匹配，在段落级别上对文档进行比较是需要大量的计算。此外，找最优的匹配和适当地综合不同文档之间的距离是另外两个难以解决的问题。在研究中，我们将这个问题建模为地面移动距离（EMD）[4,3]，通过解决线性规划问题花最少的签名匹配开销来找最优距离。

4.3.1 签名生成

每个文档构成两个签名：一个用作文档级别；另一个用作段落级别。一个K大小的签名定义为：

，Fk作为文档或段落的压缩的PCA特征，wk表征这些

特征权值的信息容量。在文档级别的签名大小为1，因为只包括只有一个节点，此外段落级别的签名大小就是文档的段落数。在本文中，权值wk由如下公式得出：

Tk表示文档或段落中词的总数（即文档或段落的长度），Tk表示在文档或段落中选择

t

s

的词的数目。显然，如果所有的词都选了出来，那么权值wk就等于文档或段落中词数目的平方根。因而，权值不仅搭载着所选特征的信息量，还表征了文档或段落的长度，这是VSM和其他方法所不具备的。

4.3.2 地面移动距离EMD(Earth Move Distance)

EMD最先是由Rubner等人提出[43]，它是用来评价包含直方图分布的集群表示签名之间的不相似度。EMD已经广泛地应用在图像分析领域[43-45]，因为它支持不同分布的匹配，尤其是部分匹配。整个运输问题集可以有效地利用一个相当标准的优化技术来解决。EMD问题就是要解决m个供应者将产品运输给n个消费者的最小工作量的问题。计算EMD可以形式化地转化为计算下面的线性规划问题。设表示产品的数量；

为供应集，其中权值wi

p

为消费者集合，其中权值wjq，表示产品的需求；

定义地面距离矩阵（ …… 此处隐藏：2741字，全部文档内容请下载后查看。喜欢就下载吧 ……