一种高效防抄袭的由粗到细的框架(6)

6.4.5 前提τ

前提τ用来控制哪些句子将被认定为抄袭部分，并计入距离融合处理（见5.1节）。它为句子距离函数提供了抄袭可行度。在对四类抄袭集上的实验结果的研究，我们定性地分析了不同的前提值τ和不同的缩放参数ε对结果平均等级的影响。图Fig.11（a）显示了第一类抄袭模式的实验结果，图中的曲线表明，随着前提值τ的增加，其性能呈下降趋势，最佳的缩放参数ε在0.4附近。图Fig.11(b)显示的是在第二类抄袭集上进行的实验数据曲线，它与图Fig.11(a)类似。对于最后两组抄袭集，较大的τ值表现出的性能较为类似，且比较小的τ值（如τ=0.5）表现的效果要差，见图Fig.11(c)和Fig.11（d）。

6.5 计算时间

计算时间是PD系统的一个主要关注点，因为它通常都涉及到一个大规模数据库。由于我们所提出的方法涉及两部分：相关DR和PD算法。我们通过分别地处理DR和PD来定性地执行了查询响应的研究。所有的实验都在一台PC上执行的，PC的配置为：Intel Core-2 2.13GHz，2GB内存，DR程序由C++语言实现，PD算法在Matlab7.01的环境中测试过。我们首先根据检索的文档数和查询时间绘制出曲线，如图Fig.12所示，可以看出，当检索的文档数从1000增加到10000时，计算开销显著地上升了。在实际中，我们首先只检索少

许的文档（通常小于1000，这里我们在PD中使用Nret=500）以便减少进一步在PD中句子匹配的困难。因为缩放参数ε直接影响到PD的时间性能，在图Fig.13中，我们绘制了平均时间性能的曲线，横坐标为缩放参数以0.1为步长从0到1变化的值，从曲线中可以看出，随着ε的增加，查询时间的开销呈指数级的上升。然而，我们通常设置ε<0.5，这将带来足够好的可接受的PD性能（见6.3节）。对于ε=0.5的情况，查询时间在133秒左右。如果使用C++语言而不是Matlab来实现PD算法，这可能在查询时间上显著缩短为数秒，于是，整个查询时间（包括DR和PD）将在1分钟或更短的时间内完成。因此，这表明我们所提出的方法应用在实时PD中并以一个可接受的系统响应时间是合适的。

7 讨论与扩展

当前开发一个有效的PD系统是非常费力的工作，因为在信息时代，抄袭发生的太容易了。尽管我们的实验是在模拟的平台上执行的，但也得出了一些有趣的结果：

? 使用节或段落中的局部信息可以明显地提升DR的性能，因为它利用了文档中词的空间

分布；

? 基于直方图的DR方法带一个合适的融合距离在PD中比纯粹的DR表现要好； ? 基于签名的DR方法在EMD的辅助下比DR和PD表现的都要好，因为它考虑到了段落

中的信息量，并将MLM转化成线性规划问题；

? 压缩特征大小的最佳选择依赖于数据集，但通常设置都100左右；

? 用于DR的词汇表的大小通常对结果没有影响，却增加了存储空间和计算负担，可以设置在几百以内；

? 执行PD（即构造句子签名）词汇表较大的尺寸促进了PD的精确效能；

? 用于控制在段落级搜索范围的缩放参数ε依赖于抄袭模式的不同，较小的ε适合于单一

的抄袭模式，而较大的ε适合用于多样的抄袭模式，根据经验，可以设置为0.5； ? 句子级别的前提τ可以设为0.5左右，但是较大的τ值会降低PD的性能；

? 在处理大规模数据集时，我们的系统在计算时间上不会有显著的增加，因为将抄袭检测

限制在一个有限的检索集合中，这样查询的响应的时间将会在可接受的计算范围内。

8 结论

在这项研究里提出了一个有效防抄袭的由粗到细的框架。每个文档被表示成多级结构，即文档-段落-句子。不同的签名被构造来表示文档不同级别的部分。介绍了通过增加或只使用局部信息的相关DR方法从文档中获取丰富语义，从而检索抄袭源。设计并实现了两个PD算法，通过深度匹配句子来鉴定抄袭源。在DR和PD上执行了大量的实验，并研究了参数的影响，对查询时间做了定性的研究。实验结果表明我们提出的方法在提升检测精度和效率上很给力，同时也显示出我们提出的PD系统在实时应用中是实际可行的。然而，当前我们的方法得出的结果只依赖于不复杂的抄袭模式，并且不考虑PD的条目顺序。事实上，很容易在我们的框架里加入基于n-元语法的句子匹配策略。在今后的研究工作中，我们计划在其他具有竞争的任务中研究我们的技术以检测出更复杂的抄袭模式，并探索多级文档匹配的更有效的搜索算法。我们也需要研究其他的文档特征表示方法以节省存储空间和计算时间。另一方面，自动设置参数（即缩放参数和前提参数）的问题也是未来要研究的一项工作。我们正在使用贝叶斯和其他概率方法来估计这些参数。 -------------------- 8

http://www.webis.de/research/corpora

8

致谢

笔者对广大匿名评论者致以万分的感谢，你们宝贵的评论提升了本文的水准。