一种高效防抄袭的由粗到细的框架(5)

6.4 参数研究

在这一节，我们经验性地研究了PD系统中涉及的参数及其对结果的影响。包括对λ（见6.4.1节），压缩的特征NF（见6.4.2节），词汇表V1和V2的大小（见6.4.3节和6.4.4节），重叠前提τ（见6.4.5节）。

6.4.1 权值λ

为了平衡全局信息与局部信息的重要性对相关DR结果的影响，我们使用了一个权值参

数λ设计一个混合的MLM方法（即MLMH和MLMS-Hybrid）。我们使用一个度量，称为“precision-recall影响area曲线”(AUC)，一个权值λ的函数，简单地定义如下：

其中nmax表示检索文档的最大数，Pλ(iA)和Rλ(iA)分别表示平衡参数为λ时检索iA个文档的precision值和recall值。在混合的MLM中，对于不同的权值，较高的AUC值促使相关DR表现出更好的性能。图Fig.6显示出当权值以0.05的步长从0到1变化时， MLM的AUC结果。观察到有一个最优的权值来平衡MLMH或MLMS的全局信息和局部信息的重要性。于是我们看到了全局和局部语义对提高检索精度的贡献程度。在我们的研究中，对于MLMS来说，最佳的权值λ是在0.35附近。这就是我们在MLMS-Hybrid中设置λ=0.35的原因（见6.2节）；另一方面，对MLMH来说，最佳的权值λ是在0.1附近，指明我们需要更看重局部信息。在MLHM的实验部分，我们简单地将λ设为0（见6.2节），即在段落中只包括局部语义信息。我们也为四类抄袭文档集绘制了在不同的权值下的Failed Detection Ratio曲线，见图Fig.7，因为不同的权值只影响MLMS-Hybrid方法的Failed Detection Ratio，可以看到较高的λ值也会导致较高的Failed Detection Ratio值。随着λ值的增加，MLMS-Hybrid变得比MLMS-Local（相当于λ=0）性能较差或相等（图Fig.7的第四类抄袭模式λ=0.55-0.75之间）。因此，可以得出，在PD系统的应用中，MLMS-Local比在MLMS中加入全局信息还要足够好。

6.4.2 特征映射后的维数

在这一小节，我们研究PCA特征的不同维数对相关DR的影响。 AUC（见公式30）度量被用来评价不同的NF下的DR性能。当N1=5000时，图Fig.8显示的是当PCA特征以10为步长从50增加到120时，AUC的变化曲线，可见，随着特征维数的增加，所有的3个MLMS方法的AUC值都在缓慢下降。因此，它表明较高的PCA特征维数在DR中并不能表现的很好，最优值的选择依赖于数据集。

6.4.3 词汇表V1的大小

在语言处理及其中，特征选择一直都是一个重要的问题。在此，我们使用VSM权值化方案（见公式1）来为词条分重要性等级，并为相关DR选择最初的N1个词条来构造词汇表V1。在这节中，我们研究了不同词汇表V1的大小对DR的AUC性能的影响。当NF=100时，我们绘制了其性能曲线(图Fig.9)，词汇表的大小N1以1000为步长从3000增加到10000。结果表明在我们的数据集上进行的DR实验，不同的N1值几乎对性能没有影响，这是归于权值化方案将词汇表中重要的词分的等级较高。

6.4.4 词汇表V2的大小

在PD中，句子签名的构造是照着词汇表V2来做的。我们研究了不同的词汇表V2的大小对PD结果的影响，见图Fig.10中的曲线。实验参数的设置同6.3节。注意到，随着V2大小的增加，N2=20000时，前两组结果类似，同时比后两组表现的好一点，表明了大词汇表构造的签名促进增加了PD的精度，但也增加了存储的开销。