A Long-Term Learning Based Similarity Retrieval of Multimedi

Abstract: An approach is presented for multimedia similarity query using an on-line analysis of feedback sequence logs. The approach is based on user’s feedback sequence accumulation and on-line collaborative filtering to predict the semantic correlation

V ol.15, No.1 ©2004 Journal of Software 软 件 学 报 1000-9825/2004/15(01)0086 基于长期学习的多媒体数据库相似性检索

?

周向东+, 施伯乐, 张 琪, 张 亮, 刘 莉

(复旦大学 计算机与信息技术系,上海 200433) A Long-Term Learning Based Similarity Retrieval of Multimedia Database

ZHOU Xiang-Dong +, SHI Bai-Le, ZHANG Qi, ZHANG Liang, LIU Li

(Department of Computing and Information Technology, Fudan University, Shanghai 200433, China)

+ Corresponding author: Phn: +86-21-55073942, E-mail: xidzhou@http://doc.guandang.net, http://doc.guandang.net

Received 2002-11-20; Accepted 2003-03-04

Zhou XD, Shi BL, Zhang Q, Zhang L, Liu L. A long-term learning based similarity retrieval of multimedia database. Journal of Software , 2004,15(1):86~93. http://doc.guandang.net/1000-9825/15/86.htm

Abstract : An approach is presented for multimedia similarity query using an on-line analysis of feedback sequence logs. The approach is based on user’s feedback sequence accumulation and on-line collaborative filtering to predict the semantic correlation between the media objects in database and query sample. Edit distance is used to evaluate the similarity between current retrieval’s feedback sequence and the prefixes of the records in the feedback logs. A prototype image retrieval system is implemented. Integrated with the retrieval method based on the generalized Euclidean distance, the performance of similarity query can be improved apparently. Experiments over 11 000 images demonstrate that this method outperforms the conventional ones.

Key words : similarity query; user’s relevance feedback; sequence analysis; collaborative filtering; multimedia

database

摘 要: 基于内容的相似性检索是多媒体数据库研究的重要内容之一.近年来,利用用户相关反馈技术改善检索性能的研究成为新的热点.但是,在传统的相关反馈方法中,系统积累的反馈历史数据未得到充分利用.为了进一步提高检索系统的性能,提出了一种对相关反馈序列日志进行协同过滤在线分析的相关反馈检索方法.该方法使用编辑距离对用户的反馈序列进行相似性度量,并根据协同过滤的思想对数据库中的媒体对象与当前检索的语义相关性进行预测,从而改善检索的效果.实现了一个图像数据库检索原型系统.对11 000幅图像数据库进行的实验表明,与传统相关反馈技术相比,该方法对检索性能有明显的改善.

关键词: 相似性检索;用户相关反馈;序列分析;协同过滤;多媒体数据库

中图法分类号: TP311 文献标识码: A

? Supported by the National Natural Science Foundation of China under Grant No.69933919 (国家自然科学基金)

作者简介: 周向东(1969－),男,河南封丘人,博士,讲师,主要研究领域为多媒体数据库,信息检索;施伯乐(1935－),男,教授,博士生导师,主要研究领域为数据库理论与应用;张琪(1979－),女,硕士生,主要研究领域为数据库,信息检索;张亮(1963－),男,博士,教授,主要研究领域为支持多媒体应用的数据库技术及信息集成;刘莉(1978－),女,硕士生,主要研究领域为数据库,信息检索.

Abstract: An approach is presented for multimedia similarity query using an on-line analysis of feedback sequence logs. The approach is based on user’s feedback sequence accumulation and on-line collaborative filtering to predict the semantic correlation

周向东等:基于长期学习的多媒体数据库相似性检索87

多媒体对象往往具有丰富的语义信息和复杂的视觉特征,使得基于文本标注的传统多媒体数据库检索系统面临着一系列问题,如标注工作量巨大、标注的主观性和不一致性、用户难以描述检索目的等.基于向量模型的多媒体数据库相似性检索(similarity query)首先从多媒体对象中抽取多维属性或视觉内容特征(如颜色、纹理、形状等),组成特征向量后存入数据库中.检索时,系统根据用户提交的检索样本在数据库中返回一定数量的与之最相似的多媒体对象,即系统把检索对象映射到特征空间中,使得检索变成了特征空间中的相似向量查找,比如,使用加权的欧式距离[1]或一般的加权欧式距离[2,3]进行特征向量的相似性度量,从而使检索的自动化程度得到很大的提高.但是,由于目前的计算机视觉技术还不能稳定地建立起多媒体对象的语义信息与其视觉特征间的对应关系,使得基于视觉特征对比基础上的多媒体数据库相似性检索在检索的准确性上还难以满足实际应用的要求.

为了弥补检索性能上的不足,用户相关反馈技术这样一种通过系统与用户进行交互、动态地调整检索目标和相似性度量函数的检索机制被引入到相似性检索中.用户相关反馈通常是一个人机交互的循环过程,就是在检索过程中由用户对检索结果进行评价,指出哪些检索结果是与检索目的相关的(正例)/或不相关的(负例),然后根据这些用户评价信息调整检索样本或相似性度量函数,进行新一轮的检索,如此反复,直至用户得到满意的检索结果或者系统的检索精度达到了稳定状态[1~4]为止.

相关反馈技术是当前多媒体数据库检索研究中最为活跃的领域.早期的相关反馈方法主要依据一些启发式思想进行检索样本与参数的调整,如修改查询向量使其向相关检索对象的分布中心移动[4],根据反馈信息调整距离度量公式中各分量的权重等[1].Ishikawa等人[2]在MindReader系统中使用最优化方法进行查询参数优化,Rui等人[3]在此基础上给出了利用最优化方法求解最优参数的统一的相关反馈框架.近来,机器学习方法如支持向量机(SVM)[5]等也与相关反馈方法相结合,以进一步提高检索精度.在上述相关反馈方法中,检索系统并不保存以前用户的反馈信息,即在新的检索过程中,以前用户对数据库中多媒体对象的语义评价的反馈信息已被丢弃,系统并未利用它来改进新检索的效果.

当前利用系统积累的反馈信息改进检索性能的研究已引起了人们的关注[6,7].由于忽略了对反馈历史记录中隐含的数据库对象与当前检索的语义相关性的发掘,已知工作存在着反馈信息的利用缺乏针对性以及对检索精度的改进不明显等问题.本文给出一种通过发掘反馈历史记录中隐含的数据库对象与当前检索的语义的相关性来改善检索性能的方法.该方法把用户在检索中所进行的反馈操作序列(用反馈例编号表示)作为反馈日志记录入数据库中,进行新的检索时使用协同过滤方法对用户反馈的序列模式进行分析,进而有针对性地对数据库中的多媒体对象与当前检索的语义相关性进行预测,通过与使用一般的加权欧式距离的检索方法相结合,明显地提高了检索的性能.本文给出的检索方法既保持了一般基于内容检索的特征,又针对当前检索的个性化特点,隐含地结合了媒体对象的语义相关性信息.我们实现了一个关于图 …… 此处隐藏：16908字，全部文档内容请下载后查看。喜欢就下载吧 ……