搜索引擎基本原理

搜索引擎工作原理简介

爱富爸爸网贷平台：http://www.77cn.com.cn

目 录

几大搜索引擎简介

爬行和抓取 预处理排名

搜索引擎简介搜索引擎(search engine)是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理 后，为用户提供检索服务，将用户检索相关的信息展示给用 户的系统。

爱富爸爸网贷平台：http://www.77cn.com.cn

主流搜索引擎

爬行和抓取蜘蛛：搜索引擎用来爬行和访问页面的程序被称为蜘蛛( spider),也称为机器人(bot) 跟踪链接：为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟 踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛 在蜘蛛网上爬行那样，最简单的爬行策略分为两种，一种是 深度优先，另一种是广度优先。

爬行和抓取广 度 优 先

深 度 优 先

理论上不管是哪种爬行方法都能爬行和抓取所有页面，但实际不能、也不会这么做 ，所以要想让更多的页面被收录，就要想方设法吸引蜘蛛来抓取

外链的第一个作用：吸引蜘蛛爬行，为抓取做准备 作弊手段：链轮

爬行和抓取

蜘蛛不能抓取所有页面，所以要做的就是尽量抓取重要页面

哪些页面被认为比较重要呢？有几方面影响因素1、网站和页面的权重 2、页面更新度 3、与首页的距离

爱富爸爸网贷平台：http://www.77cn.com.cn

爬行和抓取

爬行时的复制内容检测通常复制内容检测是后面要讲的预处理过程中进行的，不过现在蜘 蛛在爬行时也会进行一定程度的复制内容检测。遇到权重低又大量转载 抄袭的内容时，很可能不在爬行。

预处理预处理(也称索引) 提取文字

中文分词(我知道你不知道)化妆和服装 消除噪声

去重 正向索引 倒排索引 链接关系计算 特殊文件处理爱富爸爸网贷平台：http://www.77cn.com.cn

排名

一、搜索词处理 1、中文分词

2、去停止词3、指令处理 4、拼写错误矫正 5、整合搜索触发

排名

二、文件匹配搜索词经过处理后，搜索引擎得到的是以词为基础的关 键词集合。文件匹配就是找出含所有关键词的文件

爱富爸爸网贷平台：http://www.77cn.com.cn

排名

三、初始子集的选择通过文件匹配，通常找的的相关文件是几十万几百万甚至更多。如果对这些 页面都进行排名运算计算量太大，耗时也会很长。 实际上用户绝大多数只是看前两页的内容，搜索引擎最多也就显示1000个 搜索结果。由于之前的处理后，这些文件都是匹配文件，搜索引擎如何从里面挑 选部分进行排名，这是主要就是非相关性的一些特征了。

排名四、相关性计算1、关键词常用程度 2、词频和密度一般认为在没有关键词堆积的情

况下，搜索词在页面中出现的次数 越多，密度越高说明页面与搜索词越相关。

3、关键词出现的位置及形式关键词出现在比较重要的位置，如标题中、黑体、H1标签等，说明 与关键词越相关。

排名4、关键词的距离 5、链接分析及页面权重除页面本身因素，页面之间的链接和权重关系也影响关键词的相关性。其中最重要的是锚文本。页面有越多以搜索词为锚文字的导入链接， 说明页面相关性越强。

链接分析还包括链接源页面本身的主题、锚文字周围的文字等

排名五、排名及过滤调整主要是施加惩罚，对有作弊嫌疑的页面，降低排名等。

六、排名显示所有排名确定后，排名程序调用原始页面的标题、说明标签、快照 日期等数据显示在页面上。

爱富爸爸网贷平台：http://www.77cn.com.cn

谢 谢！