火车头采集器使用手册
火车头采集器|使用手册,采集器使用教程
火车头 采集教程火车头采集器使用说明
下载地址:/Down/ 我们下载免费版。。。。 注意:想用火车,就必须得安装.NET FrameWork 2.0框架或更高版本 .net framework 2.0下载地址:
那么,火车我们也下载到本地了,。net框架,我们也安装了。。。 那么,我们把新下载的火车采集软件,解压下。。。 看到一些密密麻麻乱七八糟的东西及文件。。。那么。。。
上图中,用红线圈住的LocoySpider.exe 是主程序,我们双击打开。。。
火车头采集器|使用手册,采集器使用教程
ps:这里说下,上图中,有好多任务是我自己用的。。。新程序,并没有那么多。。。 我们会看到火车的界面,看起来非常复杂,是吧? 呵呵,其实并没有那么复杂,对于新手,有好多东西是用不到的。。。下边会一一的讲解。。。 我们先补习一下,火车头采集软件的工作原理。。。
因为我们浏览到的网页,最后都是通过html输出的,那么意味着,我们可以查看到html的源码,那么火车头为什么会采集到内容呢? 我们看下网站的基本结构。。。
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> -------这些蓝色的东西,对于新手,我们不需要知道!
<title>网页的标题</title> ----红色的是网页的标题。。。如下图(1) </head>
<body>
内容 在这个<body>和</body>之间的,是网站的内容部分。。如下图(2) </body>
</html> ----------这里是网站的结尾。。。。
火车头采集器|使用手册,采集器使用教程
如果想查看一个网页的html源文件,之需要点击浏览器上的 查看,源文件即可。。。。
(1)
(2)
那么,我们知道了一个网页最基本的架构,那么就好理解火车采集的基本原理了 火车采集软件是怎么采集的呢?
我们配置好火车头采集规则,什么叫采集规则?就是我们查看网页的源文件,看看整个网页的源码,内容部分的开始标签,和结束标签,这样火车才能知道,我们要采集这个页面的哪个部分,比如下边我们演示的。。。
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="/1999/xhtml"> <head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <title>网页的标题</title> </head> <body> 内容
</body>
我们想要采集“内容”那么就要告诉火车采集器,内容开始标签是<body>,结束标签就是</body>
明白了么?呃。。。估计是我的表达能力不够好。。。so。。。我们看下边的实例,在好好巩固下就OK。。。
火车头采集器|使用手册,采集器使用教程
OK。。那么我们开始一步一步教大家设置采集规则。。。
首先第一个。。我们的目标站。。discuz!x1.5架构的网站。。。/forum-60-1.html
我们要把这个版块的内容以及回复都采集到我们的网站上去。。。
首先我们打开火车,新建一个站点。。。点击火车左上角上的新建按钮,选择新建站点。。。如下图
我们只需要填写站点名就可以,其余的保持默认,然后点击保存按钮!
然后。。。在这个站点下,新建一个任务。。。选中我们新建的站点,点击鼠标右键,选择第一个,从该站点新建任务。。。如下图
火车头采集器|使用手册,采集器使用教程
其中1,是任务的名字,必须填写。。。2,是整个采集任务的步骤向导,3,是文章列表的设置区域(下边讲解),4,和3差不多。。。5,是登录的地方,有些网址必须登录,我们才可以看到内容,就是这个东西! OK。就这些,那么,我们一步一步的来!
首先我们给我们的任务加一个标题。。。
下一步,我们就开始设置列表的采集规则
(因为现在火车不知道 /forum-60-1.html 这个页面的文章列表是那些,所以我们要告诉火车!)
火车头采集器|使用手册,采集器使用教程
这里有两种方式,新手嘛,我也不知道适合哪种。。。我们就用默认的吧,
第一种
我们点击向导添加
然后出现下图。。
火车头采集器|使用手册,采集器使用教程
其中有4个选项卡,
如果我们只采集目标站点的一个文章列表/forum-60-1.html,那么我们选中单条网址,直接写上目标的列表网站,如下图!
火车头采集器|使用手册,采集器使用教程
然后点击添加,点击完成就OK。。
那么,如果我们要采集多个列表。那么我们回到
看下边的图
火车头采集器|使用手册,采集器使用教程
其中1,是目标网站的地址
其中2,是火车的通配符(就是某个东西识别的东西) 其中3,是间隔数已经补零(下边一一讲解) 其中4,数字变化。。。下边讲解 其中5,字母变化。。。 那么。。。看下图
火车头采集器|使用手册,采集器使用教程
图中在地址栏填写的是 /forum-60-(*).html 这个。
那么,这是什么意思呢? 我们打开 /forum-60-1.html 这个地址,然后点击下一页
发现地址变成了 /forum-60-2.html
那么我们在点击下一页,就是第三页,发现地址变成了 /forum-60-3.html
那么在点击第四页。。想必大家也知道变成什么了吧? 那么 第一页:/forum-60-1.html 第二页:/forum-60-2.html 第三页:/forum-60-3.html 翻页中,我们发现,只有么我们在火车那里就填写
/forum-60-(*).html 这个,其中1用火车的通配符(*)替换掉。。。意思就是,只有1在变化。。。 在看下边
1在变化。。。那
其中数字变化,从1到5.意思就是
从地址栏 /forum-60-(*).htm获取地址 1到5,就是下边这样的。。。 /forum-60-1.html /forum-60-2.html 。。。
/forum-60-5.html 明白了么?其实很简单。。。 那么字母变化,就是
/forum-60-a.html /forum-60-b.html
火车头采集器|使用手册,采集器使用教程
。。。
/forum-60-z.html
因为我们目标地址是数字变化。。。我们继续看下边
间隔倍数,和补零。
间隔倍数1是什么意思?40又是什么意思呢? 间隔倍数1就是
/forum-60-1.html /forum-60-2.html 。。。
/forum-60-5.html 间隔倍数40就是
/forum-60-40.html /forum-60-80.html 。。。
/forum-60-200.html 明白了么?
那么我们在看补零,补零就是。。。 /forum-60-01.html /forum-60-02.html 。。。
/forum-60-05.html 就是这样。。。其实很好理解。。。 OK。。我们继续。。。
我们填写完成后,点击添加 - 完成 …… 此处隐藏:2481字,全部文档内容请下载后查看。喜欢就下载吧 ……
相关推荐:
- [专业资料]《蜜蜂之家》教学反思
- [专业资料]过去分词作定语和表语1
- [专业资料]苏州工业园区住房公积金贷款申请表
- [专业资料]保安管理制度及处罚条例细则
- [专业资料]2018年中国工程咨询市场发展现状调研及
- [专业资料]2015年电大本科《学前教育科研方法》期
- [专业资料]数字信号处理实验 matlab版 离散傅里叶
- [专业资料]“十三五”重点项目-虎杖白藜芦醇及功
- [专业资料]2015-2020年中国竹木工艺市场需求及投
- [专业资料]国际贸易理论与实务作业五:理论案例分
- [专业资料]财政部修订发布事业单位会计制度
- [专业资料]BCA蛋白浓度测定试剂盒(增强型)
- [专业资料]工程进度总计划横道图模板(通用版)
- [专业资料]七年级地理同步练习(天气与气候)
- [专业资料]X光安检机介绍火灾自动报警系统的组成
- [专业资料]衢州市人民政府办公室关于印发衢州市区
- [专业资料]经济全球化及其影响[1]
- [专业资料]质粒DNA限制性酶切图谱分析
- [专业资料]国家安全人民防线工作“六项”制度
- [专业资料]劳动力投入计划及保证措施
- 电子账册联网监管培训手册
- 人教版语文七年级上第1课《在山的那边
- 对我区担保行业发展现状的思考与建议
- 平面四边形网格自动生成方法研究
- 2016年党课学习心得体会范文
- 如何设置电脑定时关机
- 全球最美人妖排行榜新鲜出炉
- 社会实践调查报告及问卷
- Visual Basic习题集
- 《鱼我所欲也》课件2
- 浙江省会计从业资格考试试卷
- 全遥控数字音量控制的D 类功率放大器资
- 鞍钢宪法与后福特主义
- 电表的改装与校准实验报告(1)
- 2014年高考理科数学真题解析分类汇编:
- Windows 7 AIK 的使用
- 风电场全场停电事故应急处置方案
- 化工原理选填题题库(下)
- 关于产学研合作教育模式的学习与思考
- 西安先锋公馆项目前期定位报告




