如何使用dedecms织梦的采集功能 | 我是程序员 - 范文中心

如何使用dedecms织梦的采集功能 | 我是程序员

10/20

Dedecms采集功能的使用方法 — 不含分页的普通文章(一)

1.1进入采集节点管理界面

如(图1)所示,在后台管理界面的主菜单中单击“采集”,然后单击“采集节点管理”,即可进入采集节点管理界面,如(图2)所示。

图1-后台管理界面

图2-采集节点管理界面

1.2. 增加新节点

在采集节点管理界面中,单击左下角的“增加新节点”或者右上角的“添加新节点”(如图2),都可进入“选择内容模型”界面,如(图3)所示,

图3-选择内容模型界面

在“选择内容模型”界面的下拉列表框中,有“普通文章”和“图片集”可供选择。根据被采集页面的类型,选择相应的内容模型。本文这里选择“普通文章”,单击确定后,便可进入“新增采集节点:第一步设置基本信息及网址索引页规则”界面,如(图4)所示,

图4-新增采集节点:第一步设置基本信息及网址索引页规则

1.2.1 设置节点基本信息

图5-节点基本信息

如(图5)所示,

节点名称:给新建立的节点起一个名字,这里填上“采集测试(一)”;

目标页面编码:设定被采集目标页的编码格式,有GB2312、UTF8和BIG5三种。可通过在被采集目标页面上,单击右键后选择“查看源文件”来获取。

操作步骤:

(a)打开被采集的目标页:http://www.dedecms.com/knowledge/web-based/dreamweaver/;

(b)单击右键后选择“查看源文件”,找到“charset”, 如(图6)所示,

图6-查看源文件

其等号后面的代码就是所需的“编码格式”,这里是“gb2312”。

“区域匹配模式”:设定如何匹配所需采集的内容部分,可采用字符串或者正则表达式。系统默认的模式是字符串。如果比较了解正则表达式的朋友,可以在这里选择正则表达式的模式。

“内容导入顺序”:指定文章列表导入时候的顺序,可以选择“与目标站一致”或“与目标站相反”。

“防盗链模式”:针对被采集的目标站点有无刷新限制。一开始很难判断出来,需要测试后才能知道。如果有的话,这里需要设置一下“资源下载超时时间”。

“引用网址”:填入任何一个即将被采集的文章内容页面的网址。

具体操作步骤:

(a)在已打开的文章列表页中,单击第一篇文章的

标题“在Dreamweaver中为插入的Flash添加透明”,以打开文章内容页面,如(图7)所示,

图7-文章内容页面

(b)此时在浏览器的URL地址栏中显示的网址,即为需要填写在“引用网址”处的网址,如(图8)所示,

图8-浏览器的URL地址栏

到这里,“节点基本信息”就设置完成了。最后结果,如(图9)所示,

图9-设置后的节点基本信息

检查无误后,进入下一步设置。

1.2.2 设置列表网址获取规则

如(图10)所示,

图10-列表网址获取规则

这里是设置被采集的文章列表页的匹配规则。如果被采集的文章列表页有一定的规律,可选择“批量生成列表网址”;如果被采集的文章列表页完全没有规律可循,那么可选择“手工指定列表网址”;如果被采集的站点提供了RSS,则可以选择“从RSS中获取”。对于特殊情况,例如:部分列表页有规律,而其余的又没有规律,则可在“匹配网址”中填上有规律的部分,然后把没有规律的部分填写在“手动指定网址”。

具体操作步骤:

(a)首先,回到已打开的文章列表页,找到浏览器的URL地址栏中显示的网址(图8)和页面底部的换页部分。如(图11)所示,

图11-换页

(b)单击“2”,打开文章列表页的第二页,此时浏览器的URL地址栏中所显示的网址和页面底部的换页部分,如(图12)和(图13)所示,

图12-第二页的网址

图13-第二页的换页部分

(c)在已打开的文章列表页的第二页上面,单击(1),打开文章列表页的首页,这时页面底部的换页部分与图11相同,而浏览器的URL地址栏中所显示的网址与之前图8并不相同,如(图14)所示,

图14-第一页的网址

(d)由(b)和(c)推知,此处被采集的文章列表页的网址所遵循规律为:

http://www.dedecms.com/knowledge/web-based/dreamweaver/list_47_(*).html。稳妥起见,请自行测试更多列表页。确定规律后,在“匹配网址”中,填入文章列表页所遵循的规律。

(e)最后,指定需要采集的页码或者规律数字,并设定其递增规律。

到这里,“列表网址获取规则”部分就设置结束了。最后结果,如(图15)所示,

图15-设置后的列表网址获取规则

确定正确后,进入下一步设置。

1.2.3设置文章网址匹配规则

如(图16)所示,

图16-文章网址匹配规则

这里是设置被采集文章列表页的匹配规则。

具体操作步骤:

(a)对于“区域开始的HTML”,可通过在打开的文章列表首页上,单击右键后选择“查看源文件”。在源文件中,找到第一篇文章的标题“在Dreamweaver中为插入的Flash添加透明”,如(图17)所示,

图17-查看源文件中,第一篇文章的标题

通过观察,不难看出“

”为整个文章列表的开始部分。因此,在“区域开始的HTML”中,填入”

”。

(b)在源文件中,找到最后一篇文章标题“通过Dreamweaver设计网页时组织CSS的建议”,如(图18)所示,

图18-查看源文件中,最后一篇文章的标题

结合文章列表的开始部分并通过观察可知,第一个“

”为整个文章列表的结束部分。因此,在“区域结束的HTML”中,应填入”

”。

“如果链接中含有图片”:设置对链接中含有图片的处理方式,有不处理和采集为缩略图可选。可根据实际需要选择。

“对区域网址进行再次筛选”:可以使用正则表达式对区域网站进行再次筛选,这是针对一些需要被保留或者需要滤掉的内容,尤其是混编的列表页面,通过使用“必须包含”或者“不能包含”过滤掉所希望获取或者不希望获取的文章内容页面的网址。

具体操作步骤:

回到正在打开的文章列表首页的源文件,通过观察可知,每一个文章内容页面地址的扩展名均为.html。因此,可在“必须包含”中,填入“.html”。

到这里,“文章网址匹配规则“就设置结束了。最后结果, 如(图19)所示,

图19-设置后的文章网址匹配规则

通过1.2.1小节、1.2.2小节和1.2.3小节,新增采集节点的第一步就已经设置完成了。设置后的结果,如(图20)所示,

图20-设置后的新增采集节点:第一步设置基本信息及网址索引页规则

全部完成并检查无误后,单击“保存信息并进入下一步设置“。如果之前设置正确,单击后,将会进入“新增采集节点:测试基本信息及网址索引页规则设置的网址获取规则测试”页面并看到相应的文章列表地址。如(图21)所示,

图21-网址获取规则测试

确定正确无误后,单击“保存信息并进入下一步设置”。否则,请单击“返回上一步进行修改“。

到这里,第一节就结束了。下面进入第二节。。。

Related posts:

站群快速安装采集侠的方法

dedecms织梦5.7后台模块管理当中的模块列表显示空白的解决办法

DedeCms教程:LuManager服务器管理软件安装DEDECMS软件

DedeCms教程:Linux+Apache+PHP+MySQL服务器环境(CentOS篇)


相关内容

  • 交流电量同步采集
    河南机电高等专科学校 毕业设计(论文) 交流电量同步采集 系 部: 自动控制系 专 业: 电气自动化 班 级: xxxxx xx 姓 名: xxxx xxx xx 学 号: xxx xxx xx x 指导老师: xxx 二零一二年五月 第一 ...
  • WPAN脉搏血氧饱和度仪设计
    WPAN脉搏血氧饱和度仪设计 本文介绍了基于无线个域网(WPAN)设计的脉搏血氧饱和度检测仪.WPAN是为在小范围内的设备间建立无线连接而开发的无线传输技术,IEEE标准化协会已为此制定了IEEE802.15.X标准.本文涉及的传输技术符合 ...
  • 自动浇花系统的设计毕业论文
    XXX 大学 本科生毕业论文 题 目 自动浇花系统的设计 系 别 班 级 姓 名 电子信息科学与技术 xxx xxx 学 号 1246332xx 答辩时间 2016年 5月 xxxx 大学计算机与信息工程学院 目 录 1 自动浇花器的研究现 ...
  • [测试系统原理与设计](孙传友编著)--习题答案(个人整理)
    <测试系统原理与设计>(孙传友编著)--习题答案(个人整理) (答案仅供参考,部分答案没有,由个人总结整理,若有错误或不当之处请见谅) 第一章 绪论 1. 为什么说仪器技术是信息的源头技术? 仪器是一种信息的工具,起着不可或缺的 ...
  • 地质信息技术
    第六章 地质信息技术 前 言 当前,在加拿大.澳大利亚等西方主要矿业大国,矿业软件是矿山生产过程中必不可少的重要工具,特别是在地质数据分析.提高矿山生产与管理效率等方面发挥了巨大作用.当前国外比较著名的商业矿业软件有Surpac .Micr ...
  • 蔬菜大棚温湿度控制系统设计
    **************************************************** 本科毕业设计 题 目 蔬菜大棚温湿度 姓 名 ******* 专 业 电子科学与技术 学 号 ******** 指导教师 ****** ...
  • 5 计算机系统验证报告
    现代中药论坛原创www.chinapat.com STP -验-S -047-00 计算机系统验证报告 第 1 页 共 47 页 1 概述: 计算机系统位于我公司提取一车间二楼中控室,适用于现代化提取车间所有设备的指令.监控.控制运行.本设 ...
  • 数字式温度计系统设计
    <数字式温度计系统设计> 课程设计 姓名: 许红升 专业: 通信工程 学号: P01214179 性别: 男 邮箱: 466570324@qq.com 联系方式: [1**********] 指导老师: 李斌 张宏伟 一.最终要 ...
  • 片机的电磁阀信号数字滤波算法实现
    电子测量技术 ELECTRoNlC 第31卷第10期2008年10月 MEASUREM[ENTTECHNOLoGY 基于JN5121单片机的电磁阀信号数字滤波算法实现 张志利 郭进军 西安710025) (第二炮兵工程学院兵器发射理论与技术 ...
  • 多秤称重管理系统说明书
    多秤称重管理系统 操作说明书 目录 一. 上位机软件操作............................................................................................ ...