火车头采集器初学者入门教程.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2014/11/27,#,火车头采集器,使用流程说明,主讲人：刘崇秀,QQ:2415290,目录,一、,软件下载,二、新建站点,三、采集网址,四、采集内容,五,、其他功能,火车头采集器官网地址为：,最新版本为,8.4,，可以从官网下载到，下载地址：,navicat for mysql,版,11,月,10,日,18:54,其中粗体红色、蓝色为变动值，框住网址部分，点右侧的“,参数,”替换网址，“实际连接”处由于网址采用相对路径，需要手工加上前面域名和路径（如链接地址是完整的，可以忽略执行这一步。）其他变动信息用,),替换掉。,页面中可能还有部分要采集的数据，可以用“,标签：,XXX,”获取，该内容会自动传递到下一步的标签里，这里加过的标签不用出现在下一步中。,三,、采集,网址,-,测试网址采集,如果点击了前面的“测试网址采集”按钮，显示如下图相关界面。可以通过点击左侧的“,+,”看该网址下面的链接，可以用右侧的导出功能导出相关网址。一般在左侧选择中要采集的网址，在右侧选择“导出同级节点”。可以选择左侧网址，点击右侧“浏览网页”预览页面。点击“测试该页”可以进入内容采集预览页。如需退出点击“返回修改设置”按钮。,三,、采集,网址,网址过滤,在采集过程中遇到不需要采集的文章，可以通过“不得包含”功能将其过滤掉。,为了缩小采集范围可以使用“必须包含”功能。,三,、,采集内容,正确获取网址后，点击“第二步：采集内容规则”就可以进入采集内容模块了。,三,、,采集内容,使用左侧的添加、修改、删除按钮修改标签对应的内容。点击“”、“”箭头可以进行标签名称排序。右侧“规则测试”区域可以在典型页面输入测试网址，也可以通过前面测试页面功能自动导入进相应页面地址。点击右侧“测试”按钮，选择“第二步：采集内容规则”后，出现如下界面。,三,、,采集内容,分页获取,以,“固定的字符串”可以把标签固定写死成某个字符串。“随机抽取信息”主要用于采集完文章后随机生成作者或发布人姓名一类。,四、内容发布,存成文件格式,进入第三步：发布内容设置可以看到如下界面。,软件提供了,3,种导入数据方案，由于公司目前没有提供,web,网站，因此主要使用方式二和三。下面截图中红色区域是数据存成文件模式的基本配置。,文件存成的格式免费版只能存成,TXT,、,HTML,、,CSV 3,种模式，,WORD,、,EXCEL,需要付费。,TXT,模板可以使用系统默认。,HTML,系统自带模板没有写网页字符模式造成输出成乱码，请使用我提供的模板，使用中需要查看采集网站的字符格式，并更改系统配置以及,HTML,模板中字符格式。,CSV,默认模板打开后是乱码，需要使用文本编辑器打开修改模板，第一行是字段名，第二行字段值，编辑好后另存为以,utf-8,编码保存。如果要输出,excel,表格，可以用,csv,格式输出。,四、内容发布,导入到自定义数据库,点击“方式三”下方的“数据库发布配置管理”链接，看到如下界面：,四、内容发布,导入到自定义数据库,如是建立好的配置，双击左侧配置列表或点击下方编辑按钮即可。,如要新建入库配置，先点击左侧“新建”按钮，再点击右上方“新建”按钮。,在下一页里可以看到相应页面图。,四、内容发布,导入到自定义数据库,选择数据库类型为您使用的数据库种类，一般使用“,Mysql,”、“,SQL Server,”，具体根据您安装的数据库种类决定。,点击右侧的“,INSERT,语句示例”链接，可以看到上方自动插入了一些已经写好的数据库写入语句。请根据已经建立好的数据库表结构修改“,Table_Name,”中字段，,VALUES,后标签则是“第二步：采集内容规则”里的标签内容。修改好后点“保存模块”，输入保存名称点“保存”，弹出“成功保存”窗口，点“确定”。关闭“数据库模块编辑器”。,四、内容发布,导入到自定义数据库,插入的语句下方有,3,排内容，如下图。,主要用到“常用标签”和“系统标签”。,系统标签主要用到“,采集页网址,”，可以插入从哪个页面采集相应数据。“,文章编号,:,表名,XXX,”用于插入数据后获取最后一条信息的,ID,号，这样可以利用该,ID,号执行新的,select,、,update,中包含该文章编号的“,where id=xxx,”语句。,四、内容发布,导入到自定义数据库,以下是比较复杂的,SQL,插入语句例子。,INSERT INTO ceshi(gongsimingcheng,lianxiren,shoujihaoma,dianhuahaoma,chengxintongnianfen,jingyingdizhi,zhuyinghangye,jingyingmoshi,zhuceziben,gongsichenglishijian,gongsizhucedi,qiyeleixing,fadingdaibiaoren,zhuyaoxiaoshouquyu,zhuyaokehuqunti,nianyingyee,fuwulingyu,yuangongrenshu,dangqianwangzhi,xingbie,chuanzhen,dizhi,youbian,gongsizhuye,gongsizhiwei,suozaidiqu,aliwangwang)VALUES(,标签,:,公司名称,标签,:,联系人,标签,:,联系电话,标签,:,固定电话,标签,:,诚信通年份,标签,:,经营地址,标签,:,主营行业,标签,:,经营模式,标签,:,注册资本,标签,:,公司成立时间,标签,:,公司注册地,标签,:,企业类型,标签,:,法定代表人,标签,:,主要销售区域,标签,:主要客户群体,标签,:,年营业额,标签,:,服务领域,标签,:,员工人数,标签,:,当前网址,标签,:,性别,标签,:,传真,标签,:,地址,标签,:,邮编,标签,:,公司主页,标签,:,部门职位,标签,:,所在地区,标签,:,阿里旺旺,),四、内容发布,导入到自定义数据库,以下,MYSQL,数据库对应建立数据库的大概语句例子，需要对数据库有一定了解。可以用,phpmyadmin,或,Navicat,等图形数据库管理工具来处理。,CREATE TABLE alibaba(,gongsiidhao int(10)NOT NULL AUTO_INCREMENT,gongsimingcheng char(255)NOT NULL,lianxiren char(255)DEFAULT,shoujihaoma char(255)DEFAULT,dianhuahaoma char(255)DEFAULT,chengxintongnianfen char(255)DEFAULT,jingyingdizhi char(255)DEFAULT,zhuyinghangye mediumtext,jingyingmoshi char(255)DEFAULT,zhuceziben char(255)DEFAULT,gongsichenglishijian char(255)DEFAULT,PRIMARY KEY(gongsiidhao),UNIQUE KEY gongsimingcheng(gongsimingcheng)USING BTREE,)ENGINE=MyISAM AUTO_INCREMENT=0 DEFAULT CHARSET=gbk;,四、内容发布,导入到自定义数据库,数据库结构可以用,phpmyadmin,或,Navicat,等图形数据库管理工具来处理。,四、内容发布,导入到自定义数据库,为了加快采集速度，可以修改“文件保存及部分高级设置”配置如下图。,四、内容发布,导入到自定义数据库,配置完毕后，返回程序主界面，点中要采集的任务名称，勾选右侧要执行的任务，点击“开始”按钮就可以开始采集任务了。到此主要配置工作已经完成。,五、其他功能,重新采集其他数据,有时需要重新采集数据，由于系统默认采集过的数据不再进行采集。为了能重新采集相应数据，需要点击程序主界面要采集的任务，点击鼠标右键，分别选择“清空任务所有采集数据”、“清空该任务网址库”两项。如果之前采集数据过多，这项工作可能会处理较长时间。,五、其他功能,导出任务,如果希望备份任务，可以在主菜单选中要导出的任务名称，按鼠标右键点击“导出任务”，选择要备份的位置点确定即可。,五、其他功能,导入任务,如果希望导入任务，可以在主菜单选中要导入的分组名称，按鼠标右键点击“导入任务至该分组”，浏览找到要导入的文件位置，文件后缀为“,ljobx,”或“,ljob,”，点确定导入即可。,ENDTHANKS!,