中非商贸资讯爬虫任务管理平台操作手册.docx

中非商贸资讯爬虫任务管理平台操作手册中非商贸资讯爬虫任务管理平台是我公司的工具产品，用于托管 和调用线上服务平台的常用脚本，以达到优化平台架构、增强容错能 力、提高运维效率、方便脚本管理的目的。系统结构如下：中非商贸资讯爬虫任务管理平台1、登录1.1登录在浏览器中输入网址后进入平台登录页面，输入正确的用户名及关联脚本、启动参数、任务创建人、创建时间、备注。点击关联脚本跳转对应爬虫脚本的详情页。4.5修改任务MMInoneH B Tl f / U G“mgMGftww 任IMMInoneH B Tl f / U G“mgMGftww 任IMMInoneH B Tl f / U G“mgMGftww 任IHUM120在定时任务列表点击可对相应的任务设置进行修改。4.6删除任务在定时任务列表点击*1,弹出确认框，点击“是删除当条任务，点击“否退回列表页。密码成功登录，勾选“记住密码”下次进入平台是自动填写用户名与 密码。1. 2进入页面登录成功后跳转本页面，点击“爬虫托管”可进入系统进行后续操作。（“数据中心为待开发内容。）1. 3首页展示平台当前虚拟环境数量、脚本数量、定时任务数量，页面右上角展示当前所在位置。左侧为导航栏，点击可跳转相应管理界面；点击导航栏右上方的 三按钮，可将导航栏收缩。2、虚拟环境2. 1虚拟环境列表虚曲料I虚曲料I虚曲料I1 * 10 M可帛HHt点击左侧导航栏“虚拟环境可至本页，虚拟环境列表页可显示 多个已添加的虚拟环境，并对已添加环境进行查看和删除操作；右上 角显示当前页数、总页数和已添加环境数量。虚拟环境列表十条数据 一分页。点击页面左上方按钮，可创建新的虚拟环境。2.2创建虚拟环境点击创按钮至本页。在当前页填写所创建的虚拟环境的主关备注。内容全部填写完成后，点击页面下方“提交按钮即可创建。2.3环境详情怀顼洋情fflWWancin90 requests中非晰缺201MG-21 15 50 36在虚拟环境列表点击可至本页，查看已添加虚拟环境的主键、roqimti OU cpno monjocngm emqi Wi requi tM cianjo monenone.emoii环境名称、创建时间、安装依赖，以及备注信息。2.4删除环境在虚拟环境列表点击弹出确认框，点击“是删除当条虚 拟环境，点击“否退回列表页。3、脚本管理3. 1爬虫脚本列表xwxwxwR!KUudOHE 台 eghE Avmw focac B5zlttvn，nW&W!M*1-10/1QD点击左侧导航栏“爬虫脚本可至本页，列表显示多个已添加的 爬虫脚本，可对已添加爬虫进行查看、编辑和删除操作；右上角显示 当前页数、总页数和已添加环境数量。点击页面左上方按钮，可新增爬虫脚本。3.2新增爬虫脚本在爬虫脚本列表点击新堵理按钮至本页。 f BRHI / MB*爬虫的目标站点名称，20个字符以内）、URL （爬虫的对应路径，200个字符以内）、启动命令（该脚本在被调用时需要输入的启动命令，300个字符以内）、脚本作者（20个字符内）和备注信息；选择运行环境（下拉列表）：选择该爬虫脚本被执行定时任务时 所依赖的虚拟环境，可选内容来自已设置的虚拟环境列表；上传脚本文件，文件格式zip,大小32M以内。全部内容填写完成后，点击页面下方“提交”按钮即可创建。3.3查看脚本详情*0 mvtm*0 mvtm*0 mvtm HAo虐KW 本我 HAo虐KW 本我 HAo虐KW 本我O定肘任务URLrtf f0ccJg行E|python WesSpdef pyI峰rap IT106 14 57 88 8(a5seW916e6c4WT6aBapanH B Ti f / M eZ-nr在爬虫脚本列表点击可对相应的爬虫脚本基本信息进行修改。中*,论堪一交W1虫3.5删除脚本在爬虫脚本列表点击*1,弹出确认框，点击“是”删除当条爬虫 脚本，点击“否退回列表页。4、定时任务4. 1定时任务列表MCruWlMCruWlMCruWl* 页定时曲 g时 本管理+o anw2 wrentx bnuimi上次魏万时月1冲始JO19-O7-O9W23WanDDQa点击左侧导航栏“定时任务可至本页，列表显示多个已添加的 任务，可对列表中的任务进行启动/关闭任务、查看、编辑和删除操作；右上角显示当前页数、总页数和已添加任务数量。点击页面左上方按钮，可新增任务。4. 2添加任务在定时任务列表点击t afHI按钮至本页。在当前页可为新任务填写名称（20个字符以内）、执行周期（以分钟为单位，需填入大于0的数字）、启动参数（启动定时任务的必 填参数，300个字符以内）和备注信息;选择关联脚本（下拉列表）：启动定时任务需要调用和执行的脚 本，可选内容来自已设置的爬虫脚本列表;内容填写完成后，点击页面下方“提交按钮即可创建任务。4.3任务关闭、打开Q AKLU4Q AKLU4Q AKLU41X740 1在定时任务列表点击II可切换当前任务开启/关闭状态。当前任务为启动状态时，后面对应显示暂停任务按钮，反之为关 闭状态时后面对应显示启动任务按钮。4.4查看任务详情伽S*3在定时任务列表点击12OYM2019821 1688可至本页，查看该条任务查看任务名称、