中非商贸资讯爬虫任务管理平台操作手册.docx

中非商贸资讯爬虫任务管理平台操作手册
中非商贸资讯爬虫任务管理平台是我公司的工具产品，用于托管 和调用线上服务平台的常用脚本，以达到优化平台架构、增强容错能 力、提高运维效率、方便脚本管理的目的。
系统结构如下：
中非商贸资讯爬虫任务管理平台
1、登录
1.1登录
在浏览器中输入网址后进入平台登录页面，输入正确的用户名及关联脚本、启动参数、任务创建人、创建时间、备注。
点击关联脚本跳转对应爬虫脚本的详情页。
4.5修改任务MMI
none
H B Tl f / U G
“mg—®MGftww 任I
MMI
none
H B Tl f / U G
“mg—®MGftww 任I

MMI
none
H B Tl f / U G
“mg—®MGftww 任I
HUM
120
在定时任务列表点击
可对相应的任务设置进行修改。
4.6删除任务
在定时任务列表点击*1,弹出确认框，点击“是"删除当条任

务，点击“否"退回列表页。
密码成功登录，勾选“记住密码”下次进入平台是自动填写用户名与 密码。
1. 2进入页面登录成功后跳转本页面，点击“爬虫托管”可进入系统进行后续
操作。（“数据中心"为待开发内容。）
1. 3首页展示平台当前虚拟环境数量、脚本数量、定时任务数量，页面右
上角展示当前所在位置。
左侧为导航栏，点击可跳转相应管理界面；点击导航栏右上方的 三按钮，可将导航栏收缩。
2、虚拟环境
2. 1虚拟环境列表虚曲料I
虚曲料I

虚曲料I
1 * 10 M
可帛
HHt
点击左侧导航栏“虚拟环境"可至本页，虚拟环境列表页可显示 多个已添加的虚拟环境，并对已添加环境进行查看和删除操作；右上 角显示当前页数、总页数和已添加环境数量。虚拟环境列表十条数据 一分页。点击页面左上方按钮，可创建新的虚拟环境。
2.2创建虚拟环境
点击
创
按钮至本页。在当前页填写所创建的虚拟环境的主
关备注。内容全部填写完成后，点击页面下方“提交"按钮即可创建。
2.3环境详情
怀顼洋情
fflWW
an
c^in90« requests
中非晰缺
201MG-21 15 50 36
在虚拟环境列表点击
可至本页，查看已添加虚拟环境的主键、
roqimti OU cpn^o monjocngm emqi Wi requ«i> t>M cianjo mon^enone.emoii

环境名称、创建时间、安装依赖，以及备注信息。
2.4删除环境

在虚拟环境列表点击弹出确认框，点击“是''删除当条虚 拟环境，点击“否"退回列表页。
3、脚本管理
3. 1爬虫脚本列表xw
xw

xw
R!KU«ud
OHE 台 eghE Avmw focac B5¥zlttvn»，
«n
W&
W!M»*
1-10/1
□QD

点击左侧导航栏“爬虫脚本"可至本页，列表显示多个已添加的 爬虫脚本，可对已添加爬虫进行查看、编辑和删除操作；右上角显示 当前页数、总页数和已添加环境数量。
点击页面左上方按钮，可新增爬虫脚本。
3.2新增爬虫脚本
在爬虫脚本列表点击
新堵理
按钮至本页。
• f BRHI / MB*
爬虫的目标站点名称，20个字符以内）、URL （爬虫的对应路径，200个字符以内）、启动命令（该脚本在被调用时需要输入的启动命令，300个字符以内）、脚本作者（20个字符内）和备注信息；
选择运行环境（下拉列表）：选择该爬虫脚本被执行定时任务时 所依赖的虚拟环境，可选内容来自已设置的虚拟环境列表；
上传脚本文件，文件格式zip,大小32M以内。
全部内容填写完成后，点击页面下方“提交”按钮即可创建。
3.3查看脚本详情*■0 mvtm
*■0 mvtm

*■0 mvtm
• HA
o虐KW
♦ ■本■我
• HA
o虐KW
♦ ■本■我

• HA
o虐KW
♦ ■本■我
O定肘任务
URLrtf^ f0c^c
Jg行E|
python WesSpdef py
I•^峰rap IT106 14 57 88 8(^<»s«su*»ci2O19-06-2t'6a6db493-0cS-W68-9173-6»e6e46276a8 zp
在爬虫脚本列表点击
在爬虫脚本列表点击

在爬虫脚本列表点击
可至本页，查看该条爬虫脚本的名称、

所属站点、URL、运行环境、启动命令、脚本作者、脚本文件，以及备注信息。
点击运行环境后方的
可查看运行环境内所安装的依赖，与虚
拟环境详情页的安装依赖内容一致。
点击脚本文件可下载该脚本文件。
3.4修改爬虫脚本牛— OURLhttps "WW* tscac cc^^cNva^*
诿HEW"；.
fl 地。$(rnonVAoiriSpOcrpy«*■，宜仟
hOpA'IK U57 BS80ei>a5se<s.W»J2019 06 21/6a6db49l0cW^t>W91^6»e6c4WT6aBapanH B Ti f / M e^Z<^BE440HBo>-nr
在爬虫脚本列表点击
可对相应的爬虫脚本基本信息进行修
改。
中*,论堪一交"・W1•虫・《

3.5删除脚本

在爬虫脚本列表点击*1,弹出确认框，点击“是”删除当条爬虫 脚本，点击“否"退回列表页。
4、定时任务
4. 1定时任务列表»M«Cru«Wl
»M«Cru«Wl

»M«Cru«Wl
* ■页
定时曲
□ g时
• ■本管理+
o
• a«nw
2 «wren^tx— b««
nuimi上次魏万时月
1冲始JO19-O7-O9W23W
an
DDQa

点击左侧导航栏“定时任务"可至本页，列表显示多个已添加的 任务，可对列表中的任务进行启动/关闭任务、查看、编辑和删除操作；右上角显示当前页数、总页数和已添加任务数量。
点击页面左上方
按钮，可新增任务。
4. 2添加任务
在定时任务列表点击
t a»fHI
按钮至本页。

在当前页可为新任务填写名称（20个字符以内）、执行周期（以
分钟为单位，需填入大于0的数字）、启动参数（启动定时任务的必 填参数，300个字符以内）和备注信息;
选择关联脚本（下拉列表）：启动定时任务需要调用和执行的脚 本，可选内容来自已设置的爬虫脚本列表;
内容填写完成后，点击页面下方“提交"按钮即可创建任务。
4.3任务关闭、打开Q AKLU4
Q AKLU4

Q AKLU4
>1X740 1

在定时任务列表点击I—I可切换当前任务开启/关闭状态。
当前任务为启动状态时，后面对应显示暂停任务按钮，反之为关 闭状态时后面对应显示启动任务按钮。
4.4查看任务详情

伽S*3在定时任务列表点击12O<YM
2019821 1688可至本页，查看该条任务查看任务名称、