资源描述
Xxxx单位
信息反馈与网络舆情监测系统
技术建议书
北京西盈信息技术有限公司
2015年4月
文档声明
本建议(方案)书属商业机密文件,书中的所有信息均为北京西盈信息技术有限公司机密信息,仅供中华人民共和国国务院法制办公室网络舆情监测系统项目使用。未经北京西盈信息技术有限公司明确的书面许可,不得以任何方式或手段对文档的任何部分进行复制或传播。
尽管北京西盈信息技术有限公司已经尽力保证文档内容的完整性和有效性,但是,仍可能有技术方面不够准确的地方或印刷错误。
北京西盈信息技术有限公司将根据需求变化对有关内容进行相应的调整。
99
目 录
第一部分 商务部分 1
第1章 公司介绍 1
第2章 公司相关资质 2
2.1 营业执照 2
2.2 税务登记证书 3
2.3 组织机构代码 4
2.4 软件企业认定证书 5
2.5 软件产品登记证书 6
2.6 商标注册证书 7
2.7 中关村高新证书 9
2.8 国家信息中心软件产品检测报告 10
2.9 舆情软件著作权证书 12
2.9.1 西盈网络信息雷达系统著作权证书(V3.1) 12
2.9.2 西盈网络舆情监测系统著作权证书(V3.1) 13
2.9.3 西盈网络舆情监测系统著作权证书(V5.1) 14
2.9.4 西盈企业竞争情报系统著作权证书(V5.1) 15
2.9.5 西盈自然语言处理系统(V5.1) 16
2.9.6 西盈搜索引擎系统(V5.1) 17
2.9.7 西盈舆情云服务系统(V1.0) 18
2.9.8 西盈网络舆情导控系统(V5.1) 19
2.9.9 西盈舆情风险预警系统(V1.0) 20
第3章 项目报价 21
3.1 所报软件产品配置 21
3.2 所报硬件设备配置 22
第4章 部分案例 25
第二部分 技术部分 29
第1章 需求分析 29
1.1 系统建设内容 29
1.2 系统建设目标 30
1.2.1 总体目标 30
1.2.2 业务目标 30
1.2.3 工程目标 31
1.3 主要功能和服务 31
1.3.1 舆情信息采集 31
1.3.2 舆情分析服务 31
1.3.3 舆情预警推送 32
1.3.4 舆情分类、专题、简报 32
1.3.5 外网采集信息导入 32
1.3.6 历史信息归档 32
1.3.7 应用集成 32
1.4 监测目标 32
1.5 监测方向 33
1.6 方案特点 33
第2章 总体设计 35
2.1 设计思路和工作流程 35
2.2 设计原则 36
2.3 硬件网络拓扑设计 37
2.3.1 外网 38
2.3.2 境外专网 38
2.3.3 内网 38
2.4 总体功能设计 39
2.4.1 信息采集子系统 39
2.4.2 云数据中心推送平台 40
2.4.3 数据同步系统 40
2.4.4 舆情分析系统 40
2.4.5 舆情服务平台 40
2.4.6 历史信息归档系统 41
2.4.7 应用系统接口平台 41
2.5 总体架构设计 41
2.5.1 用户层 42
2.5.2 应用层 42
2.5.3 智能分析层 44
2.5.4 数据存储层 45
2.5.5 信息采集层 45
2.5.6 IT基础设施层 46
2.5.7 信息安全保障体系 46
2.6 系统扩展设计 47
第3章 系统功能实现 48
3.1 采集系统 48
3.1.1 采集源规划和分类 48
3.1.2 采集原理与实现 49
3.1.3 采集系统优势 49
3.1.4 采集基本配置 54
3.1.5 采集性能保障 59
3.2 云计算数据中心推送方案 60
3.2.1 西盈云计算数据中心介绍 60
3.2.2 西盈云数据中心架构设计 61
3.2.3 西盈云数据中心平台构成 62
3.2.4 西盈舆情云在本项目中的应用 66
3.3 分析引擎 66
3.4 舆情应用工作平台 68
3.4.1 首页门户 68
3.4.2 舆情监测 70
3.4.3 事件专题 71
3.4.4 分类信息 76
3.4.5 定制舆情 76
3.4.6 分析中心 76
3.4.7 舆情报告 79
3.4.8 知识库管理 79
3.4.9 系统管理 80
第4章 项目实施方案 80
4.1 建设模式 80
4.2 网络配置 81
4.3 软件配置 81
4.1 硬件配置 81
4.2 人员配置 84
4.2.1 软件开发负责人情况表 84
4.2.2 项目组织 85
4.2.3 人员角色 86
4.2.4 项目参与人员情况表 87
4.2.5 总体人员配置安排 88
4.3 实施周期 89
4.4 实施内容 90
第5章 售后服务与技术支持方案 93
5.1 服务承诺 93
5.2 服务体系介绍 93
5.3 服务方式 94
5.4 服务内容 95
5.4.1 运维服务 95
5.4.2 技术支持 95
5.4.3 人工服务 96
5.4.4 技术培训 97
5.5 质保期外服务 97
5.6 故障级别及响应时间 97
5.6.1 故障级别的定义 97
5.6.2 故障响应方式 97
第6章 培训方案 98
6.1 培训承诺 98
6.2 培训时间 98
6.3 培训方式地点 99
6.4 培训教材 99
6.5 培训课程的实施 99
6.6 培训课程安排 100
第一部分 商务部分
第1章 公司介绍
北京西盈信息技术有限公司(简称:西盈信息)是成立于北京上地信息产业基地的高新技术企业。公司拥有互联网信息挖掘技术、中文智能搜索技术、自然语言处理技术、知识管理等核心技术。公司整合了网络舆情监测领域最优秀的人力资源,获得了北京市专项资金的扶植,致力于网络舆情监测系统产品的研发与应用。公司拥有多项专利技术和产品著作权,拥有互联网舆情监测技术研发中心,承担着国内重大项目的技术支持与顾问咨询。
西盈网络舆情监测系统广泛应用于各级党委宣传部、信息中心、纪检、公安、法院、交通、税务、质监、环保等政府部门以及电力、石油、烟草、汽车、快消等企业,在高校也有众多的使用案例。客户遍布全国28个省市,数量过百家。西盈网络舆情监测系统在各地宣传部门应用最广,在市委宣传部了解社情民意、分析内外形势、开设民生通道、服务领导决策和构建和谐社会等方面发挥着重要作用。借助西盈舆情监测分析系统,宣传部在人民日报主办的 “网络问政与舆情监测高峰论坛”获“网络舆情监测创新奖”。
n 西盈舆情是国内网络舆情产品供应商中,口碑最好,发展速度最快的公司;
n 专注于舆情监测系统的研发与应用,成立了舆情监测技术实验室,是目前国内舆情监测技术的领导者;
n 西盈信息签约客户中,有1/3的用户曾经购买或使用过其他公司的产品;
n 西盈信息的签约客户,有50%以上来自于老客户的推荐;
n 西盈信息实施的项目,成功率是100%;
n 西盈信息在宣传系统的客户数量行业领先,签约客户超过100家;
5年如一日,我们没有放弃1家客户;5年如一日,我们只做一件事情:网络舆情监测。
第2章 公司相关资质
2.1 营业执照
2.2 税务登记证书
2.3 组织机构代码
2.4 软件企业认定证书
2.5 软件产品登记证书
2.6 商标注册证书
2.7 中关村高新证书
2.8 国家信息中心软件产品检测报告
2.9 舆情软件著作权证书
2.9.1 西盈网络信息雷达系统著作权证书(V3.1)
2.9.2 西盈网络舆情监测系统著作权证书(V3.1)
2.9.3 西盈网络舆情监测系统著作权证书(V5.1)
2.9.4 西盈企业竞争情报系统著作权证书(V5.1)
2.9.5 西盈自然语言处理系统(V5.1)
2.9.6 西盈搜索引擎系统(V5.1)
2.9.7 西盈舆情云服务系统(V1.0)
2.9.8 西盈网络舆情导控系统(V5.1)
2.9.9 西盈舆情风险预警系统(V1.0)
第3章 项目报价
报价单位:北京西盈信息技术有限公司 单位:元
序号
项目名称
单位
数量
单价
金额
备注
1
网络舆情监测系统软件
套
1
详见所报软件配置表
2
舆情采集服务器
台
5
23000
115000
详见所报硬件配置表
3
境外信息采集服务器
台/年
1
7000
7000
年租赁
4
数据交换、舆情分析服务器
台
1
21000
21000
详见所报硬件配置表
5
舆情数据库、全文检索服务器
台
1
21000
21000
详见所报硬件配置表
6
应用服务器
台
1
21000
21000
详见所报硬件配置表
7
备份服务器
台
1
25000
25000
详见所报硬件配置表
8
物理网闸
台
1
80000
80000
详见所报硬件配置表
总报价(人民币小写)
总报价(人民币大写)
备注
1、硬件服务器报价均包含3年原厂质保。
2、服务器报价均包含安装windows server 2008 中文企业版早上做系统。
3、软件系统监测网站数量和关键词数量不限;用户数量不限;系统实施免费;免费现场培训1次;服务期内软件升级免费。
3.1 所报软件产品配置
序号
软件名称
数量
备注
1
西盈网络信息雷达系统
1
实现对互联网信息实时采集和结构化信息抽取,包括网页爬虫系统,境外信息采集系统和元搜索系统。
2
西盈舆情分析引擎系统
1
对各类信息做深度的分析和挖掘,提炼出有价值的舆情信息。
3
西盈舆情应用服务平台
1
舆情系统门户。
4
西盈搜索引擎系统
1
搜索引擎对文本数据做索引处理,供快速查询使用。
5
舆情预警通道
1
提供舆情信息的及时预警和推送。
6
西盈云数据中心推送平台
1
云数据中心信息推送。
7
外网数据同步系统
1
外网数据同步。
8
历史信息归档系统
1
历史信息归档。
9
舆情数据接口系统
1
应用接口。
10
关系数据库
1
MySql 5
11
应用服务器
1
Tomcat 8
3.2 所报硬件设备配置
序号
工作内容
数量
参考配置描述
1
舆情采集服务器
5
详见:服务器配置一(采集服务器)
2
境外信息采集服务器
1
详见:服务器配置四(云主机)
3
数据交换、舆情分析服务器
1
详见:服务器配置二(分析、检索、、交换、应用服务器)
4
舆情数据库、全文检索服务器
1
详见:服务器配置二(分析、检索、、交换、应用服务器)
5
应用服务器
1
详见:服务器配置二(分析、检索、、交换、应用服务器)
6
备份服务器
1
详见:服务器配置三(备份服务器)
7
网闸
1
详见:网闸配置
n 服务器配置一(采集服务器)
联想
ThinkserverRD640
机器尺寸:2U机架式服务器
1
CPU 型号:E5-2620V2(2.1G六核)
1
内存容量:16GB DDR3
1
硬盘容量:1TB SAS 15000转
4
光驱类型:DVDRW
1
RAID卡: 支持RAID 0 1 5
1
网 卡:三个千兆网卡
1
电 源:单电
1
备注:质保三年 安装正版windows server 2008 企业版 中文操作系统
n 服务器配置二(分析、检索、、交换、应用服务器)
联想
ThinkserverRD540
机器尺寸:1U机架式服务器
1
CPU 型号:E5-2609V2(2.5G四核)
1
内存容量:16GB DDR3
1
硬盘容量:1TB SAS 15000转
3
光驱类型:DVDRW
1
RAID卡: 支持RAID 0 1 5
1
网 卡:三个千兆网卡
1
电 源:单电
1
备注:质保三年 安装正版windows server 2008 企业版 中文操作系统
n 服务器配置三(备份服务器)
联想
ThinkserverRD640
机器尺寸:2U机架式服务器
1
CPU 型号:E5-2609V2(2.5G四核)
1
内存容量:16GB DDR3
1
硬盘容量:4TB SAS 7200转
5
光驱类型:DVDRW
1
RAID卡: 支持RAID 0 1 5
1
网 卡:三个千兆网卡
1
电 源:单电
1
备注:质保三年 安装正版windows server 2008 企业版 中文操作系统
n 服务器配置四(云主机)
品牌
型号
详细参数
世纪东方
行云Ⅵ
处理器:Intel(R) 至强系列(E5645/E5-2620/X5650)4核
内 存:8G DDR3 1666
硬 盘:500G应用+500G备份
宽 带:4M独享
I P:独立IP
机房:香港新世界电讯数据机房
n 网闸配置
品牌
型号
详细参数
安盟华御安全隔离与信息交换系统V1.0
SU-GAP3000-NR1
用户数:无限制,并发连接:10000,系统延时<1ms;内部速率>5Gbps,摆渡速率>100Mbps,接口数量:
10个10/100/1000M自适应电口,接口类型:RJ45(电口),MTBF:≥60000小时,机箱:标准2U机架式,电源:安全电源
质保三年
第4章 部分案例
环境保护部
北京市朝阳区
云南省委
云南省共青团委
云南省公安厅
云南省红河州委
云南省红河州委公安局
山东省高院
山东省烟草局
山东省药监局
山东省质检局
山东中烟集团
山东电力
山东省威海市
陕西省西安市
陕西省西安市碑林区
陕西省西安市浐灞区
陕西省西安市新城区
陕西省汉中市
陕西省渭南市
陕西省渭南市富平
陕西省韩城市
陕西铜川市
陕西省榆林市
陕西省宝鸡市
陕西省农村信用合作社
陕西省天然气股份有限公司
陕西省商洛市
山西煤销集团
山西省电力
山西省晋城市
山西省孝义市
山西省忻州市委
山西省忻州市政府
山西省大同市
山西省公安厅交警总队
河南省国税局
河南省交通厅
河南省林州市委
河南省林州市政府
河南省平顶山建委
河南省三门峡市
河南省信阳市国税局
河南省郑州市郑东新区
黄河水利委员会
河南省林业厅
湖北省保监会
湖北省恩施市
湖北省随州市
江苏省淮安市
河北省邯郸市
河北省张家口
河北省廊坊市
河北省秦皇岛市
江西省抚州市
江西省新余市
甘肃省电信
甘肃省工商局
甘肃省兰州市公安局
吉林省纪委
吉林省长春市
吉林省延边州
吉林四平市
广西广电
广西壮族自治区旅游局
辽宁省大连中院
辽宁省电力
重庆市万州区
重庆市开县
重庆市南岸区
四川省绵阳市
新疆广电
贵州省毕节市
上海市联通
湖南省岳阳市
湖南省司法厅
海南省高级人民法院
杭州市司法局
北京市师范大学
北京市维稳专项建设项目
中国石油大庆油田
中国石油兰州石化
中国石油山西销售
中国石油长庆油田
中国邮储银行项目
第二部分 技术部分
第1章 需求分析
1.1 系统建设内容
根据国务院法制办公室网络舆情监测和管理工作具体需求和系统建设的总体目标,项目建设的核心内容包括如下几个方面:
图:系统的建设内容
n 职能业务信息监测
按照法制办内设相关职能部门(司)的业务需求,对互联网上相关信息进行采集、汇总、分析、加工和归档。业务职能主要包括,政法国防、社会管理、财政金融法、工交商事、农林城建资源环保等。
n 专题主题信息监测
对不同时期,法制办重点关注的社会对有关方针政策、事件、话题等社会反馈进行舆情专题信息的采集、统计、追踪和分析。
n 人员部门信息监测
对互联网(新闻报道、论坛、贴吧、微博、博客)上与法制办领导、部门有关的信息,进行监测和预警。
n 涉外信息监测
充分借鉴国外好的、成熟的案例信息,对相关国际公约、条约等进行采集、汇总和分析管理。
n 舆情预警报送管理
对重要信息自动预警推送。针对业务职能、专题主题监测等建设舆情简报工具平台,规范简报业务流程,节省人力物力,实现自动化。
n 信息归档管理
实现外网采集数据导入内网,在内网进行分析、汇总和归档。分析后的信息实现在法制办内网数据库入库,并与法制办内网其他应用系统实现接口和集成。
1.2 系统建设目标
1.2.1 总体目标
采用以云计算平台为基础大数据采集挖掘和分析为核心的新的技术理念,采用集群模式构建法制办网络舆情监测系统,提升系统的采集能力、分析能力和数据存储能力。系统支撑国内外重点与法制办相关的舆情采集、分析需求,实现法制办舆情监测系统的个性化需求。
1.2.2 业务目标
互联网上发生的与法制办相关舆情信息,第一时间监测到,并且以最直观的方式显示出来,“一网打尽,一目了然”。监测网站类型包括:新闻、论坛、博客、贴吧、微博、电子报、搜索引擎等。
对于重点舆情以及负面信息通过手机短信等方式及时预警,不需要有专人值守就可以随时掌握舆情。
自动分析舆情信息的发展变化趋势、舆情信息的首发网站、作者、转载情况、热度变化、评估干预处理之后的效果等。
自动生成各种统计分析报表和舆情报告,助力舆情工作。配合相应的工作机制,可以有效提升舆情监管的质量和效率,提升舆情应对水平。
除了提供系统级7*24小时的运维服务,还为法制办配备专门的舆情分析师协助监测,人工预警。
1.2.3 工程目标
从项目工程建设角度,本项目的建设目标包括以下几个方面内容:
1) 建设有用好用的系统
系统功能全面实用,监测针对性强,监测效果全面。
2) 稳定可靠的系统
针对舆情系统自身特点,要求运行稳定可靠,采集能力强大。
3) 系统功能及性能扩展能力
系统应具满足当前及未来需求扩展的能力,表现在软件产品的持续开发升级服务,系统部署方面对于集群的支持能力等方面。
4) 持续的运维服务
舆情系统本身的特点决定了持续不间断的运维服务是系统保证系统效果的坚实基础。
5) 协同建设和集成
在项目建设过程中,应与相关应用系统密切配合,整体推进,融合集成。
6) 规范建设过程
项目建设过程,应符合有关软件工程项目管理规范,严格测试过程管理和质量管理。
1.3 主要功能和服务
1.3.1 舆情信息采集
建立舆情信息采集管理中心,对境内外互联网新闻、电子报、网络社区、论文研究、博客文章、微博信息、搜索引擎和论坛、博客、微博等专业搜索引擎等内容进行采集,实现法制办业务采集需求,并通过舆情厂商数据中心和微博数据服务商的内容推送,实现对采集源数据的补充。
1.3.2 舆情分析服务
按照法制办职能业务(政法国防、社会管理、财政金融法、工交商事、农林城建资源环保),重大主题事件,涉及法制办内部人员、部门信息等不同的业务分析知识库的要求,通过智能分析工具的处理和舆情专业人员的分析,实现对舆情涉敏信息、负面信息、热点信息、传播追踪、主题专题、分类信息的舆情分析工作。舆情的服务通过舆情本身应用门户和与其他应用的集成两种方式体现。
1.3.3 舆情预警推送
在舆情分析基础上,根据预设的条件,系统提供多种形式的舆情预警推送,以通知相关人员进行快速响应和处置。
1.3.4 舆情分类、专题、简报
按照不同业务职能单元进行舆情分类,生成分类舆情报告。
对重点关注的主题事件实现定性定量的分析统计追踪报告。
提供常规舆情简报工具及自动化流程,形成舆情分析专报简报。
1.3.5 外网采集信息导入
外网采集信息统一进内网进行分析、汇总和研判。
1.3.6 历史信息归档
对不同业务单元的历史舆情成果库,需要归档保存和查询。
1.3.7 应用集成
实现与内部应用系统的接口和集成,以实现舆情系统与其他应用的数据对接和服务要求。
1.4 监测目标
本系统监测目标是整合互联网信息渠道,形成系统、有效的舆情监测机制。实现对互联网信息进行实时数据采集、全网监测、分析、检索,对敏感信息进行预警,防止负面信息传播,对重大事件做出最及时的反应和相应处理建议。并对近一段时期的热点问题、敏感词句进行搜索,从而掌握网络舆情,辅助领导决策服务。
n 主要的门户网站,主要的报纸、电台、主要的大型网络论坛、社区、贴吧、博客、微博。例如新浪新闻、各大报纸的电子报、天涯论坛、新浪微博、百度贴吧等。
n 各类与法制办相关的以及区域内有影响力的网站。
n 百度、谷歌、360搜索等搜索引擎。
n 论坛搜索,博客搜索、微博搜索等专业搜索引擎。
n 重点网站提供的站内搜索等。
1.5 监测方向
n 法制办相关舆情监测
n 法制办负面信息预警
n 法制办领导信息监测
n 针对法制办关注的重点事件主题舆情监测
n 涉及法制办各个业务职能司相关舆情信息监测
n 政策法规及社会反馈舆情监测
n 实时性突发事件进行专题统计,深度追踪
n 分类舆情监测
n 法制办形象监测
n 自行设定的其他关注舆情
1.6 方案特点
一、 本地化部署,保证信息安全。
舆情监测系统本身具有专业性强、敏感度高的特点。本地化部署指的是舆情监测系统和服务是专门针对法制办进行定制,并且只服务于法制办特定的使用对象。监测范围和使用方式完全由法制办掌控。政府部门多采取这种部署方式,除了能够保证项目的运行效果之外,还能防止敏感信息,负面信息更大范围的传播。
二、 一体化解决方案,降低实施和维护成本。
提供软硬件一体化实施维护方案,法制办只需要指派专人负责利用舆情监测系统进行日常监测工作即可,其余服务器维修、操作系统维护、项目实施、上线以后的运行维护和辅助人工监测全部由厂商提供。
三、 注重服务,保证项目建设效果。
舆情监测系统的应用效果,很大程度上取决于上线以后的长期的运行维护力度。北京西盈信息技术有限公司会基于舆情云数据中心和运维中心提供全方位的运维保障,同时提供在线更新和备份,在特殊情况下,也能做到不间断系统的使用。北京西盈信息技术有限公司针对每个项目都配备了专门的舆情分析师,辅助监测、辅助报告、辅助干预处理。
四、 合理投入、节约成本。
西盈网络舆情监测系统产品在技术上的先进性,大大降低了对于网络和硬件资源的要求。独有的管线架构设计和分析模型,使得项目中不需要引入特别的存储设备;雷达软件异步队列调度和deflate压缩下载技术,使得项目部署在法制办现有的网络环境中,也不会对网络造成压力和冲击。有效的防屏蔽策略,使得不需要单独引入ADSL人为控制就可以不间断地采集信息。提供自有短信平台,使得不需要再购置任何的短信设备,就可以通过手机短信第一时间获取舆情信息。西盈舆情云数据中心的接入和雷达软件多实例部署方式,保证了舆情监测的效果更全面、更及时,同时大大节约了在项目中的硬件投入,降低了使用维护成本。
五、 方案的可行性。
项目的建设方案要经过大量成功案例的实践检验,在本项目中,可以借鉴和利用这些资源,为我所用,并突破创新。
第2章 总体设计
2.1 设计思路和工作流程
现阶段,“及时发现”是舆情监测系统的核心功能,“实用效果”是舆情监测系统的灵魂。不抓住这一点,也就失去了舆情监测在现阶段存在的意义和作用。结合项目的建设目标与设计原则,以云计算平台为基础的大数据采集挖掘和分析为核心的新的技术理念,采用集群模式构建舆情监测系统,系统的设计路是:按照舆情的传播规律构建监测体系、立体监控、实时追踪、准确分析、辅助舆情工作。真正起到舆情监测的作用,提高舆情应对和管理的质量和效率,为舆情管理和领导决策服务。
在信息采集方面,选用西盈雷达采集软件完成有影响力的境内外网站、论坛及相关跟贴、博客站点、微博信息的采集,结合西盈数据中心推送数据,完成更大范围的数据补充。
在功能满足上,根据法制办的业务发展需要,在实现现有工作平台的功能上,进行个性化定制开发。系统具有良好的可扩展性,采用集群架构设计,可以实现数据采集、数据分析、数据存储的集群式管理。提供完善的二次开发接口。
图:系统的工作流程
法制办网络舆情监测系统的主要工作流程是:
(1)网络信息采集系统从互联网上采集新闻、论坛、博客、微博等舆情信息,存储到舆情数据库中。
(2)通过物理隔离的网闸设备和外网采集系统导入管理系统实时同步到内网中。
(3)舆情分析引擎负责对舆情数据库进行清洗、分析研判和加工。舆情分析引擎依赖于智能分析技术和舆情知识工程。
(4)按照不同的业务需求,通过舆情搜索引擎对海量的舆情数据进行实时索引和存储。
(5)对历史数据同步进行归档。
(6)舆情服务门户把舆情数据库中经过舆情分析引擎处理之后的舆情数据以门户的方式服务用户,提供“与我相关”舆情信息的及时预警和推送、统计分析、自动生成报告、舆情导控等功能,全面满足用户在日常舆情管理工作中遇到的舆情监测、舆情分析、舆情工作等需求。
(7)提供数据接口供其他业务系统使用。
2.2 设计原则
法制办网络舆情监测系统建设应满足以下几个方面原则:
(1)技术前瞻性原则
舆情监测系统是一项投资较大的信息化系统工程,在系统设计上应具有较高的技术先进性和功能完善性,要选择国内外先进的信息技术手段,要考虑主流技术的发展趋势,确保系统能适应信息技术的迅速发展,更好地解决今后系统升级等问题。
(2)功能实用性原则
在项目建设过程中,要最大限度地满足舆情信息管理的需要,坚持实用性原则, 工作成果要深入到基层,结合工作的实际需求,解决舆情监测工作面临的具体难题,要考虑应用系统操作界面的友好、易于使用、快速响应、便于维护。建立具有优化的系统结构和完善的数据库系统,数据更新要求便捷、快速。
(3)资源共享整合原则
舆情监测系统建设在实用的基础上要注重实现资源共享整合,因此在系统软硬件配置、系统开发和数据库设计上充分考虑在全部功能基础上,通过资源共享整合实现节约投入成本的目标。
(4)可扩展原则
舆情监测系统应能够具有纵向和横向的扩展能力,充分考虑未来业务扩展和数据扩大的需求,在今后系统扩展时,有效地保护已有的投资。在应用需求变化时,能方便地调整。易于扩充升级,既满足当前的业务需求,又为今后的扩充留有空间。提供扩展接口(比如程序开发接口),用户可自行进行功能扩展。
(5)系统安全性原则
建立完善的系统运行安全体系是一项十分重要的工作任务。通过应用多项现代信息安全技术和安全保障体系,保证舆情分析系统的网络安全、应用系统安全和数据安全。系统在建设过程中遵循下述两点基本原则:数据不被截获和篡改。系统安全性首要的是数据的安全性,系统必须具备足够的安全权限,保证数据不被非法访问、窃取和破坏。系统操作的安全可靠,系统同时应该具备安全权限,不让非法用户操作系统;同时要具各足够容错能力, 以保证合法用户操作时不至于引起系统出错,充分保证系统数据的逻辑准确性。
(6)易操作和易维护原则
系统在设计过程中要考虑到用户操作层面的易操作和易维护。要提供良好的用户界面和在线帮助功能,降低系统操作的复杂性。同时系统应具有良好的可维护性,系统维护、数据维护、网络维护要做到既安全又便捷。
(7)高可靠性原则
由于系统将成为网络监管的主站武器,必须具备全天候有保障的持续作战能力,因此,系统必须保证可靠性和安全性。系统设计中,应有适量冗余及其他保护措施,平台和应用软件应具有容错性、健壮性等。有效保证系统7*24不间断的运行。系统必须具备较强的灾难处理能力,包括数据级备份与灾难性恢复,能够做到系统的高可靠保障。
2.3 硬件网络拓扑设计
通过对法制办舆情监测系统项目需求的分析和理解,针对有影响力的境内外网站、论坛及相关跟贴、博客站点、微博的采集的需求,以及舆情信息内网存储、分类保存的需求,提出如下硬件部署方案,构建基础硬件平台。下图为建议部署结构图:
图:系统硬件网络拓扑图
2.3.1 外网
部署5台舆情采集服务器,分别负责业务职能单元信息、领导信息、部门信息、元搜索信息和专题信息的采集。以上采集任务,按照新闻、论坛、贴吧、微博、电子报、综合等媒体类型进行分布式部署。
外网接入西盈云数据中心推送,负责重点网站新闻、论坛的采集,负责微博采集信息的接入。
通过这种分布式部署,保证各系统间的稳定性,提供各系统间工作效率。
2.3.2 境外专网
部署1台境外服务器,负责境外信息的采集,通过租用境外云服务器的方式实现。
2.3.3 内网
部署1台数据交换、舆情分析服务器,负责外网数据进入内网后的数据交换和职能业务单元和领导信息、部门信息和专题主题事件的文本分析、数据挖掘和预警分析。
部署1台数据库、全文检索服务器负责数据的存储和全文检索工作。
部署1台应用服务器负责舆情应用的发布。
部署1台数据库、全文检索、归档备份服务器。
2.4 总体功能设计
根据对法制办舆情监测系统项目需求的理解,提出如下软件总体功能设计构建法制办舆情监测系统软件平台,下图为系统总体功能设计图。
图:总体功能设计图
2.4.1 信息采集子系统
采集系统功能主要实现对互联网信息进行实时采集,互联网的搜索采集的全面性、准确性尤为重要,近年来互联网搜索技术已经得到较大发展,为信息的采集提供了成熟的技术手段。主要包括:通过内嵌Javascript 脚本执行引擎支持网页结构自动分析,和基于模板的元数据解析。
2.4.2 云数据中心推送平台
利用舆情厂商自建的舆情云数据中心,扩充了法制办舆情监测信息的监测范围,保证了舆情监测的效果更全面、更及时,同时大大节约了在项目中的软硬件投入,降低了使用维护成本。
2.4.3 数据同步系统
利用网闸安全隔离设备和数据管理同步控制平台,实现在确保网络隔离的前提下进行外网采集数据到内网的数据同步。管理控制台是用户与安全隔离设备进行交互的接口,用户可通过管理控制台完成对安全隔离设备的各种管理工作。
2.4.4 舆情分析系统
通过自动分词、自动聚类、自动分类/规则分类/混合分类、文本相似性检索(自动排重)、自动摘要+主题词标引(自由词+行业主题词)、常识校对、信息过滤、拼音、同音检索、相关短语检索、自然语言检索等文本挖掘技术,对采集数据进行研判,并结合全文检索技术实现结构化与非结构化的数据管理,支持结构化和非结构化数据的混合检索。
2.4.5 舆情服务平台
舆情服务平台把舆情数据库中经过舆情分析引擎处理之后的舆情数据以门户的方式服务用户,提供“与我相关”舆情信息的及时预警和推送、统计分析、自动生成报告、舆情导控等功能,全面满足用户在日常舆情管理工作中遇到的舆情监测、舆情分析、舆情工作等需求。舆情服务平台法制办舆情监测系统信息监测服务的主体,系统通过基础平台进行基础配置和管理。
2.4.6 历史信息归档系统
对不同时期产品的职能业务单元历史信息和重大主题专题事件信息,进行归档,并通过舆情服务平台可进行查询和检索。
2.4.7 应用系统接口平台
考虑到和其他信息系统的连接,系统具有良好的外接接口,将来随着业务的不断扩充,整个系统中应能够方便地添加新的业务模块,也是可扩充性的一个重要特征。利用开放标准的应用开发接口可以进行更加个性化的二次应用开发。底层数据完全支持XML和Web Service技术,可以实现不同系统间数据的交互。
2.5 总体架构设计
根据法制办舆情分析系统的建设要求,为完成系统建设目标,设计如下的系统功能架构:
图:总体架构设计图
如上图所示,项目中设计的舆情系统自下而上可分为IT基础设施层、信息采集层、数据存储层、智能分析层、应用层、用户层六大功能层,并且充分考虑系统安全保障,遵循标准化技术规范,实现舆情监测的各项建设目标。
2.5.1 用户层
用户层包括舆情平台系统的主要使用人员,用户主要包括:舆情管理员和舆情分析员,是本项目的使用主体,可对关注领域进行定向关注;管理员用户主要通过授权机制进行用户授权,并通过授权实现“未授权不可见”的管理思路。
2.5.2 应用层
应用层是本项目的核心部分,是法制办舆情监测系统信息监测服务的主体。系统通过基础平台进行基础配置和管理,包括用户管理、用户授权、个性化设置、基于短信、邮件等形式的通信和预警等。
从应用层整体来讲,考虑到法制办舆情分析系统的整体布局,应用层提供了完整的对外接口,它包括数据接口、界面接口等,应用层数据输入输出遵循XML标准,可以与其他系统的数据进行交换。同时支持多级数据推送机制,可以进行基于信息、Word文档以及其它形式的舆情成果交换,实现在平台架构下的信息充分互通共享。
应用层界面基于AJAX技术构建,针对不同用户可搭建不同门户,可以个性化管理,各个角色用户进入系统后,只能查看相应角色信息,对于不同层级、不同角色的用户,应用层能够提供相应的界面和服务。
该模块在完成数据采集、分析的基础上,对新闻、论坛、博客、微博等不同舆情信息进行展现、分析、统计,是实现舆情监测功能的主体平台,也是实现“发现传播源头,追踪传播内容,监控传播主体”的主要模块。主要达到如下效果:
1) 代替人工搜集
把舆情搜集工作从繁重枯燥的人工劳动中解脱出来,不用再一个网站一个网站地去看,一个帖子一个帖子地甄别,一个关键词一个关键词地去搜索。发生舆情主动告知,而不是被动地到处去找,工作导航引导完成日常舆情监测。
2) 重要信息及时预警
一旦发现重要信息,敏感信息,系统会以多种方式及时预警,支持手机客户端APP访问、支持短消息提醒功能,弹出窗口提醒、站内消息提醒、声音提醒、邮件和手机短信、工作流提醒等方式提醒。
3) 全面覆盖
全面监控新闻、论坛、贴吧、博客、微博、社区等网络媒体。博客对事件描述最真实、生动,对事件的反思和讨论也最深刻。微博传播速度最快,不是热点则难持久。现阶段,舆情监测的重点对象是论坛和贴吧,上论坛发帖已经成为了成本最低,最为便捷的舆论诉求方式。重大舆情一般通过微博、论坛发酵以后,容易被新闻网站所转载。网络舆情监测系统可以全面地对这些舆情信息进行立体监测。舆情信息“一网打尽”。
4) 实时监测
实时对网络上的舆情信息进行监测,新发生的舆情信息,自动聚焦热点信息,或者已有舆情产生了新的转载,新的跟帖等变化,都会在第一时间采集过来,反映在系统当中,并及时通知舆情工作人员。
5) 辅助舆情分析
舆情分析系统收录了舆情信息在网络上传播的所有可能的统计因子,包括舆情信息的转载数、舆情信息所在的网站的影响力、舆情信息的传播路径、舆情信息的点击数和回帖数、舆情信息的倾向性、舆情信息的更新时间等等。基于这些计算因子,借助系统分析模型,可以研判出舆情信息的热度、重要程度和发展趋势,助力舆情分析。
6) 舆情应对导控
系统会自动跟踪重点舆情在网络上的发展变化,通过网页探针技术自动探测网页是否存在,舆情信息被引导的效果以及转载情况。舆情处置提高了舆情处理的协同性和依据性。
7) 方便舆情工作
网络舆情监测系统在进行全面、及时的舆情监测和准确舆情分析的基础上,自动生成舆情报告,舆情管理得心应手。舆情处置促进了舆情工作中的协同和共享。
8) 节省人力
展开阅读全文