大数据平台项目论证方案.doc

大数据平台及应用建设项目项目名称大数据平台及应用建设项目项目实施必要性分析目前我校学校目前数据主要存在各个业务系统，数据标准不统一,信息孤岛现象严重,缺乏有效的数据交换共享方式，需要进行数据治理，建立全校统一数据标准,加快数据共享交换效率；缺乏对全量数据的采集、管理、运维的大数据管理平台；;同时学校原有业务系统办公程序繁琐，比如:管理者了解一个学生在校行为情况需要登录各个不同的业务系统来查看学生信息；管理者对于教师科研、基本信息、在校行为等信息缺乏一个直观明了的了解方式，业务系统日常工作产生大量离线表格数据，缺乏有效的上传手段。因此，通过大数据平台及分析应用的建设帮助我校解决上述问题本次建设内容:1. 数据治理：建立全校统一数据标准，加快校园信息化建设；2. 大数据平台:建立全量数据采集、管理、运维的大数据管理平台，包括对数据的字段级管理、数据封装成为API接口、发布提供第三方产商进行开发使用等运维功能；3. 离线表格采集工具：实现离线表格在线编辑实时保存数据库功能,包括新建数据表格、表格结构修改、权限管控、数据批量上传下载、单条件搜索、多条件搜索等功能；4. 学生画像：打通学校学工系统、教务系统、图书馆管理系统、公寓门禁系统、一卡通消费系统、上网管理系统的数据，整合呈现学生在校多方面数据。包括：学生基本信息、奖惩情况、校内轨迹、图书借阅、选课成绩、检索条件自定义选择、完善的角色权限控制等功能；5. 教师画像：全面展示教师基本信息、学历单位、工作经历、党政职务、专业技术职务、一卡通消费、工资变化、教学信息、评教信息、科研信息等；项目实施可行性分析1、可参考的行业经验目前,国内部分走在前列的学校在对大数据分析系统已经走出了探索的步伐，并取得了一定的积极成果。试将其中的一些典型代表举例如下：l *大学大学早在2016年2017年在学校内部已经部署大数据平台，实现统一数据管理的功能，以将数据封装成为API接口的方式提供给第三方厂商使用,成为了应用开发中校方占据主导地位,开发API总量185个,总调用次数近万次.*大学部署学生画像系统，每个管理者对于学生信息的查询不再需要登录多个业务系统，同时直观的呈现学生在校行为轨迹信息，帮助管理者更加方便的了解学生.l 大学*大学于2017年开始进行全校数据治理,由校长牵头，实现一把手工程，全校高度重视数据治理过程，目前已经接近尾声,全校建立统一数据标准，校园内部数据交换共享效率获得极大提升，信息化建设也获得教育部高度赞扬许可。l *大学大学于2017年开始建设教师画像系统，业已建设完成,通过教师画像,校方可以明确了解每个教师的基本信息、学历信息、工作经历、党政职务、消费、薪资、教学、评教、科研等详细情况,减省了大量的查询工作,有效的实现将数据可视化转变为校方提供服务.2、技术可行性大数据分析的相关技术发展已经成熟，主要的相关技术有:传统数据库技术,例如Oracle、MsSQl等，我校已经使用多年，并在数字化校园、一卡通项目中广泛采用,相关人才丰富。大数据专用处理技术,主要包括Hadoop软件体系.其中，Hadoop软件体系的各个功能组件如HDFS、MapReduce、Hive、HBase、Spark、Mahout、MLlib、Graphx、Stome、Flume、Kafka、Yarn、Zookeepker都已经非常成熟，有大量的商业公司利用上述技术开发了丰富的产品和应用软件,在各行各业发挥作用。数据挖掘分析的开发工具也已经成熟，相关软件丰富,包括Python、R、SAS、Matlab、Java等。有大量的商业公司利用上述技术开发了丰富的产品和应用软件，在各行各业发挥作用。在数据实体的组织、处理方面,我校在之前的数字化校园建设过程中已经积累了大量的实践经验，并形成了部分可以继承的成果，教育部也于2012年推出了具体的信息标准内容.在商业领域,数据仓库技术、联机数据分析处理(OLAP）、商业智能工具(BI）、辅助决策系统已经经过多年发展走向成熟。因此，本项目所需的各种技术要件均已经具备,市场上也有大量的有实力、有经验的公司开展相关的业务服务,有很多案例和成果可供借鉴，因此本项目的技术可行性有充分保障。3、项目预算的合理性及可靠性分析本项目的预算依据来源于项目的建设内容。大数据平台及应用建设符合学校总体布局。项目预算已经专家们反复论证，充分考虑了学校的用户规模、系统组成、平台性能、产品市场报价等诸多因素。项目建成后将极大地提升学校信息化服务水平，其实用价值和社会效益十分明显。我们认为本项目符合国家有关政策和技术标准，并结合了我校实际,采用技术先进实用，有成熟专用市场产品，安全性和可靠性有良好保障,建设方案明确可行；经济上预算有据，社会效益和管理服务效果明显，项目建设总体上是完全可行的。项目实施条件建设本项目具备的基本条件:(根据各学校情况填写，最好由学校自己填)1. 组织保障本项目的建设内容是学校“十三五”发展规划中规定的重点建设工程之一.学校网络中心将全面指导项目工作。由网络中心牵头,相关单位配合，组成了工作组，将数据存储、管理、运维等纳入了工作考核指标，完成本项目具有组织保障。2. 资金条件我们对大数据平台建设技术方案已开展前期预研究。现申请的国家财政专项资金，如果能及时足额到位,将为本项目的成功实施提供资金保障。3. 人员条件学校网络信息中心拥有多名长期从事信息化建设和维护专业技术人员，对信息系统、数据中心、数据交换、数据挖掘等有较深入的研究和实际工作经验，他们为本项目的实施提供了有力的保证.项目负责人工作组先后成功承担过学校、校园网扩建工程、数据中心等大型信息化项目建设,具有丰富的项目建设和管理经验。4。 IT设施条件学校经过近十多年的信息化建设,已具备了完成本项目的网络设施条件、应用系统条件和数据环境条件.项目所需的外部环境支持包括网络通讯环境、信息安全保障和IT基础设施环境保障(包括供电、制冷、物理空间）。这些条件目前我校已经具备,可以支持项目的运行.项目实施主要内容及相关预算一、 统一数据管理平台建设需要建设一个承载数据仓库的数据管理平台，对全校数据进行汇总和统一管理.数据管理平台具备对各种业务类结构化数据、日志类非结构化数据的统一存储、计算和管理能力,可屏蔽数据的各种底层细节和差异,以标准API接口的方式向应用层软件提供数据供应、数据计算服务。同时，该平台还需要对数据进行隐私安全和调用权限的控制,确保应用程序只有获得授权才能访问数据集和数据字段,对身份证号、银行卡号等敏感隐私信息自动屏蔽，防止数据被恶意利用和个人隐私泄露.统一数据管理平台需要具备大数据基础架构（例如采用Hadoop架构)，提供API接口功能，解决多源异构数据的存储和计算问题，解决了开发者利用大数据平台安全便捷开发的问题，为学校多源异构的全量数据提供数据存储和计算中心。二、 数据治理工程和主题数据集市建设。目前我校的数字化校园工程由于开发厂商不同、执行标准不同,导致“数据孤岛现象比较严重，数据难以汇总和整合分析.为此，计划在已制定较完善的数据标准的基础上，开展系统性的数据治理工程，将原始数据可能存在的不完整数据、错误数据和重复数据，根据数据质量评价体系和数据清洗操作，将不合规数据处理转化成满足数据质量要求的数据，形成规范的主题数据集市，形成完整的数据仓库体系，用于支持数据分析挖掘和辅助决策支持类的应用。数据治理工程包括的工作内容有：【1】数据标准建设结合国家标准和教育部标准,针对我校实际情况,建立符合我校内部的数据标准。数据标准包括基础类数据标准（分为行业参考模型实体标准和公共代码标准）和指标类数据标准（包括基础指标标准和计算指标标准）.基础类数据标准基础类数据标准是通过各种业务处理产生或各类渠道采集的基础性数据，在全校范围内必须是唯一定义的，如“用户编号”、“所在部门.基础类数据标准分为行业参考模型实体标准和公共代码标准.行业参考模型实体标准指按照教育部提供的2012年标准规范要求，继承以往数据逻辑模型实体规范,将各域的逻辑模型实体定义抽象为模型实体标准要求。指标类数据标准指标类数据标准是数据基础上按照一定业务规则加工汇总的数据，主要是中间数据，如GPA数据。指标类数据又可分为基础指标和计算指标。基础指标一般不含维度信息，且具有特定业务和经济含义。计算指标通常由两个以上基础指标计算出。【2】数据治理清洗将原始数据可能存在的不完整数据、错误数据和重复数据，根据数据质量评价体系和数据清洗操作,将不合规数据处理转化成满足数据质量要求的数据,治理完成后的数据集应该符合以下特性：l 各项数据基本正确、完整l 同一数据只有唯一来源l 单一字段中不存在多种信息l 同一字段内的数据格式统一l 相同对象的名称表达一致l 代码引用、缩写词、惯用语的表达一致l 值与字段名含义匹配l 同类数据的计量单位统一【3】构建数据管理体系管理体系包括：l 数据管理知识库（包括：数据资产目录、元数据库、数据血缘关系、数据交换路由、数据质量规则库）l 数据仓库（包含学生、教务、人事等主题数据集）l 管理规范体系（包括数据标准管理、权威数据责任管理、数据质量管理、数据安全管理、数据共享交换管理等)三、 离线表格采集工具通过离线表格采集工具，实现Excel数据在线编辑,实时同步数据库。将离线表格数据导入大数据平台，实现数据统一管理;四、 学生画像对接学校统一身份认证系统,实时同步业务系统数据，展示学生基本信息、奖惩信息、在校行为轨迹、网络使用分析、图书借阅情况、选课与成绩数据等.帮助管理者多维度、快速的了解学生在校情况。五、 教师画像全面展示教师基本信息、学历单位、工作经历、党政职务、专业技术职务、一卡通消费、工资变化、教学信息、评教信息、科研信息等;帮助管理者快速全面的了解教师情况。项目进度与计划安排本项目实施期限为20*年月至20*年*月项目风险与不确定性分析本项目主要是对购置成熟软件平台，开发实用信息服务系统，所采用的技术成熟稳定，项目实施方案、软件部署和运行管理措施完善；有国家财政拨款，有分工明确、授权充分的组织保障体系，除特殊不可抗拒因素外，完成该项目没有不可控的风险和不确定性因素.当然，由于信息技术和应用的迅猛发展，数据关注点和信息系统需求的不断变化，在实现设计功能和产品型号方面可能出现微小变动，特别是大数据服务内容随学校的实际需要而变化，需要通过加强组织管理等手段进行科学规划.我们将努力把各项工作做细、做好,加强资金管理,做好防范预案，凭借在我校之前在信息化建设方面积累的大量经验，以及借鉴行业类似学校的成功经验，将项目风险降低到最低程度，保证完成既定项目建设任务.预期经济社会效益大数据应用平台及大数据应用系统是继学校数字化校园、智慧校园后建设的又一大型战略级信息化建设工程，它将在数字化校园建设、信息化基础架构建设成果的基础上，以数据的综合利用开发为出发点，以大数据相关技术为手段，以数据标准化和数据整合为前提，为我校的校园公共安全管理提供精准、有效的管理手段,为各部门科学管理、高效服务提供全面准确的数据,为将来可能建设的一站式综合服务提供数据支持,为师生的事务办理、业务查询提供业务支持。因此，本项目的建设是提升学校总体办学水平的重要举措。项目实施后将极大地促进我校教学、管理和服务工作，取得明显的社会效益和间接的经济效益.