数据处理平台技术方案.docx

数据解决平台
技术方案
2023年06月
1.
项目说明
2.
1.1
1.2
2.1
背景
术语定义及说明
建设目的和原则
建设目的
建设和完善数据解决流程
建设和完善管理平台
建立良好的容错机制
2.2设计原则
可靠性
易用性
扩展性
3. 功能需求
3.1 需求概述
3.2功能模块

数据收集

数据清洗

数据存储

对外输出
目录
错误】未定义书.签。
.错误.!未定义书签.
.错误.!未定义书签.
错误.未定义书签。
.错误.!未定义书签.
错误!未定义.书.签。
错误!未定义.书.签。
错误!未定义.书.签。
错误.!未定义书签.
错误!未定义.书.签。
错误!未定义.书.签。
错误!未定义.书.签。
错误】未定义书.签。
错误.!未定义书签.
错误.!未定义书签.
错误!未定义.书.签。
错误!未定义.书.签。
错误!未定义.书.签。
错误!未定义.书.签。

流程监控
错误!未定义.书.签。
管理平台
错误!未定义.书.签。
3.3其他需求
.错误.!未定义书签.

性能需求
错.误!未定义书.签。

可靠性规定
错误!未定义.书.签。

进度计划
错误!未定义.书.签。

故障解决规定
错误!未定义.书.签。
4. 方案总体设计
错误未定.义.书签。
4.1 技术路线选择
错误.!未定义书签。
4.2 总体架构
错误.!未定义书签.
架构介绍
错误!未定义书.签。
数据解决流程
错误!未定义书.签。
5. 安全设计
错误】未定义书.签。
5.1数据的备份和恢复系统
错误.!未定义书签。
5.2 管理层安全
错误.!未定义书签。

1. 项目说明
1.1背景
因项目数据拆分，***将要创建一套完备的数据管理体系，替换原有的数据解决方式。为用户提供更高效、便捷的服务。
1.2 术语定义及说明
名称
解释
数据格式
对原始数据文献中数据格式的定义，比如json数组等
数据类型
原始数据的类型，比如实况、指数等
文献类型
原始数据的文献类型，比如.dat.tx：文献

2. 建设目的和原则
2. 1 建设目的
建设和完善数据解决流程
基于原有的解决流程，采用新技术架构，重构现有解决平台，彻底解决现有平台的问题。
建设和完善管理平台
建设和完善管理平台，可认为运维人员提供更好的维护管理的工具，并且可以让管理员可以根据多种数据的不同规定设立出适应数据的解决规则。
建立良好的容错机制
建立良好的容错机制，设立更优的数据解决规则，为数据解决提供优质服务。
2.2 设计原则
可靠性
随着系统的建成，必然各平台之间的信息传递对系统的依赖限度将变得很高，系统失效所导致的影响也就越大。因此，系统的设计必须，从系统结构、技术措施、设备选型以及厂商的技术服务和维修响应能力等方面综合考虑，以保证系统运营的可靠性和稳定性。
易用性
我们系统设计必须考虑到使用者和以后的维护的方便容易。所以，在系统的设计中规定系统架构易于理解，系统管理方便简洁，系统维护自动容易。
扩展性
平台的建设是一项长期的工程，要充足考虑其将来潜在的需求。科学的设计思想应着眼于目前的应用系统及现有的技术，并考虑以最小的代价来适应网络技术不断的发展，使现有系统可以与需求同步增长，使系统在元数据不断增长的基础上，维护者可以很方便的扩充平台功能。
3. 功能需求
3. 1需求概述
实现对不同来源的多种数据类型文献进行收集、存储、到最终业务的统一解决，实
现数据实时对接，并具有扩展性。
1）数据收集：
2）数据整理：
3）数据存储：
4）业务接：
5）监控：
3. 2功能模块
3.2. 1数据收集
数据清洗
3.2. 3数据存储
经估算，天天的数据约有9-10G,在如此数据量的情况下，要对数据进行存储，同时应用缓存,提高输出效率。
对外输出
为保证原有外部用户正常使用，数据输出与原有输出保持一致。
流程监控
针对整个流程进行数据监控监控原始数据站点缺失、监控非法数据。以便反馈给原始数据提供方，后期优化。
管理平台
管理平台需要有如下功能：
3.3其他需求
性能需求
可靠性规定
进度计划
待定
故障解决规定
软件故障：如操作系统死机、崩溃、数据库管理系统过载或其他因素崩溃，通过自动或手动重新启动系统解决，如重新启动不能解决问题，可以切换至备用服务器；
硬件故障：如硬盘故障，采用措施是定期进行数据库备份，一旦出现硬件故障，
可以使用备份文献恢复数据库。
4. 方案总体设计
4. 1 技术路线选择
4.2总体架构
架构介绍
数据解决流程
5. 安全设计
5.1数据的备份和恢复系统
在安全建设中必不可少的一个环节就是数据的常规备份和历史保存。一般在生产本地的备份目的重要有两个：一是生产系统的业务数据由于系统或人为误操作导致损坏或丢失后，可及时在生产本地实现数据的恢复；另一个目的是在发生地区性劫难（地震、火灾、机器毁坏等）时，可及时在本地或异地实现数据及整个系统的劫难恢复。
5.2 管理层安全
网络安全架构的最高层就是管理平台内部网进行操作、维护和到使用的内部人员进行管理。对人员的管理和安全制度的制订是否有效，直接影响这一层的安全问题。
制定用户权限划分级别，不同权限人员，分管权限内的功能等