收藏 分销(赏)

大数据平台概要设计项目新版说明书.docx

上传人:精**** 文档编号:2657331 上传时间:2024-06-03 格式:DOCX 页数:33 大小:482.01KB
下载 相关 举报
大数据平台概要设计项目新版说明书.docx_第1页
第1页 / 共33页
大数据平台概要设计项目新版说明书.docx_第2页
第2页 / 共33页
大数据平台概要设计项目新版说明书.docx_第3页
第3页 / 共33页
大数据平台概要设计项目新版说明书.docx_第4页
第4页 / 共33页
大数据平台概要设计项目新版说明书.docx_第5页
第5页 / 共33页
点击查看更多>>
资源描述

1、计算平台概要设计说明书文件编号受控编号版次1.0密级内部公开总页数42附录 作者: 日期: -01-28同意: 日期: 审核: 日期: (版权全部,翻版必究)文件修改统计修改日期修改状态修改页码及条款修改人审核人同意人目 录1.引言51.1编写目标51.2术语和缩略词61.3对象及范围81.4参考资料92.系统总体设计92.1需求要求92.1.1数据导入92.1.2数据运算92.1.3运算结果导出102.1.4系统监控102.1.5调度功效112.1.6自动化安装布署和维护112.2运行环境122.3基础设计思绪和处理步骤132.4系统结构142.4.1大数据运算系统架构图142.4.2had

2、oop体系各组件之间关系图142.4.3计算平台系统功效图152.4.4系统功效图逻辑说明162.4.5计算平台业务步骤图162.5还未处理问题173.模块/功效设计173.1计算驱动模块173.1.1设计思绪173.1.2步骤图193.1.3处理逻辑203.2调度模块203.2.1设计思绪203.2.2步骤图223.2.3处理逻辑233.3自动化安装布署模块233.3.1设计思绪233.3.2处理逻辑233.4调度模块和计算驱动模块交互步骤243.4.1处理步骤图243.4.2处理逻辑243.4.3hadoop驱动模块调用驱动接口253.4.4调度模块接收hadoop实施状态接口253.5调

3、度模块和kettle交互步骤263.5.1处理步骤图263.5.2处理逻辑273.6对调度任务运行过程进行监控步骤273.6.1处理步骤图273.6.2处理逻辑273.7对hadoop驱动任务运行过程进行监控步骤283.7.1处理步骤图283.7.2处理逻辑283.8对操作系统/应用程序监控步骤293.8.1处理步骤图293.8.2处理逻辑293.9监控报警模块303.9.1设计思绪303.9.2步骤图313.9.3处理逻辑314.系统数据结构设计324.1数据实体关系图324.2数据逻辑结构324.2.1驱动任务设置表324.2.2驱动设置表334.2.3驱动任务实施明细表344.2.4调度

4、任务表344.2.5调度步骤表354.2.6调度步骤实施统计表364.2.7操作系统监控数据表374.2.8应用程序监控数据表384.2.9监控系统配置表384.2.10业务数据统计表394.3数据物理结构395.安全设计396.容错设计406.1挽救方法406.2系统维护设计407.日志设计401. 引言1.1 编写目标 大数据泛指巨量数据集,因可从中挖掘出有价值信息而受到重视。华尔街日报将大数据时代、智能化生产和无线网络革命称为引领未来繁荣三大技术变革。麦肯锡企业汇报指出数据是一个生产资料,大数据是下一个创新、竞争、生产力提升前沿。世界经济论坛汇报认定大数据为新财富,价值堪比石油。所以,发

5、达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点关键抓手。 互联网尤其是移动互联网发展,加紧了信息化向社会经济各方面、大众日常生活渗透。有资料显示,1998年全球网民平均每个月使用流量是1MB(兆字节),是10MB,是100MB,是1GB(1GB等于1024MB),将是10GB。全网流量累计达成1EB(即10亿GB或1000PB)时间在是十二个月,在是30天,在是一周,而仅需一天,即一天产生信息量可刻满1.88亿张DVD光盘。中国网民数居世界之首,天天产生数据量也在世界前列。淘宝网站天天有超出数千万笔交易,单日数据产生量超出50TB(1TB等于1000GB),存放量40PB(1PB等于100

6、0TB)。baidu企业现在数据总量靠近1000PB,存放网页数量靠近1万亿页,天天大约要处理60亿次搜索请求,几十PB数据。一个8Mbps(兆比特每秒)摄像头一小时能产生3.6GB数据,一个城市若安装几十万个交通和安防摄像头,每个月产生数据量将达几十PB。医院也是数据产生集中地方。现在,一个病人CT影像数据量达几十GB,而全国每十二个月门诊人数以数十亿计,而且她们信息需要长时间保留。总而言之,大数据存在于各行各业,一个大数据时代正在到来。信息爆炸不自今日起,但多年来大家愈加感受到大数据来势迅猛。首先,网民数量不停增加,其次,以物联网和家电为代表联网设备数量增加愈加快。全球有5亿个设备联网,人

7、均0.1个;全球将有500亿个设备联网,人均70个。伴随宽带化发展,人均网络接入带宽和流量也快速提升。全球新产生数据年增40%,即信息总量每两年就能够翻倍,这一趋势还将连续。现在,单一数据集容量超出几十TB甚至数PB已不罕见,其规模大到无法在许可时间内用常规软件工具对其内容进行抓取、管理和处理。数据规模越大,处理难度也越大,但对其进行挖掘可能得到价值更大,这就是大数据热原因。鉴于越来越大数据规模,采取常规基于DBMS数据分析工具和方法已经无法满足大规模数据分析需求,现在部分大型互联网企业采取hadoop体系进行大规模数据运算,结合hadoop体系结构和实际运算需求结合,采取hadoop 体系结

8、构分布式运算模型,经过集群方法实现大数据运算,为企业提供大数据价值。 为适应大数据计算要求,同时提供大数据运算平台系统设计依据,特制订计算平台系统概要设计文档,为后期系统具体设计和实现提供依据。1.2 术语和缩略词 下列术语、定义和缩略语适适用于本标准:术语和缩略词解 释备 注NamenodeHDFS采取master/slave架构。一个HDFS集群是由一个Namenode和一定数目标Datanodes组成。Namenode是一个中心服务器,负责管理文件系统名字空间(namespace)和用户端对文件访问。Namenode实施文件系统名字空间操作,比如打开、关闭、重命名文件或目录。它也负责确定

9、数据块到具体Datanode节点映射Datanode集群中Datanode通常是一个节点一个,负责管理它所在节点上存放。HDFS暴露了文件系统名字空间,用户能够以文件形式在上面存放数据。从内部看,一个文件其实被分成一个或多个数据块,这些块存放在一组Datanode上。Datanode负责处理文件系统用户端读写请求。在Namenode统一调度下进行数据块创建、删除和复制Secondnamenode光从字面上来了解,很轻易让部分初学者先入为主认为:SecondaryNameNode(snn)就是NameNode(nn)热备进程。其实不是。snn是HDFS架构中一个组成部分,不过常常因为名字而被人误

10、解它真正用途,其实它真正用途,是用来保留namenode中对HDFS metadata信息备份,并降低namenode重启时间JobtrackerJobTracker是MapReduce框架中最关键类之一,全部job实施全部由它来调度,而且Hadoop系统中只配置一个JobTracker 应用。它们全部是由一个master服务JobTracker和多个运行于多个节点slaver服务TaskTracker两个类提供服务调度。 master负责调度job每一个子任务task运行于slave上,并监控它们,假如发觉有失败task就重新运行它,slave则负责直接实施每一个taskTaskTracke

11、rTaskTracker全部需要运行在HDFSDataNode上,而JobTracker则不需要,通常情况应该把JobTracker 布署在单独机器上HBaseHBase是一个分布式、面向列开源数据库,该技术起源于Chang et al所撰写谷歌论文“Bigtable:一个结构化数据分布式存放系统”。就像Bigtable利用了谷歌文件系统(File System)所提供分布式数据存放一样,HBase在Hadoop之上提供了类似于Bigtable能力。HBase是ApacheHadoop项目标子项目。HBase不一样于通常关系数据库,它是一个适合于非结构化数据存放数据库。另一个不一样是HBase

12、基于列而不是基于行模式。Hivehive是基于Hadoop一个数据仓库工具,能够将结构化数据文件映射为一张数据库表,并提供完整sql查询功效,能够将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,能够经过类SQL语句快速实现简单MapReduce统计,无须开发专门MapReduce应用,十分适合数据仓库统计分析。 StormStorm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。这是管理队列及工作者集群另一个方法。 Storm也可被用于“连续计算”(continuous computation),对数据流做连续查询,在计算时就将结果

13、以流形式输出给用户。它还可被用于“分布式RPC”,以并行方法运行昂贵运算。FlumeFlume是Cloudera提供一个高可用,高可靠,分布式海量日志采集、聚合和传输系统,Flume支持在日志系统中定制各类数据发送方,用于搜集数据;同时,Flume提供对数据进行简单处理,并写到多种数据接收方(可定制)能力。ETLETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)过程。是构建数据仓库关键一环,用户从数据源抽取出所需数据,经过数据清洗,最终根据预先定义好数据仓库模型,将数据加载到数据仓库中去。KettleKettle是一款国外开源ETL工具,

14、纯java编写,能够在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。MySQLMySQL是一个开放源码小型关联式数据库管理系统,开发者为瑞典MySQL AB企业。现在MySQL被广泛地应用在Internet上中小型网站中。因为其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,很多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。MongoDBMongoDB是一个介于关系数据库和非关系数据库之间产品,是非关系数据库当中功效最丰富,最像关系数据库。她支持数据结构很松散,是类似jsonbson格式,所以能够存放比较复杂数据类型。Mongo最大特点

15、是她支持查询语言很强大,其语法有点类似于面向对象查询语言,几乎能够实现类似关系数据库单表查询绝大部分功效,而且还支持对数据建立索引。1.3 对象及范围1、开发人员、DBA、测试人员;2、研发主管领导、产品人员;1.4 参考资料1、大数据处理体系架构2、HBase The Definitive Guide3、The.Definitive.Guide.3rd.Edition.May.4、Programming_Hive2. 系统总体设计2.1 需求要求2.2 运行环境操作系统:RedHad Enterprise 5.5软件环境:Java 1.6 Hadoop-1.0.4 HBase-0.94.9

16、Hive-0.10.0 sqoop-1.4.2 zookeeper-3.4.5 Kettle 4.3 MySQL 5.1硬件环境:8核16G内存PC服务器8台2.3 基础设计思绪和处理步骤1、根据数据分析实时性,分为在线数据分析和离线数据分析。 2、在线数据分析:往往要求系统在数秒内返回上亿行数据分析,从而才能达成不影响用户体验目标。 3、离线数据分析:对大多数反馈时间要求不高应用,比如离线统计分析、机器学习等,应采取离线分析方法,经过数据采集工具将日志数据导入专门分析平台进行分析。4、系统关键以离线数据分析为主,采取现在在互联网业界流行hadoop体系结构对大批量数据进行运算,采取hadoo

17、p集群方法对大数据进行运算。5、数据运算平台以调度为根本,作为运算平台关键控制系统,对运算平台各个步骤进行控制,且对运算过程中步骤依靠关系进行控制,同时对各个步骤进行监控,经过监控异常报警来提升系统稳定性和异常响应速度。2.4 系统结构2.4.1 大数据运算系统架构图日志存放统计分析数据应用Hadoop(HDFS、HBASE)在线计算: Storm 流计算框架离线计算: Hadoop(Map/Reduce、Hive、pig)日志采集 日志采集系统 Flume数据服务数据提取,报表展现,功效、网页展示 统计、分析数据存放,数据接口MongoDB、MySql2.4.2 大数据平台系统功效图系统功效

18、图逻辑说明1) 生产系统源数据经过sqoop,flume,Kettle等获取后保留在Kafka消息队列中或保留到hadoophdfs系统中。2) 调度系统负责本身控制功效,经过读取调度控制配置信息调用驱动代理程序处理相关运算功效。3) 驱动代理程序负责全部基于运算平台相关组件驱动任务,读取调度系统传输过来模版信息,读取模版信息,并实施对应驱动操作。4) 系统管理功效部分完成系统相关配置,管理等相关信息维护操作。5) 监控系统对整个系统运行情况进行监控,由各个业务子系统根据监控系统要求实现对应监控功效。2.4.3 大数据平台功效结构图大数据平台功效结构图说明:1)大数据平台功效结构关键划分为计算

19、平台,应用平台,系统管理和监控,配置等相关应用功效。2)计算平台分为基础运算部分,模版管理部分,驱动代理部分,系统调度部分。3)计算平台分为离线计算和实时计算两种形式。4)计算平台基于模版功效开发,实际应用中做到模版热插拔,对于功效需求只需要开发对应模版,并布署上计算平台即可应用。5)驱动代理程序管理全部基于大数据运算相关组件代理功效,对外提供给调度系统应用,调用模版设置对应类型,进行对应类型驱动操作。6)调度系统只关心其本身系统控制能力,不参与具体业务和计算功效组件调用。2.5 还未处理问题无3. 模块/功效设计3.1 调度模块3.1.1 设计思绪一:调度模块实现功效思绪 二:步骤说明和注意

20、事项:1、 任务和步骤采取配置表方法保留在mysql中,调度程序定时扫描任务表,判定是否有开启任务,假如有开启任务,则开启任务。2、 调度任务需要判定任务中步骤之间依靠关系,依据依靠关系判定是否能够实施下一步实施步骤。3、 一个任务中能够包含多个步骤,每个步骤为一个具体任务,步骤和步骤直接存在依靠关系。4、 对于具体实施任务将由驱动代理自动完成。3.1.2 步骤图3.1.3 处理逻辑1、调度任务开启后扫描任务配置表,看任务配置表是否存在需要处理任务信息,假如不存在需要处理任务信息,则线程实施休眠,不然实施步骤2;2、生成数据日期,并检验任务依靠关系,假如依靠关系未实施完,则现成等候操作,等候依

21、靠任务实施完成,假如依靠关系全部实施完,则获取符合条件任务,实施步骤3:3、读取任务信息表,获取任务信息,依据任务信息读取步骤信息,实施对应步骤操作,实施步骤4;4、依据步骤信息配置获取需要实施对应模版信息,调用驱动代理程序实施对应功效,实施步骤5;5、驱动代理程序实施模版初始化,初始化完成后获取对应参数数据,并依据模版类型选择具体驱动程序,实施对应操作。6、判定该任务下步骤是否实施完成,假如未实施完成,则实施步骤3,继续下一个步骤实施,不然实施步骤7;7、写步骤完成信息表,判定是否还存在要实施任务,假如没有等候,存在需要实施任务则实施步骤3.3.2 驱动代理模块3.2.1 设计思绪一:计算驱

22、动模块实现功效思绪二:步骤说明和注意事项:1、计算平台驱动提供针对Hive,MapReduce,Hbase等相关驱动应用。2、基于业务模版设置操作,调度实施业务模版,不关心模版具体业务形态。3、一个驱动应用包含四个步骤:1)删除不用数据;2)加载数据;3)运算;4)导出结果文件。4、提供监控需要对应信息。5、对于文件操作,会包含到多个文件或目录操作,多个文件或目录以逗号分隔,对文件操作中包含到部分根据小时,天,月份文件命名操作,配置中以特殊字符进行替换。3.2.2 步骤图3.2.3 处理逻辑1、由调度程序驱动代理模块,调用驱动代理模块驱动应用,传输需要驱动模版编号,处理时间范围等相关信息,实施

23、步骤2;2、驱动程序首先查询是否存在该模版,假如不存在模版,、则实施步骤3,不然实施步骤4;3、则直接返回任务失败信息,不存在相关模版,整个步骤结束;4、假如查询到相关模版信息,先实施初始化模版信息和需要删除中间文件,多个文件以逗号分割,假如为空则表示不需要清理中间文件,实施步骤5;5、清理hive表数据操作,多个hive语句以逗号分割,假如为空则表示不需要进行分割,实施步骤66、判定该操作是hive驱动mapreduce还是自定义mapreduce,假如是自定义mapreduce则走自定义mapreduce操作,实施步骤7,不然假如是hive驱动mapreduce,则走hive操作步骤,不然

24、实施步骤8;7、假如mapreduce操作步骤,第一步实施加载文本文件数据,多个文本文件以逗号进行分割,第二步实施mapreduce操作,经过shell脚本方法实施mapreduce操作,第三步实施完后将结果输出。8、假如是hive操作步骤,第一步先实施加载文本文件到hive表,假如有多个文件操作一逗号分割,第二步实施hive语句,多个hive语句以逗号分割方法,第三步将结果输出到对应hive表中。9、依据设置导出方法,将结果文件导出到mysql,或mongodb,或直接将文本文件从hdfs文件系统中导出。3.3 对操作系统/应用程序监控步骤3.3.1 处理步骤图3.3.2 处理逻辑1、读取监

25、控服务器列表,判定是否需要监控,假如需要监控,则实施步骤2,假如不需要监控,实施步骤5;2、监控模块向监控服务器发送监控请求,等到被监控服务器返回,实施步骤3;3、被监控服务器接收到请求监控信息后,将相关信息返回给监控模块,实施步骤4;4、监控服务器将返回数据进行解析后入库,实施步骤5;5、判定被监控服务器是否全部请求完成,假如请求完成,则实施步骤6,不然实施步骤1;6、监控模块线程休眠10分钟,等候下次进行监控,实施步骤1.3.4 监控报警模块3.4.1 设计思绪一:监控模块实现功效思绪 二:步骤说明和注意事项: 1、监控报警模块关键完成三个等级监控报警,分为: 1)操作系统等级,检测运行机

26、器操作系统是否正常运行,CPU,内存,I/O,存放等资源利用情况,采取LinuxShell脚本对相关信息进行搜集并上报; 2)应用程序等级监控,检测kettle,hadoop,hive,hbase,zookeeper等相关程序是否正常开启,和应用程序相关资源监控。 3)程序数据等级监控,对数据情况进行监控,关键是数据异常监控。2、监控模块关键负责监控数据采集,数据异常报警,和后期监控数据展示等功效。3、对于系统等级和应用程序等级监控数据采集采取由监控模块主动调用对应应用接口方法采集数据,对于应用数据等级监控则由各个应用将相关数据写入到数据库表,由监控系统对其进行扫描。4、监控模块报警机制支持优

27、先级报警模式,对于优先级较高,需要紧急处理报警,需要不间断进行报警,但需要设置报警频率,如10分钟反复一次。5、监控报警模式采取邮件监控方法,辅助以短信提醒方法。3.4.2 步骤图3.4.3 处理逻辑1、监控报警开启采取开启开启方法进行,当监控报警线程开启后判定是否抵达监控时间点,假如未抵达监控时间点,则线程休眠1分钟后再次进行判定,假如抵达监控时间点则实施步骤2。2、读取需要监控任务列表,得到需要监控任务,实施步骤3。3、对监控任务源数据进行扫描,判定是否存在异常,假如存在异常则保留监控异常数据,实施步骤4,不然实施步骤1。4、判定监控列表是否全部实施完,假如实施完,对于异常情况以邮件方法通

28、知相关人,不然实施步骤3。4. 系统数据结构设计4.1 数据实体关系图具体图例见附件4.2 数据逻辑结构4.2.1 调度任务表字段说明数据类型是否为空主键备注TaskId 任务ID int否是主键,自增加IDTaskName 任务名称Varchar(255)否TaskDesc 任务描述Varchar(500)是Priority优先级int是数值110值越大优先级越高,默认5 CycleType 周期类型int否0.实施一次1.分钟 2.小时 3.天 4.月Interval频次间隔Int是整数PlanRunTime预期实施时长Int是单位:分钟LastRunDate最终实施日期int否0101S

29、tatus 任务状态int否0.正常 1.暂停CreateUser创建人Varchar(255)否CreateTime创建时间date否ModifyUser修改人Varchar(255)是ModifyTime修改时间date是4.2.2 调度步骤表字段说明数据类型是否为空主键备注StepId 步骤ID int否是主键,自增加ID TaskId任务IDint否“任务表”主键StepSort实施次序int否相同则表示并行StepName步骤名称Varchar(255)否TemplateID模板IDInt否PlanRunTime预期实施时长Int是单位:分钟CreateUser创建人Varchar(

30、255)否CreateTime创建时间date否ModifyUser修改人Varchar(255)是ModifyTime修改时间date是4.2.3 调度任务依靠表字段说明数据类型是否为空主键备注TaskId任务IDint否FatherId父任务IDint否4.2.4 调度任务运行日志表字段说明数据类型是否为空主键备注SerialId 统计ID Int否是主键,自增加IDTaskDate 任务日期Int否TaskId 任务ID Int否“任务表”主键Status任务状态Int否0.初始化1实施中2.已完成 -99.实施错误RetryTimes重试次数IntBeginTime 开始实施时间Dat

31、e是EndTime 结束实施时间Date是CreateTime创建时间Date否ModifyTime修改时间Date是4.2.5 调度步骤运行日志表字段说明数据类型是否为空主键备注SerialId 统计ID Int否是主键,自增加IDTaskDate步骤日期Int否TaskId 任务ID Int否“任务表”主键StepId 步骤ID Int否“步骤表”主键StepSort步骤序号int否Status 步骤状态Int否0.初始化 1.实施中 2.已完成 -99.实施错误RetryTimes重试次数IntBeginTime 开始实施时间Date是EndTime 结束实施时间Date是CreateT

32、ime创建时间Date否ModifyTime修改时间Date是4.2.6 调度步骤运行错误日志表字段说明数据类型是否为空主键备注SerialId统计ID Int否是主键,自增加IDTaskDate任务日期Int否TaskId 任务ID Int否StepId 步骤ID Int否ErrorInfo错误信息Varchar(4000)否InsertTime统计时间Date是4.2.7 系统资源表字段说明数据类型是否为空主键备注ResourceId资源ID Int否是主键,自增加IDCpuInfoCpu信息Varchar(4000)是MemoryInfo内存信息Varchar(4000)是DiskInf

33、o硬盘信息Varchar(4000)是CreateTime统计创建时间date否CreateName统计创建人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否4.2.8 服务器机器表字段说明数据类型是否为空主键备注MachineId机型ID Int否是主键,自增加IDCpuInfoCpu信息Varchar(4000)是MemoryInfo内存信息Varchar(4000)是DiskInfo硬盘信息Varchar(4000)是CreateTime统计创建时间date否CreateName统计创建人Varchar(256)

34、否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否4.2.9 服务器信息表字段说明数据类型是否为空主键备注ServerId服务器ID Int否是主键,自增加IDServerName服务器名称Varchar(256)是ServerIp服务器IPVarchar(256)是CreateTime统计创建时间date否CreateName统计创建人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否4.2.10 系统管理信息表字段说明数据类型是否为空主键备注SystemId服务器ID

35、 Int否是主键,自增加IDMachineId机型ID Int否ResourceId资源ID Int否 ServerId服务器ID Int否CreateTime统计创建时间date否CreateName统计创建人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否4.2.11 集群信息表字段说明数据类型是否为空主键备注ClusterId集群ID Int否是主键,自增加IDClusterName集群名称 Varchar(256)是ClusterPath集群配置目录Varchar(256)是 Remark集群配置备注Varch

36、ar(256)是CreateTime统计创建时间date否CreateName统计创建人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否4.2.12 集群列表字段说明数据类型是否为空主键备注ListId集群列表ID Int否是主键,自增加IDClusterId集群ID Int否ServerId服务器ID Int否 CreateTime统计创建时间date否CreateName统计创建人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否4.2.13

37、 系统配置表字段说明数据类型是否为空主键备注ConfigId系统配置ID Int否是主键,自增加IDConfigName配置名称Varchar(256)否ConfigValue配置信息Varchar(256)否 ClusterId集群ID Int否CreateTime统计创建时间date否CreateName统计创建人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否4.2.14 Hadoop参数配置表字段说明数据类型是否为空主键备注ConfigId系统配置ID Int否是主键,自增加IDConfigName配置名称Va

38、rchar(256)否ConfigValue配置信息Varchar(256)否 ClusterId集群ID Int否CreateTime统计创建时间date否CreateName统计创建人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否4.2.15 Jar配置表字段说明数据类型是否为空主键备注ConfigId系统配置ID Int否是主键,自增加IDConfigName配置名称Varchar(256)否ConfigValue配置信息Varchar(256)否 ClusterId集群ID Int否CreateTime统计创

39、建时间date否CreateName统计创建人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否4.2.16 系统用户名表字段说明数据类型是否为空主键备注UserId用户ID Int否是主键,自增加IDUserName用户名Varchar(256)否UserPassWd用户密码Varchar(256)否 CreateTime统计创建时间date否CreateName统计创建人Varchar(256)否ModifyTime统计修改时间Date否ModifyName统计修改人Varchar(256)否4.2.17 模版信息表字段说明数据类型是否为空主键备注TemplateId模版ID Int否是主键,自增加IDTemplateName模版名称Varchar(256)否TemplateType模版类型Int否 TemplatePath模版

展开阅读全文
部分上传会员的收益排行 01、路***(¥15400+),02、曲****(¥15300+),
03、wei****016(¥13200+),04、大***流(¥12600+),
05、Fis****915(¥4200+),06、h****i(¥4100+),
07、Q**(¥3400+),08、自******点(¥2400+),
09、h*****x(¥1400+),10、c****e(¥1100+),
11、be*****ha(¥800+),12、13********8(¥800+)。
相似文档                                   自信AI助手自信AI助手
百度文库年卡

猜你喜欢                                   自信AI导航自信AI导航
搜索标签

当前位置:首页 > 应用文书 > 技术指导

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        获赠5币

©2010-2024 宁波自信网络信息技术有限公司  版权所有

客服电话:4008-655-100  投诉/维权电话:4009-655-100

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :gzh.png    weibo.png    LOFTER.png 

客服