收藏 分销(赏)

大数据中心建设专项方案.doc

上传人:精**** 文档编号:2540327 上传时间:2024-05-31 格式:DOC 页数:55 大小:3.61MB 下载积分:16 金币
下载 相关 举报
大数据中心建设专项方案.doc_第1页
第1页 / 共55页
大数据中心建设专项方案.doc_第2页
第2页 / 共55页


点击查看更多>>
资源描述
大大数据中心建设方案 Word文档 任意编辑 目 录 第1章 方案概述 3 1.1. 建设背景 3 1.2. 当前现状 4 1.3. 建设目的 6 第2章 方案设计原则 7 2.1. 设计原则 7 2.2. 设计根据 9 第3章 数据中心方案架构 10 3.1 数据中心架构设计 10 3.2 大数据解决设计 16 3.3 大数据存储设计 21 3.4 安全设计 23 3.5 平台搭建实行环节 28 3.6 物理架构设计 29 第4章 数据中心网络方案构成 32 4.1. 防火墙设计 32 4.2. 接入层设计 32 4.3. 网络拓扑 33 第5章 数据中心基本设施方案构成 34 5.1. 机柜系统设计 34 5.2. 制冷系统设计 36 5.3. 供配电系统设计 41 5.4. 模块监控系统设计 45 第6章 运维方案 51 6.1. 技术和售后服务 51 6.2. 售后服务项目 51 6.3. 售后服务项目内容 51 第1章 方案概述 “百年大计,教诲为本”,教诲行业是国内经济发展核心命脉之一,随着着数据集中在教诲业信息化逐渐展开,数据中心在公司和信息化地位越来越重要。教诲数据中心建设已成为教诲机构信息化趋势下必然产物。教诲数据中心作为承载教诲机构业务重要 IT 基本设施,承担着教诲机构稳定运营和业务创新重任。在教诲机构新型客户服务模式下,数据中心需要更高效地支持后台业务和信息共享需求,同步要 24 小时不间断提供服务,支持各种服务手段。这对教诲数据中心资源整合,全面安全,高效管理和业务持续性提出更高规定。 此数据中心建设方案重要对数据中心基本设施和网络规划某些提出整体建议,保证数据中心高性能、安全、可靠,从而使数据中心能承载更多高品质业务。 1.1. 建设背景 自从浮现数字化教诲以来,数据中心作为数字化交易核心,被各个教诲系统广泛采用。当前随着教诲电子化推广,客户市场细分进一步,教诲产品设计专业化,以及对于教诲系统安全性规定。教诲系统数据中心需要更强大运算能力,更多存储空间,更安全可靠规划和设计。不但如此,教诲系统相比其她行业数据中心有其自身特有特点和规定。教诲行业数据中心非常重要一点就是安全和可靠。由于哪怕是短时间网络瘫痪也会导致非常广泛和严重后果。这对教诲数据中心资源整合,全面安全,高效管理和业务持续性提出更高规定。因此教诲行业数据中心产品和方案应用必要采用更高级别产品和整体设计方案,以满足对于系统安全性规定。 从数据大集中到多业务整合,教诲行业数据中心建设正环绕着业务发展需要迅速展。教诲基本设施建设,很重要一种环节就是教诲数据中心建设。教诲数据中心工程不但集建筑、电气、安装、网络等各种专业技术于一体,更需要丰富工程实行和管理经验。教诲数据中心设计与施工优劣直接关系到数据中心内计算机系统与否能稳定可靠地运营,与否能保证各类信息通讯畅通无阻。由于教诲数据中心环境必要满足计算机等各种数据,以达到反馈信息和解决问题功能。特别是要将需要解决电池放电状态和旁路运营状态监控管理问题等重要信息发到重要负责人手机上,以便能随时掌握信息,对某些天气灾害停电而有应急预案。 1.2. 当前现状 随着业务发展,数据中心问题与日俱增,数据中心所面临压力和挑战也越来越大:业务不断调节和变化让数据中心总体架构面临极大压力、有限物理空间让数据中心扩展性和灵活性有所限制、虚拟化欠缺让数据中心资源调配能力有限、复杂多变异构环境让数据中心管理效率异常低下、高居不下耗电量让数据中心能源成本迅速上升。这些问题与挑战让数据中心管理者迫切需要对数据中心进行整合和升级。通过有效整合让老式数据中心升级成为一种智能化、自动化、高效化数据中心。当前数据中心面临问题: l 可靠性问题 供电可靠性是数据中心安全性重要保障,随着以信息技术为支撑新业务不断涌现,教诲行业数据中心对供电可靠性规定大大提高。在数据中心领域,动力平台可用性指标分别高于数据中心可用性指标和整个网络系统可用性指标,因而,对动力平台关注理应放到最核心位置。例如服务器电源冗余方式发生了变化,供电系统就应当做出相应变化。刀片服务器以及虚拟化应用,使高热密度问题凸显,数据中心环境更加恶劣,制冷模式就也需要做出变化。 l 节能降耗问题 数据中心建设加速,导致最直接后果就是能源消耗量急剧攀升。在当前全球能源紧张大背景下,节能降耗是整个数据中心行业大趋势。对于公司自身而言,能耗急剧增长大大提高了数据中心运营成本,数据中心节能和能效改进已成为整个行业迫切规定。 l 管理与维护问题 数据中心是一种庞大而复杂系统,这些系统是一种有机整体,牵一发而动全身,数据中心可靠性发挥有赖于每个设备正常运营,有赖于这些设备协调一致,任何一种环节浮现故障,均有也许导致巨大损失。因而,对整个系统管理越来越重要,而难度也越来越大。 l 扩容问题 随着业务量不断扩大,教诲行业IT应用系统日益增长,服务器规模变得日益庞大,带来了高能耗、数据中心空间紧张、IT 预算紧张等问题。同步,数据中心动力平台匹配性却不够,要么运用率低,资源挥霍严重;要么供电与制冷明显局限性,影响数据中心可用性。简言之,动力系统对核心设备供电或者制冷需求反映不够敏捷。 针对上述问题,技术有限公司推出了创新型数据中心解决方案。该解决方案具备高可用性、高节能性、高灵活性、高可维护性等四大特点,可以协助教诲行业客户解决数据中心建设与应用难题,满足教诲公司在信息化过程中对数据中心动力安全、节能环保等方面日益增长应用需求。 1. 1.1. 1.2. 1.3. 建设目的 数据中心建设应达到如下目的: 高可用---数据中心高可用直接影响到业务系统可用性,高可用至少涉及高可靠、高安全和先进性三个方面: u 高可靠:应采用高可靠产品和技术,充分考虑系统应变能力、容错能力和纠错能力,保证整个基本设施运营稳定、可靠。当今,核心业务应用可用性与性能规定比任何时候都更为重要。 u 高安全:基本设计安全性,涉及到核心数据安全。应按照端到端访问安全、网络分层安全两个维度对安全体系进行设计规划,采用软硬件安全设备,从局部安全、全局安全到智能安全,将安全理念渗入到整个数据中心网络中。 u 先进性:数据中心将长期支撑公司业务发展,数据中心建设需要考虑后续机会成本,采用主流、先进技术和产品,建立高性能,大容量存储数据中心。 u 易扩展---随着信息化发展,公司内通信网络建立和全面覆盖,将来业务范畴会更多更广,业务系调节与扩展再所难免,因而数据中心必要可以适应业务系统频繁调节,同步在性能上应至少可以满足将来5~业务发展。对于设备选取和合同布置,应遵循业界原则,保证良好互通性和互操作性,支持业务迅速布置。 u 易管理---数据中心是IT技术最为密集地方,数据中心设备繁多,各种合同和应用布置越来越复杂,对运维人员规定也越来越高,单独依赖运维人员个人技术能力和业务能力是无法保证业务运营持续性。因而数据中心需要提供完善运维管理平台,对数据中心IT资源进行全局掌控,减少寻常运维人为故障。同步一旦浮现故障,可以借助工具直观、迅速定位。 第2章 方案设计原则 1. 2. 2.1. 设计原则 依照“先进、实用、稳定、可靠”总原则,对云数据中心软硬件系统进行科学合理设计,保证中心建设胜利完毕。 数据中心工程是智能弱电工程重要构成某些。其基本规定可归纳为:保证系统运营可靠性、保证系统设计寿命、保证信息安全规定、保证操作人员工作环境。 设计一种好数据中心,要以兼顾人机并重之原则,一种合格当代化计算机数据中心,应当是一种安全可靠、舒服实用、节能高效和具备可扩充性数据中心,设计应以运营条件、安全可靠作为首要考虑因素。因而对数据中心建设规定遵循如下设计原则: 1. 高安全可靠性 为保证数据中心能为顾客提供持续不间断7×24小时服务, 数据中心必要具备高可靠性。在系统设计时应注意尽量减少单点故障存在,对存在单点故障环节,在设计上必要减少其对整个系统影响。 由于该数据中心内部计算机系统涉及到机密信息,其泄密也许严重危害社会秩序,因此需要保证数据中心安全性,必要具备安保系统以保证顾客设备和数据不受侵害。实现高安全性办法涉及:闭路电视监测、门禁系统、自动安全报警系统等。 中心软硬件系统要高度可靠,虚拟机浮现故障要能自动迁移,数据要有冗余备份,可以从故障中及时恢复。。 2. 可扩展性 鉴于信息网络系统需求不断发展与变化,技术也在不断提高,故在建设时应考虑这些变化对资源需求变化,以使整个系统具备灵活可扩展性,特别是精密空调、配电开关及配电柜、UPS及供电母线等。 中心服务器、存储、网络都可以不用停机就线性扩容服务器、存储、网络等设备。 3. 易于管理 通过使用先进和可靠管理工具来实现系统高质量管理,以节约人力资源。由于数据中心内设备繁多,具备一定复杂性,随着业务不断发展,管理任务必然会日益繁重。因此在设计时,必要建立一套完善数据中心管理和监控系统。实时监控、监测整个数据中心运营状况、语音报警,实时事件记录,可以迅速拟定故障,提高可靠性,简化数据中心管理人员维护工作。 中心资源池支持以便灵活地管理维护和审计。 4. 高性能价格比 数据中心所需设备选型应当以合用为主,合理选取材料与设备;不要导致资源挥霍;同步也要保证该数据中心高可靠性。以较高性能价格比设计数据中心,能以较低成本、较少人员投入来维持系统运转,提供高效能与高效益。 中心软硬件设施选取合理,具备高性价比。 2.2. 设计根据 《电子计算机数据中心设计规范》GB50174-93 ² 《计算机场地技术条件》GB2287-89 ² 《计算机场地安全规定》GB9361-88 ² 《计算机机房活动地板技术条件》GB6650-86 ² 《建筑物防雷设计规范》GB50057-94 ² 《高层民用建筑设计防火规范》GBJ45 ² 《电子计算机机房施工及验收规范》SJ/T30003-93 ² 《建筑防火设计规范》GB5004-95 ² 《空调与通风工程施工及验收规范》GB50243-97 ² 《建筑与建筑群综合布线系统工程设计规范》GB/T50311- ² 《建筑与建筑群综合布线系统工程验收规范》GB/T50312- ² 《中华人民共和国通信行业原则》YD-T926 1、2、3 ² 《国际综合布线原则》TIA/EIA 568-B ² 《供配电系统设计规范》GB50052-92 《火灾自动报警系统设计规范》GBJ116-98 ² 《工业公司通信接地设计规范》GBJ79-85 ² 《高性能屏蔽室屏蔽效能测量办法》GB12190 第3章 数据中心方案架构 3.1 数据中心架构设计 云计算数据中心通过运营在单独服务器上云操作系统对服务器、存储、网络等资源进行虚拟化管理,提供可以自定义虚拟机,在虚拟机上安装Hadoop、hbase等Nosql分布式数据库集群,对既有数据ETL采集、清洗、转换、汇总进来,使用海量数据分布存储技术,用spark、storm等大数据解决软件对hbase中数据进行分析解决,挖掘数据价值。还可以在虚拟机上运营业务应用系统,提供负载均衡和冗余备份,达到系统稳定、高可用和以便扩展性。 通过安装SSR等安全软件和安全服务器,可以保证提高操作系统安全级别,从而达到国家级别保护三级规定,为客户构建真正安全长城。 云计算数据中心可以自动管理和动态分派、布置、配备、重新配备以及回收资源,也可以自动安装软件和应用,具备良好弹性和灵活性,管理、使用以便。云中心可以向顾客提供虚拟基本架构。顾客可以自己定义虚拟基本架构构成,如服务器配备、数量,存储类型和大小等等。顾客通过自服务界面提交祈求,每个祈求生命周期由平台维护。 服务器虚拟化系统基于服务器,存储和网络设备构建资源池,在资源池上通过资源管理、调度和镜像管理实现系统各种高档功能,例如计算层面系统负载均衡和虚拟机高可用,存储层面镜像复制和冗余。系统支持以主机或者虚拟群集为单位管理资源,虚拟群集为一组共享存储资源物理主机。 云中心既是一种公司云,也可以对外提供服务,扩展成公有云。学校还可以使用别公有云如阿里云,形成混合云。 云中心涉及iaas、paas、saas三层服务: 1). SaaS:提供应客户服务是运营商运营在云计算基本设施上应用程序,顾客可以在各种设备上通过客户端界面访问,如浏览器。消费者不需要管理或控制任何云计算基本设施,涉及网络、服务器、操作系统、存储等等; 2). PaaS:提供应消费者服务是把客户采用提供开发语言和工具(例如Java,python,.Net等)开发或收购应用程序布置到供应商云计算基本设施上去。客户不需要管理或控制底层云基本设施,涉及网络、服务器、操作系统、存储等,但客户能控制布置应用程序,也也许控制运营应用程序托管环境配备;可以使用docker容器完毕应用系统布置和管理。 3). IaaS:提供应消费者服务是对所有计算基本设施运用,涉及解决CPU、内存、存储、网络和其他基本计算资源,顾客可以布置和运营任意软件,涉及操作系统和应用程序。消费者不论理或控制任何云计算基本设施,但能控制操作系统选取、存储空间、布置应用,也有也许获得有限制网络组件(例如路由器、,防火墙,、负载均衡器等)控制。 云中心采用xen、kvm、VMware进行虚拟化,LXC提供Linux容器,支持docker应用容器。 一 . 服务器采用浪潮整机柜服务器SmartRack ,面向海量数据存储和解决,适合云资源池如虚拟化、分布式存储,大数据解决如Hadoop集群等应用,当前在国内服务器中占主导地位,特点如下: 定位各种应用,支持各类服务器节点。 针对不同业务对存储、计算、IO吞吐量、功耗不同规定,设计开发出不同种类服务器节点,涉及:1U全宽双路12盘位综合型节点、1U全宽单路18盘位冷存储节点、1U半宽双路计算型节点,满足不同需求。        整机柜集中供电、集中散热,相比其她架构服务器,运营功耗减少10%以上。 整机柜由一组电源模块集中供电,最大输出功率高达22.5kw,直接支持交流或高压直流供电,各节点通过铜排从电源模块取电,结合电源负载动态调节技术,电源转换效率高达94%以上。 机柜背部电扇墙集中散热,依照节点数量灵活调节电扇墙高度,采用140mm大尺寸电扇,相似功耗下可提供更大散热量。 领先架构设计,保障系统高可靠运营。 服务器节点中无独立电源和电扇,有效减少单点故障。 依照整机柜实际负载状况,电源可实现N+N/N+2/N+1各种冗余方式。 电扇可依照温度状况自动调节转速,支持2+1冗余。 对整机柜节点、电源、电扇进行集中监控管理。 实现管理中心RMC对整个机柜各模块统一监控和管理,节点、电源、电扇健康状况、温度、配备信息一目了然,还可进行批量开关机、重启,功耗控制,电扇转速自动/手动调节等功能,搭配专为Smart Rack设计可视化管理软件,轻松实现简易化智能管理。 简易维护,无需繁琐拆装。 独有节点前维护设计、各模组免工具热插拔设计、优化线缆走线设计,使得系统运维难度大大减少。电扇等易损部件所有裸露在外,更加以便更换维护。二. 云操作系统建议采用浪潮云海·云数据中心操作系统 V3.0 ,此系统秉承开放化、模块化、原则化设计理念,基于虚拟化技术,实现了数据中心资源融合、资源管理及服务交付,简化了云数据中心运维,提高了云数据中心服务水平。云海·云数据中心操作系统有如下特点: 自主可控、安全可靠云数据中心操作系统:  浪潮自主研发国产云数据中心操作系统,加强了WEB安全、虚拟化安全、数据安全、访问控制、安全审计等方面安全控制,可协助顾客构建安全可控云数据中心。 异构资源管理:  云海OS支持对数据中心各类异构硬件设备及软件资源统一管理;支持对VMWare vSphere、Inspur iVirtual等异构虚拟化资源池集中管理,已布置虚拟化环境可被云海OS无缝接管; 精细软硬件资源监控:  云海OS支持对数据中心主流厂商服务器、网络设备、存储设备等物理资源,操作系统、数据库、WEB应用等软件资源,VMWare vSphere、Inspur iVirtual等虚拟化环境精细监控,提供界面、邮件、短信等各种告警方式,通过详尽清晰报表分析数据,协助数据中心运维人员随时掌握数据中心各类资源运营状况,减少运维管理复杂度,提高运维效率。 迅速服务交付:  云海OS支持通过虚拟机模板、应用服务模板方式,实现业务迅速交付,业务上线时间由本来几周、几天,缩短为几分钟,大大提高数据中心服务水平。 资源使用按量计费:  实时资源使用状况记录,让顾客精准掌控自身资源和费用使用状况,协助IT部门实现由成本中心向价值中心角色转变。 资源按需服务:  云海OS可实现将基本架构作为服务交付,顾客可通过自助服务门户在线申请及访问自己虚拟数据中心、应用服务、虚拟机等资源,实现资源按需申请、便捷获取、自助使用。 可定制业务流程:  云海OS支持顾客创立与原工作流程吻合资源申请审批流程,实现业务流程个性化、可定制化。 灵活服务交付方式:  云海OS既支持从下到上资源申请与审批,也支持从上到下资源创立与分派服务交付方式,可满足不同客户对资源获取方式不同需要。 多租户私有云:  云海OS可创立各种组织,一种组织可代表某业务部门、分部或子公司。每个组织均有各自独立虚拟数据中心、顾客及独有目录,可将组织资源分派给本组织顾客,每个组织犹如拥有自己数据中心。运用基于权限顾客控制机制和基于虚拟互换机网络隔离技术,实现多租户环境下安全性和可靠性,以此构建安全多租户私有云。 灵活可控权限管理:  云海OS支持顾客自定义角色类型,不同权限可自由组合,实现灵活可控系统权限管理。 服务全生命周期管理:  云海OS涵盖服务提供所需各个环节,涉及服务申请审批;服务交付和回收;服务使用记录和计费;服务运营监控 服务移动性:  通过vApp封装各种虚拟机服务和有关网络连接方略,遵循OVF等开放式原则,实现同一种云环境终端顾客彼此之间可以轻松共享服务,而不同云环境顾客可以轻松在云之间迁移服务。 3.2 大数据解决设计 通过在虚拟机上安装Hadoop2.6、hbase1.0等Nosql数据库集群,用sqoop1.3把既有数据汇总进来,要对既有数据做个总分析,对字段统一定义规划,制定转换方略,做到对的性、唯一性、可用性,去除重复字段,通过ETL抽取、清洗数据,把数据导入hbase,这样就可以消除信息孤岛,用spark、storm等大数据解决软件对hbase中数据进行分析解决,挖掘数据价值。 云中心通过调度系统自动采集、加工、存储数据,为应用系统提供支持: 在云中心平台上,开发招生、创业、就业、数据实验室等应用系统,通过元数据库管理所有数据数据通过采集、加工后进入hbase,消除信息孤岛,统一管理使用: 一.hadoop2架构体系 下图是hadoop2架构图 1. HDFS文献系统,Hadoop实现了一种分布式文献系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性特点,并且设计用来布置在低廉(low-cost)硬件上;并且它提供高吞吐量(high throughput)来访问应用程序数据,适合那些有着超大数据集(large data set)应用程序。HDFS放宽了(relax)POSIX规定,可以以流形式访问(streaming access)文献系统中数据。 2、YARN是一套资源统一管理和调度平台,可管理各种计算框架,涉及MapReduce,Spark,MPI等。涉及 如下内容:ResourceManager(RM):整个系统只有一种RM,它就只管调度方面事情,并且为集群应用而优化,因而具备较好性能。RM一种核心是它Scheduler。调度包括两个过程,一要收集各节点状况;二要依照某种调度方略,分派适当节点。收集节点状况是基于一种资源容器(resource container)概念,该容器涉及cpu,disk,network等(当前只用到cpu) NodeManager(NM):NM是每个节点一种实例,管理每个节点,它触发应用容器(application container),监控节点资源(cpu/disk等),并向RM报告资源状况。 ApplicationMaster(AM):AM是每个应用一种实例,它是一种特定框架接口库,一方面与RM中Scheduler协商得到resource container,另一方面与NM一起执行和监控各子任务部件,从系统角度,AM自身也一种container(下图中将它与container画得同样)。 Container:从逻辑上,container可以为是资源分派容器,它涉及hostname,cpu,memory等属性。AM发送ResourceRequest给RM,然后RM分派适当Container给AM,AM再将此Container提交给它所在节点NM,NM采用此资源容器运营任务。事实上,Container是一种使用资源“授权”,AM得到此授权后,在NM管理下,可以运营任何进程(涉及非Java应用,这一点与1.0不同)。 二、Hive是基于Hadoop一种数据仓库工具,解决能力强并且成本低廉。 重要特点: 存储方式是将构造化数据文献映射为一张数据库表。提供类SQL语言,实现完整SQL查询功能。可以将SQL语句转换为MapReduce任务运营,十分适合数据仓库记录分析。 三、HBase HBase是一种分布式、面向列开源数据库,它不同于普通关系数据库,是一种适合于非构造化数据存储数据库。另一种不同是HBase基于列而 不是基于行模式。HBase使用和 BigTable非常相似数据模型。顾客存储数据行在一种表里。一种数据行拥有一种可选取键和任意数量列,一种或各种列构成一种 ColumnFamily,一种Fmaily下列位于一种HFile中,易于缓存数据。表是疏松存储,因而顾客可以给行定义各种不同列。在 HBase中数据按主键排序,同步表按主键划分为各种HRegion,如下图所示(HBase数据表构造图): 四.  Sqoop是一款开源工具,重要用于在HADOOP(Hive)与老式数据库(mysql、oracle...)间进行数据传递,可以将一种关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中数据导进到HadoopHDFS中,也可以将HDFS数据导进到关系型数据库中。 五.spark架构体系 Spark与Hadoop对比   ◆ Spark中间数据放到内存中,对于迭代运算效率更高。   Spark更适合于迭代运算比较多ML和DM运算。由于在Spark里面,有RDD抽象概念。   ◆ Spark比Hadoop更通用。   Spark提供数据集操作类型有诸各种,不像Hadoop只提供了Map和Reduce两种操作。例如map,filter,flatMap,sample,groupByKey,reduceByKey,union,join,cogroup,mapValues,sort,partionBy等各种操作类型,Spark把这些操作称为Transformations。同步还提供Count,collect,reduce,lookup,save等各种actions操作。Sparkmllib支持机器学习。   这些各种各样数据集操作类型,给给开发上层应用顾客提供了以便。各个解决节点之间通信模型不再像Hadoop那样就是唯一Data Shuffle一种模式。顾客可以命名,物化,控制中间成果存储、分区等。可以说编程模型比Hadoop更灵活。   但是由于RDD特性,Spark不合用那种异步细粒度更新状态应用,例如web服务存储或者是增量web爬虫和索引。就是对于那种增量修改应用模型不适合。   ◆ 容错性。   在分布式数据集计算时通过checkpoint来实现容错,而checkpoint有两种方式,一种是checkpoint data,一种是logging the updates。顾客可以控制采用哪种方式来实现容错。   ◆ 可用性。   Spark通过提供丰富Scala,Java,Python API及交互式Shell来提高可用性。   Spark与Hadoop结合   ◆ Spark可以直接对HDFS进行数据读写,同样支持Spark on YARN。Spark可以与MapReduce运营于同集群中,共享存储资源与计算,数据仓库Shark实现上借用Hive,几乎与Hive完全兼容。   Spark合用场景   ◆ Spark是基于内存迭代计算框架,合用于需要多次操作特定数据集应用场合。需要重复操作次数越多,所需读取数据量越大,受益越大,数据量小但是计算密集度较大场合,受益就相对较小   ◆ 由于RDD特性,Spark不合用那种异步细粒度更新状态应用,例如web服务存储或者是增量web爬虫和索引。就是对于那种增量修改应用模型不适合。   ◆ 总来说Spark合用面比较广泛且比较通用。 3.3 大数据存储设计 采用浪潮AS13000存储大数据 ,支持容量、性能在线无限扩展,提供软硬件故障状况下数据重建、远程容灾功能,是合用于云计算、大数据业务并兼具高性能、高可靠、高可扩展、大容量特性新一代存储系统平台,具备如下特点:。 海量存储,在线横向扩展:   1.控制器集群体系架构,所有控制器并行承担数据IO、保障系统整体负载均衡,数据分散存储,避免单控制器故障带来风险和性能瓶颈,支持控制器在线横向扩展,满足持续增长容量和性能需求。   2.支持NAS/ Object/IP-SAN/ IB-SAN存储接口,并且支持SAN、NAS、Object同步运营,满足客户在不同步间、不同地点、不同业务对存储不同需求,支持Windows、Linux、Unix等各种操作系统并存复杂网络环境中,轻松实现跨操作系统数据存储与共享,此外支持NFS/CIFS/FTP等各种文献共享合同。   3.支持丰富主机连接接口,支持1Gb/10Gb iSCSI、40Gb/56Gb InfiniBand主机连接,无缝接入顾客既有环境,满足客户对高带宽及高性能差别化需求。   4.全面支持Flash /SSD/SAS/SATA各类常用存储介质,模块化容量扩展模式,支持数据分级存储,满足各类型应用。   数据持续保护,业务运营无忧:   1.支持数据卷隔离映射功能、数据快照功能、快照回滚、远程卷复制(同步/异步)、远程数据复制及恢复、逻辑分区动态扩容。   2.支持数据副本、数据纠删码、自动分层等各种数据冗余保护和性能加速功能,为顾客提供高档别数据保护及容灾功能。   3.支持全集群Active-Active、Active-Standby、全局热备等控制器工作模式,保障整体系统高可用,保证数据存取及业务运营万无一失。   4.支持软硬件故障时数据自动修复,系统可用性达到99.999%。   模块化设计,人性化管理   1.AS13000各重要部件均采用模块化设计,客户按需选取,维护、升级、管理简朴以便:   2.支持数据副本、全局热备,以及自动构建RAID、各RAID级别间执行在线迁移不影响正常数据应用   3.完备监控管理方式,当系统浮现异常时,除了通过机器批示灯报警外,可通过邮件等方式将异常状况及时告知管理员   4.集中布置,统一管理   绿色节能:   1).全系统选用节能降耗解决器、芯片组、电扇和散热片等部件,提高系统能效运用率。   2).支持在线扩容/缩减时数据自动迁移,保证系统按需配备,同步支持Maid磁盘节能技术,减少磁盘能耗,节约开支。   3).支持自动精简技术,大大提高存储资源运用率。 3.4 安全设计 一. 采用浪潮SSR主机安全增强系统,这是一款基于操作系统内核层开发安全加固软件。与老式防火墙、IDS/IPS不同,SSR工作在最贴近顾客数据操作系统层面,不但可以避免外部黑客袭击,同样可以防止来自内网袭击风险。该产品弥补了老式信息安全解决方案在主机层安全“短板”,与老式信息安全产品形成了良好互补,提高操作系统安全级别,从而达到国家级别保护三级规定。为客户构建真正安全长城。   功能特性:   1、强制访问控制   在操作系统内核层实现文献、注册表、进程、服务、网络等对象强制访问控制,可配备针对以上对象不同访问方略来保护系统和应用资源,虽然是系统管理员也不能破坏被保护资源。   2、完整性检测   对文献和服务进行完整性检测,并可设立定期检测项目,当发现文献或者服务篡改时进行报警并发现哪些文献发生变化。   3、防格式化   保护功能启动时,可防止病毒和入侵者恶意格式化磁盘,同步减少管理员意外格式化磁盘风险。   系统资源监控与报警:   对系统CPU、内存、磁盘、网络资源进行监控,当这些资源使用状况超过设立阀值时将进行报警,以提前发现资源局限性、滥用等问题。   4、双因子认证和组合式密码认证   不但提供SSR安全管理员和SSR审计官员USB KEY+密码双因子认证功能,还可对系统顾客配发USB KEY实现双因子认证。对于远程登陆和虚拟化系统而无法辨认USB KEY服务器,SSR提供可配备两个密码组合登陆认证方式,只有掌握密码两个人同步存在才干登陆系统,以此保证自然人可信。   5、自我保护   SSR采用内核密封技术和完整性保护技术来保证SSR文献不被恶意篡改,进程不被恶意注入。   6、统一管理   在一种SSR控制台可以同步对各种平台SSR进行管理和维护,且SSR可开放接口给第三方管理平台集成,实现与不同产品间管理融合。   7、灵活多样方略模板   提供通过验证分级别安全方略模板,全面保护系统,以便易用,减少顾客使用难度。   8、维护模式 当顾客紧张自己配备方略与否会影响系统和应用时,可启动此功能,此时SSR将只记录违规日记而不进行制止,便于管理员在不导致业务中断状况下调节方略。 功能亮点:   1、免疫病毒木马,抵抗黑客袭击   SSR采用ROST技术对系统中文献、注册表、进程、网络、服务、帐户等多方面进行防护构建立体防护体系,从文献创立、执行、访问资源到结束层层把关,从主线上免疫各种已知未知病毒、后门等恶意代码,抵抗黑客袭击,保证系统和应用安全稳定运营。   2、减少“零日漏洞”风险,延迟漏洞修复   SSR采用强制访问控制和白名单机制,只容允许信帐户和进程访问被保护资源,并对操作系统中重要二进制文献进行完整性保护。虽然恶意代码运用漏洞获取了系统权限,也不能破坏系统文献和植入木马,减少了从“零日漏洞”发现到顾客打上补丁之间这段“真空期”安全风险,同步容许顾客延迟补丁布置,推迟到定期修补周期进行修补。   3、分权管理,有效规避“一权独大“   SSR采用了分权管理机制,规避了原操作系统管理员“一权独大”风险,将原系统管理员权限分散为系统操作员、安全管理员和审计管理员,三个权限各司其职,互相制约,实现了最小权限,不但保证了系统安全性,同步贴合了国家有关信息安全原则规范。   4、提高系统安全级别,增强顾客合规体验   SSR在操作系统内核层实现了安全标记和强制访问控制机制,与顾客系统自身自主访问控制相融合,为系统和顾客重要应用提供更强约束和更高安全控制级别,同步提供三权分立、完整性校验、双因素认证、剩余信息保护等紧贴信息安全原则功能,协助顾客在系统安全建设时合规规定。   5、统一管理机制,化繁为简 管理员可以从任何地方通过双因子身份认证后,对所有被保护服务器进行安全方略制定和维护,实现集中管理,减少寻常维护工作量 。 二. 采用浪潮SSA安全应用交付硬件系统,特点是:  1. 丰富应用负载均衡功能,保障数据中心应用可用性。   支持丰富四到七层应用负载均衡功能;   支持针对各种算法全局负载均衡;   支持针对不同运营商多链路负载均衡;   支持丰富健康检查功能,保障后台服务实时可用;   可以实现N+1台设备集群、双机热备、双机互备等各种高可用性布置模式;   支持冗余电源,最大化网络运营时间,减少了系统宕机或网络故障对业务影响。   2. 多项应用加速技术,减少服务器负载,提高访问速度,改进顾客体验。   采用内存缓存技术,有效减少服务器负载,并提高访问响应速度。   采用业界原则Gzip、Deflate压缩算法,对文本类型资源可实现80%以上压缩率,能减少服务器压力,提高带宽运用率。   可对各种客户端TCP连接进行合并,通过少量长连接与后台服务器通信。   SSL卸载功能,将加解密负荷卸载到应用交付设备上,有效减少服务器压力,并保证顾客安全。   3. 强大应用袭击检测和防御能力,应用与安全并重。   内置各种DDOS监测算法,可有效防御4-7层DDOS、配合防止各类SQL注入、XSS、缓冲区溢出黑客袭击,为客户提供最佳应用漏洞和未知威胁防御能力。 三.对管理员密码进行严格管理,半年定期更换。 四.网络设备可以采用华为产品,性价比高,行销世界,可以抵抗DDOS袭击。 五.对数据进行冗余存储,以防不测,有问题可以及时恢复。 3.5 平台搭建实行环节 1. 搭建机房、供电、冷却设备,购买服务器10台(可以提供1000个4G内存虚拟机)、存储设备(2P)、云操作系统、安全软件、路由器、互换机、防火墙等网络设备,搭建云计算平台,建立虚拟资源池,设立虚拟机。 2. 制定迁移筹划,通过docker容器,打包把学校原有应用系统迁移到虚拟机上,在此外虚拟机上搭建hadoop、spark集群,安装hive、hbase,依照需要建立hbase数据库表和列,一张表可以有几千列,几十亿条数据,把原有所有数据库合为一张表,便于大数据解决,原有数据库数据通过sqoop导入hbase。再把学校原有服务器、存储、网络设备接入云平台,进行虚拟化。 3. 依照需要,用spark对hbase数据进行准实时分析,用机器学习解决大数据进行预测,用storm对hbase数据进行实时分析、解决,还可对数据进行可视化。还可以基于云平台开发应用系统。 3.6 物理架构设计 模块化数据中心采用一系列模块化设计动力设备,如一体化集成机柜系统、供配电系统、制冷系统、监控系统和综合布线系统,高集成设计,通过简朴接口将有关模块进行组合,从而形成一种完整数据中心。具备高密模块化,高可靠性与安全性,迅速灵活布置,简朴低耗,完善监控等特点。 模块化数据中心充分考虑组件设计、功能和有关性,按照在原则化级别与顾客灵活性之间获得最佳平衡方式进行模块化。例如,模块化电源系统在电源、冗余模块和运营时间方面均实现了可扩展性,可以依照当前IT需求进行布置,并且考虑后续业务扩展,这种系统规模优化能力明显减少了总拥有成本。并且提供热插拔,从而在不需要停止运营系统条件下进行维护设备。 单排密封通道模块化数据中心如下图所示。 模块化数据中心整体架构,如下图所示。 模块化设计为满足不断变化IT需求提供了极大灵活性。在安装、升级、重新配备或移动模块化系统时,独立组件、原则接口既节约了时间又节约了费用。同步也以便设备选型、采购、安装、维护和扩容,减少整体运营成本,越来越具备吸引力。 l 模块化数据中心特点 模块化数据中心集成方案具备高密模块化,高可靠性和安全性,迅速灵活布置,低成本和低能耗,完善监控等特点,是新一代集成模块化数据中心产品。 1. 高密模块化 l 集成机柜系统、供配电系统、制冷系统、监控系统和综合布线系统,高集成设计,提供完整解决方案。 l
展开阅读全文

开通  VIP会员、SVIP会员  优惠大
下载10份以上建议开通VIP会员
下载20份以上建议开通SVIP会员


开通VIP      成为共赢上传

当前位置:首页 > 应用文书 > 其他

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        抽奖活动

©2010-2026 宁波自信网络信息技术有限公司  版权所有

客服电话:0574-28810668  投诉电话:18658249818

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :微信公众号    抖音    微博    LOFTER 

客服