数据仓库产品优缺点分析.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数据仓库产品优缺点分析,简介,本文主要对目前国内市场上几种主流的数据仓库数据库产品，通过网络资料以及个人经验做一个简单的分析，从中可以较客观地得出各数据仓库产品的优势和不足，以及未来技术发展方向，为企业的数据仓库选型提供参考。,类别,一：,Teradata,数据库,Teradata,天睿公司，专注大数据分析、数据仓库和整合营销管理解决方案的供应商。,二：,GreenPlum,数据库,Greenplum,是一家为全球大型企业用户提供新型企业级数据仓库,(EDW),企业级数据云,(EDC),和商务智能,(BI),提供解决方案和咨询服务的公司。,三：,Netezza,数据库,IBM,（国际商业机器公司）,2010,年,9,月收购的专门的数据仓库数据库，为使大数据高级分析更简单、更迅捷和更易用而设计。,四：,Exadata,数据库,Oracle,的新一代数据库云服务器。,第一种：,teradata,数据库系列,单节点系列（面向开发和测试）。,1,系列（面向大规模数据存储分析）。,2,系列（面向部门级数据仓库）,4,系列（采用固态硬盘，面向高速分析）,5,系列（面向企业级数据仓库）,第一种：,teradata,架构,第一种：,Teradata,优势,大数据量处理性能较强。,可线性扩展，实现投资保护。,数据库易于管理和维护。,第三方软件产品丰富。,有一套完整的,ETL,方案、配置灵活,采集异构数据时，数据会落地成,.txt,文件，并保留一定的天数，方便查错。,通过,perl,采集数据时，向,teradata,插入数据时速度快，只受限于网络和链接接口。,第一种：,Teradata,不足,专用设备，环境搭建复杂，扩展时停机时间较长,混合负载控制存在问题,各系列产品互联困难,价格较高,etl,过程和,td,的工具绑定紧密，对数据库本身的性能依赖强,etl,环境搭建复杂、非图形化,自定义函数过程复杂，需要用,c,编写并导入,数据库在做线性扩展时，数据需要重分布，消耗资源大，时间长,第二种：,GreenPlum,架构,第二种：,GreenPlum,优势,支持行列混合存储，消除了单独行存储和列存储的缺陷,在线扩容和维护，无需停机,数据加载速度快，可实现实时分析,基于,PosgreSQL,开发，语法简单，工具和应用资源丰富,符合“云计算”发展方向,第三种：,Netezza,数据库,IBM,最初使用,DB2,提出数据仓库解决方案，并提供独立数据库软件和数据库机的解决方案，但产品技术优势不明显，且未给予足够重视，市场逐渐萎缩。为弥补不足，,2010,年,IBM,收购了专业的数据仓库厂商,Netezza,，希望利用,Netezza,的技术来与,Teradata,、,Oracle,等产品抗衡。,Netezza,提供集成的数据库设备,Twinfin,解决方案，利用专利“流式数据处理架构,FPGAs”,技术（硬件芯片），在数据通过磁盘时可以将无关数据快速过滤，解决了传统数据仓库产品的服务器和存储间数 据流瓶颈问题，实现高性能数据处理。,第三课：,IBM Netezza,架构,第三种：,Netezza,架构特点,Netezza,系统性能的主要优势来自其独特,AMPP,处理架构，该架构将,SMP,前端与一个无共享的,MPP,后端相结合完成查询处理。该架构将经过精心挑选的各个组件集成在一起组成了平衡的整体系统。通过每个处理组件对多个数据流进行操作，并尽早过滤掉多余的数据。最多可有多达一千多个,MPP,处理组件共同工作。,Netezza,的硬件架构和,gp,有些类似，由主机和,S,刀片和磁盘阵列和网络架构组成，,gp,的硬件是由,master,主机和,segment,主机和磁盘阵列和网络架构组成。和,td,的硬件架构有不同之处，,td,数据仓库是由,Bynet,和,SMP,主机和磁盘阵列组成,第三种：,Netezza,优势,针对数据分析设计，性价比高,兼容,Oracle,语句及主流,BI,工具,系统易于管理和维护,刀片式架构，扩展简单,数据库备份方便，可全量、增量、累计备份，恢复时可以全部恢复，也可以单表，部分表恢复。,Zone Map,技术，在数据最小存储块里优化数据，提高查询效率。,表数据删除更改记录功能，数据误操作时可以方便找回。,Sql,语法相交其他数据库更简单。,第三种：,Netezza,不足,混合负载控制存在不足,流技术主要适用于趋势分析，对于精确分析略显不足,当表的数据发生大的变化时，性能会下降，需手动对表进行,groom(,清理备份数据,),和重做表数据统计操作。,磁盘数据是两两互备份，一旦互备份磁盘同时损坏，数据很难恢复。,第四种：,Exadata,架构,第四种：,Exadata,优势,事务类任务处理性能较好,混合负载控制较好,兼容,Oracle,产品和工具，易于使用,数据仓库产品技术发展趋势,集成的数据仓库设备（一体机）将成为主流,一体机集成了服务器、存储和软件，具有安装、配置、管理简单，软硬件协同、高可用性及性能可以最大限度得到同一厂商的保证。,行列混合存储技术将会数据仓库的趋势，单纯的行存储或列存储在使用上均不能很好的满足数据仓库分析的要求，混合存储技术可以根据数据仓库的访问特点有针对性的改变数据存储结构，在应用不做任何调整的情况下大幅提升系统运行效率，减少空间占用，对于大型数据仓库有重要意义。,云计算在数据仓库和,BI,会有更多应用。,