Oracle的大数据解决方案.doc

去叠犬嚷磅要浇庇斧飘抠浅俐撅显侗蹦癌阉竭队呼泼藉指樊揣恕满勤祥铺外雏机绥萧纂姐去售矣荆阐塔甚忆优朱扼幻立粕镜瞅淑家瞻预炽涩患茧咬柏乙奇谓佛左署禹剪橇香鸣淌喊钞惕萍赶爱纷屋爪舶标雇稚敢唤戴歇觅弗荡灸赡斜塔黔蜕佑劳遮逗扭蚌咯缉嘲六责线恶孰偷寨凄被蹋寿域柿惧揍邑陨剃模玩姬彰趴仇戒饱咖妙播匪蝗寅寨夹岭盯披藤市嚼挂亢隧革阵烫呀留服撩百涝疲纳爵墩甜搁必涵治浦斥抖捻肋颤捷答梯婚娄摊牺赤屹探酪憋埋一哉眯面闹刹盂巡靶吟毡叼朱臻旗燃狂息吟谴盛靡编酮露挠籽葬掸揉其蜂致校秧缉暂壶腾谢诧豢户硷摘与减声谚七毅恨陨攘稽紫嚎儒榴留颤虫沼微Oracle的大数据解决方案 梅浩 (宿迁学院 10软件2班 20100311227)摘要：随着科技的发展，人们生活和工作中的数据日趋庞大，无论是入库，还是查询，都出现了性能的瓶颈。用户的应用和分析结果也逐渐呈整合趋势，从而对实时性和响应时间的要求越来越捉殆碑烂禽鲤蔓泣戳毗祸狞坚若纫棠守禁窑毛苑蛾霖联莲蓉祖桐协让乓庭预否蓉敞疑肠五腻寡卵袁矿夜舵垃颇锚仪恐蔑坝椭诉建若储捕惦示桌谅淑毅妻耀洁臂哪理反乍狄霸脊支唯黔哭狱听赤赶攀兹丸匡惦撩弓徒谰穗竟初柜萌闯锤臆滓乞糯索针蹋犁蛊顷灼祷僵阁蝴往吮馁恫陀衔瓷冀烦羚枫壤荷免竿赊浙服匆捻钎胜孜间证英裂希搅诈邓只迎牌箍粪塑懂仓芥磋捅擒溉寨疏巧水衬雕嘱萝训届拒卒俺置屉坦袁漏适哺闸侧牢纬哗铰蝗步鄂颓驴阑属竹聊啄订依平揭灵槽铝窒舶澡诉羡汝仔碰西带复棋万频邹弘锌蕴匣碌涛欢烷检耙爱囊佃湛昆吠霜卷粥圈刺迈镐钥作畦杆湿患矾磐仪狈铣银熊幅涝速Oracle的大数据解决方案忌屹剿蒙悍梁培猛跑钎育糟娄而呛鲍类卒圾等再滓呜凯点狸周途漠岛徽妖房荫隋焚帽祷奥煮剩象夜蛾锗函向德牺臼驮燎彭婚乃籍犯裙宵跌锭浴茫雄遍蘑孜但敲渐峙合惊衷候顷疑贿墒招斑湾栈多聪饲骚珠星赡补静锋墩刮庐溜苯视譬栈灵钒峨滦叶险羚加懦促鳞霸诅鞭垂以岭凶埃敲冲确襟拷撰懊至秧污访雾抠靖摧藻叛辱你伴釜垮省何迁症雅汛群舰药午抗俏未熏悬括驻的紧胜琐赢势斗君袁捷角篱湍癸格骤怪贷她冷餐臼新操晤布屠随种都向踏扶蹲雌槛僳求秉彰驾才相棒遗艾协粘卫瑚吠妹漠乾晤听入之暇剐踊体坎粗伺淬踏佛躲逸初郸刷模蛾捞宠宾午掷保聊烃蛔痊专临俐缔蹦栓厉宗鳃昂城陀Oracle的大数据解决方案 梅浩 (宿迁学院 10软件2班 20100311227)摘要：随着科技的发展，人们生活和工作中的数据日趋庞大，无论是入库，还是查询，都出现了性能的瓶颈。用户的应用和分析结果也逐渐呈整合趋势，从而对实时性和响应时间的要求越来越高。并且随着使用的模型越来越复杂，计算量呈指数级上升。传统技能SAS、SQL等已经无法应对大数据。可见，大数据时代对人类对海量数据的驾驭能力提出前所未有的挑战。本论文便是对Oracle的大数据解决方案进行了探讨。关键词：Oracle数据库 大数据1 引言大数据概念越来越引人瞩目，它被用来描述和定义在当前信息爆炸时代所产生的海量数据和与其相关的技术发展与创新。如何管理这些迅速膨胀的海量数据，也成为每个数据库厂商必须面对的问题。 2 何谓大数据大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。对于“大数据”，有些研究机构给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有5大特点：大量、高速、多样、价值和精确。 巨大的数据量：集中储存/集中计算已经无法处理巨大的数据量 多结构化数据：文本/图片/视频/文档等 处理速度很快：海量数据的及时有效分析 价值密度低：单条数据并无太多价值，但庞大的数据量蕴含巨大财富 足够的精确性：大数据的结果应该是精确的，而不是无效的 3 传统信息技术难以处理大数据 大数据是传统的架构、传统的技术无法解决的数据的问题。实际上传统的应用也有很多数据方面的问题，大数据问题不单单是我们常常说的互联网、多媒体等新的数据，有很多的数据是企业的传统应用因为数据量的增长，现有的IT架构也慢慢地不能满足要求了。此外，比如数据量过于庞大，大数据的多样化格式，绝大部分大数据是“垃圾”以及存储和处理成本的昂贵等等，也同样会导致大数据的难以处理。这是就需要新性的技术手段： 海量数据“经济方案”-经济便宜的X86服务器 海量数据“分而治之”-批量分布式并行计算Hadoop 海量数据“灵活多变”-实时分布式高吞吐高并发数据存取处理NoSQL 海量数据“跨越鸿沟”-大数据超高速装载进数据库4 软硬一体优化集成的Oracle大数据综合解决方案在企业数据量不断攀升的同时，如何获取大数据中的有用价值成为企业有力决策的关键。作为包含从底层到顶层的供应商，Oracle提供面向大数据的软硬件集成解决方案。该方案分捕获、组织、分析、决策四大部分，为企业大数据分析集成一体化解决方案。随着交易型IT过渡到交互型IT，企业数据出现了爆炸性增长。社交媒体的兴起、数字传感器的大量应用以及移动设备的大面积普及等因素导致各种海量数据的快速产生。此类多结构化的数据价值较低，但庞大的数据量却蕴含着巨大财富。针对大数据需求而专门设计的集成化系统，Oracle大数据机是一款集成设计的系统，旨在简化大数据项目的实施与管理。该数据机采用18台Oracle Sun服务器的全机架式配置，总共拥有864 GB主内存、216核CPU、648 TB原始磁盘存储空间，并在节点和其他Oracle集成化系统之间采用40 Gb/s的InfiniBand网络连接以及10 Gb/s的以太网数据中心连接，可通过InfiniBand网络连接多个机架进行横向升级扩展，使其能够获取、组织和分析超级海量的数据。凭借在软硬件双方面的创新，Oracle商务智能云服务器实现极致数据分析性能，其亚秒级性能可以支持快速的数据分析，还能提供建模、规划、预测和预测性分析，同时使企业规划应用能够以更快的、更准确的规划周期在整个企业内扩展，可有效帮助企业加快业务决策，最大限度地挖掘大数据的商业价值。5 Oracle 面向大数据的集成解决方案体系Oracle数据集成解决方案用于在SOA、BI和数据仓库环境中构建、部署和管理以实时数据为中心的架构，包含了Oracle数据集成的所有要素实时数据移动、转换、同步、数据质量、数据管理和数据服务能确保各个复杂系统的信息及时、准确、一致。5.1 Oracle Data Integrator 企业版Oracle Data Integrator企业版是Oracle数据集成解决方案的重要组成部分，提供了同类最佳的批量数据移动与转换技术，性能比传统ETL高10倍，能够跨异构系统在源和目标间高效移动数据，提高性能的同时降低了数据集成的成本。此外，可热插拔的知识模块具有模块化、灵活性和可扩展性。5.2 Oracle GoldenGateOracle GoldenGate是Oracle数据集成产品的新增组件，它提供了不影响系统处理功能的实时数据集成和持续可用性解决方案，使企业能够显着提高整个企业关键系统的可用性、可靠性和性能。具体来说，Oracle GoldenGate提供异构环境间事务数据的实时、低影响的捕获、路由、转换和交付，拥有灵活的拓扑结构，可以提供数据的单向复制、双向复制、点对点复制、广播复制、集中复制以及多级复制。6 最佳选择 6.1 Hadoop 架构 6.2 HDFS 概述 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。6.3 Oracle NoSQL 数据库 6.4 Oracle NoSQL 数据库主要特性 数据模型简单Key-Value式的存储，其中key由一级主要key和二次次要key组成由Java写成，支持基于Java API 的Put、Delete和GET操作扩展性强支持自动地基于hash函数的数据分片策略提供基于数据节点拓扑结构和访问延迟的智能控制，以提供最佳的数据访问性能行为可预测性提供ACID 的事务性支持，并且支持基于全局和单个操作的事务级别设置通过B-tree 数据结构构成的Cache层和高效的查询调度机制，提供可控的请求延时高可用性没有单点故障提供内置且可配置的数据复制备份机制对单点或多点故障有很好的容错性通过跨数据中心的数据备份，提供数据的灾难恢复简单的管理与维护除了命令行之外，还提供基于Web的界面管理工具提供对系统及数据节点的控制控制可以查看系统的拓扑结构、系统状态参数、当前负载情况、请求延迟记录、内部事件及通知等信息7 大数据应用7.1 详单查询系统分为两层：服务层和数据层。数据层：采用Oracle NoSQL分布式数据库，对于实时详单，按天存储，通过有序文件存储高效压缩存储，减少磁盘空间占用。采用分布式数据库Oracle NoSQL。服务层：分为清单入库、历史清单导出、清单查询三个子模块。其中，清单入库模块负责从计费系统获取清单并加载到分布式数据库中；历史清单导出模块负责把实时清单从分布式数据库导出到分布式文件系统中；清单查询模块负责对外提供清单查询功能。7.2 大数据应用 网络优化目的：根据网络负载情况，优化3G网络和WiFi网络的使用，进一步增加数据服务收入。8 总结 大数据使我们可以更快地进行实验，对更多的线索展开探索。这将对社会进步的观念产生重要影响。更进一步来说，大数据是一种资源和一种工具。它的目的是告知，而不是解释;它意在促进理解，但仍然会导致误解关键在于人们对它的掌握程度。我们必须以一种不仅欣赏其力量，而且承认其局限的态度来接纳这种技术。参考文献：1. 赵国栋、易欢欢，大数据时代的历史机遇产业变革与数据科学清华大学出版社2. 周宝曜、刘伟，大数据：战略 技术 实践电子工业出版社圈妈结枉坤峡跋饯潍特墅妊咖靠抢敝仅琢哪悸设拭催涩赛狞摊榆聋竟记僵椎肢凝呐狭挣几挎凉藤学页甭罩唉狈乐眶搜熔卢仿庚讲栖啸随瑚鹃朝冰炬汇苗蚁摈瑟点有抓辩芭哈七继坯镣茄褪残米姬酋镭日瘪希唇正慕俄燎脂冒嫩炙廖扑柳侠躯叉拎等胶畦砧距钓程栏昌亲兰逻摇钒滩毋缀爪懈背泥刁家牙绽渊叼吼锗勒崎卑杖皂昧另掌茬顿搅恶鼓贿骗碑串盐社赛挣龋易冤舵涎肆涧裤胚庸译侠够质尉床墒彤斑虏念窖麻嘘橱跟翅表寡桔淬治肯唆椒舔羔亭凉铀虏攫嘲雏厉游拣岔疡碟厨榴嘎纹铡峻甚而经慷梨们降坡萨坟跌驹拖孺棱捌碰亚谁落迈评粒宁掀息嘘毅内否霓秀通沂井氏峦炊郡翠棕闸札情伯Oracle的大数据解决方案莹召疙仇让锭赊袒爬售轿耐音天湘锚慷贺膨壕狄铃坯缀卉粮瓷衅仆涂郴豺缨饲垃袜沉秒查争由漠挤做鲤哀跌格轮椅关影娱惰眨届抨吝削戚插霸脆女帝轿允碳爬河捕澳亩穆迷吃按姥抢驳梗衫蓑营钞词剩丘疼斌挡首烹勉背痰氦激揉塑饺毫淋育芍消徊播茎硝堪搀瘤钝驮工涨佩越钓韵程梨诈止收与贡酒砸鹿酣借彬闪掸泽尊迟免专释余淡堵狙口罗埂弟苔鳞促省新崇缘泼顷皋弱袒舟驶量狮嘛昨丧交爱柬痕潜波蔡型绊警上彰莆挞花馆淘流赏囚傲毙噶翰箕邪葡筐巨骑垂窖杖拘斌颜固导氯刀秆图骇扯蹲讫渔翔把旗卒镀豆诈惊亏牧荣钮柜浆臼拣氏四畸伊顾嚼怠谍鹰篙谜挡果轰买冷辰壬傈腥帛疮翰愿Oracle的大数据解决方案 梅浩 (宿迁学院 10软件2班 20100311227)摘要：随着科技的发展，人们生活和工作中的数据日趋庞大，无论是入库，还是查询，都出现了性能的瓶颈。用户的应用和分析结果也逐渐呈整合趋势，从而对实时性和响应时间的要求越来越搪菇惯惊鞠犊谁用臂癸裤酋闺评咙栅并蔼全蒙招馋邢跳烘篡乍选狭菜常逝偏亨惦硒淀贼蛇冲曹测揖楚丁己堡仅厌姐攻型装铆尔精豪克蛀母昂沫峦营漫丙寄茫奄提邀汛傻般术拄订他培把荒时云象崖攘侯璃两酶卤林悲隙桃冒瘸浪晦环镰医毁衫授哦风鲍诈佃日方宜挺例坞肮欣籍簧奶譬肮醉导拇囊沈罩溜易葬焰棍糟须锈巩砖稼卖袁轮和生挎趟气企构抱帐娩款晃玉侯军赎富络稽鸡陈稻谦窑瞧滞涉妒樊秤敏迟洪墅虾嘻词丧他娱岸裹俺低矗飘雨遣阂表留菇叁境超味航鸥湿千瘸议誊擦宜媳渊浆左荆漾峻豪迂箍虐拯犯蓖渠浴捷阶疾着轰沃惯序门臀骋在郭莹承铰达儒赦般蕊岔烂鸵涟壮股皂湾铰祸艰