全业务运营对存储的挑战及带给我们的思考.docx

全业务运营对存储的挑战及带给我们的思考 随着电信运营商重组的深化和3G牌照的发放，全业务运营的课题摆在了电信运营商的面前，对固网和移动网的融合、语音业务和数据（多媒体）业务的融合，乃至更广泛的三网融合等对全业务运营支撑的影响，是各电信运营商面临的挑战和需要考虑的现实问题。 1全业务运营对支撑系统的影响 在全业务运营时代，电信运营商需要准确把握用户需求多样化的发展趋势，聚集多领域的资源和能力，整合各种信息、内容和应用，将不同主体提供的各种业务和服务有机地结合在一起，为用户提供“一站式”多样化的业务。这就要求电信运营商做到统一产品管理，统一资源管理、统一业务管理、统一客户数据管理，并做到融合计费、综合业务受理，以支撑企业精细化的管理和精确化的营销，提高客户服务质量和满意度。但是，这些都离不开系统的支撑。由于开展全业务运营，BOSS系统为支撑更多的业务，要划分成更多的功能域：综合采集、融合计费、综合帐务、服务开通、产品管理、营销管理、渠道管理、订单管理、资源管理、综合结算、客户管理、客户服务、统计报表、合作伙伴管理和系统管理等。而经分系统面对全业务运营，基于企业级数据仓库，针对不同类型的客户和多样性的大量产品，通过对上述海量数据的挖掘和分析，寻求客户个性化的需求，提供企业战略决策和战术层面的产品。对支撑系统而言，这些不仅会带来数据的爆炸式增长，更要求对大量数据要实时处理。可以想象，现有业务支撑系统要满足卜述要求，就要不断地扩容，而存储是其中很重要的一部分。问题的另一方面是，同一个企业内部有多种不同的存储设备和管理软件，在管理上不统一。这不仅对系统工作人员的技能提出了更高的要求，而且造成了大量未被充分利用的存储资产，且不能互通互连，浪费了投资。如果不改变现状的话，只能通过简单购买更多存储设备来应对暴涨的数据需求。这不仅让企业投资形成了很大浪费，更对统一管理带来了很大困难。更有甚者，极易由于管理不善（管理难度加大）导致系统可靠性和安全方面的隐患。 2全业务运营对支撑系统数据存储的挑战2.1对存储容量的挑战对全业务而言，目前客户数据管理不统一，批价引擎不统一，账务处理过程不统一，产品管理目录也不统一。解决这些问题，会对支撑系统的存储提出更高的要求：客户管理需要增加更多的信息字段来保存用户的各种产品订购关系；计费帐务处理也要增加相应的字段，记录对各种叠加产品、不同促销活动的捆绑打包优惠情况。同时随着移动数据业务、流媒体业务的发展，单纯的包月和基于承载流量的计费模式越来越无法适应业务发展的需要，用户对服务组合的需求日益强烈，基于不同业务流量、时间、事件的内容计费方式成为热点。内容计费分为基于流量的计费、基于事件的计费和基于流量和时间的融合计费几种方式。目前的内容计费业务大部分计费话单是ASN1变长格式。按照发展趋势，即使日前最常用的语音业务也要从定长话单格式改变为变长格式。ASN.1变长格式和以前的BCD码定长格式相比，单条话单记录长度不是固定不变的，而是随着用户使用业务的复杂性增加而变长。BOSS系统会根据原始话单中用户使用不同业务将话单分拆为多条单一业务话单，此过程会大大增加存储的消耗。按照目前3G PS域和以前GPRS SGSN处理后的话单相比，大约增加了50%的存储需求。2.2对存储性能的挑战全业务产品复杂多样，而首当其冲的挑战是对存储的实时性要求。724小时不停机的电信级的服务以及动态变化的环境使用户对实时性的要求越来越高，用户可以容忍的备份时间越来越短，常常不允许离线备份。其次，当前企业用户对存储容量的需求与日俱增，但存储大多是以一种“孤岛”的形式存在，利用率不高。企业无论规模大小，都会存在一些存储上的通用问题，由于业务产品的复杂多样，SLA和QOS要求不同，对存储的要求也不同。就存储媒介而言有存储服务器、磁带、光盘等，因此存储也会变得非常复杂。同时，基于成本考虑，不同性能的存储应服务于不同业务。2.3对存储安全性和可靠性的挑战全业务环境下，整个企业的产品运行在支撑系统之上，数据将成为企业的核心资源。由于业务支撑系统的工作完全是724小时全天候的，存储故障导致的系统中断将直接造成企业收入损失、业务瘫痪、客户账单出错等重大故障。企业的支撑系统一旦遭遇系统故障，将给企业和客户带来不可估量的损失。因此，存储数据不能丢失或丢失后必须及时恢复，存储的安全性和可靠性能直接保证了业务的连续性，其压力非同一般，将成为企业选取存储的重要考量之一。2.4对存储成本的挑战许多相关厂商都在生产专门和特定类型的存储平台，以适应每个应用程序，结果造成运营商购买了大量不同的系统以确保满足不同的需求。但其兼容性难以考虑，直接导致存储管理资源成本的上升。如今由于考虑经济因素，需要计划性地添加存储设备，遏制存储网络日益复杂导致的管理成本增长。同时因安全原因，即便存储设备上的数据已经不再有效了，也不能随意丢弃它们，这无疑也增加了存储管理成本。此外，还要考虑存储管理和维护的隐性成本。除了存储本身的购买及管理成本之外，还有一系列与存储相关且不容忽视的支出，即环境成本、功耗成本、空间成本等，算上这些隐性成本，存储昂贵得令人难以置信。因此，限制存储的增长是一个普遍的问题。怎样应对存储成本不断上行的压力，是亟待解决的问题。 3全业务环境下对存储管理发展的思考针对上述挑战，如果仍延续传统思路，将难以应对。解决之道是，除了加强管理之外，还需要从技术层面加以解决，且这样做的重要性不言而喻：既要满足用户对容量的巨大需求，还要提供足够的I/O带宽，同时要更方便管理。存储从主机内置（直联技术）发展到集中式的SAN (Storage Area Network)网络存储模式，已经是一个巨大的进步。但这还不够，还应紧紧跟踪存储新技术的发展，及时地将其应用到实际部署中以解决面临的问题。3.1存储虚拟化由于企业在不同时期采购了不同厂商的产品，导致同时存在多种异构的存储设备、服务器及操作系统，这使得不同系统的兼容性成为日益突出的问题，一旦处理不当，将给数据的保护和管理维护带来极大困难。存储虚拟化技术的应用，不仅可提高存储交换机端口的使用率，还可以更好地实现异构存储平台的整合，将不同厂商、不同架构的存储资源整合为开放、标准的存储资源池，统一调度，统一数据管理，从而大大提高存储资源利用率。3.2分层（级）存储将所有数据存储在一个存储层中，而不考虑不同应用和数据的价值。这样，高价值的数据往往得不到足够的资源，而低价值的数据和归档数据则使用了远远超出其需要的资源。这样带来的后果是，存储不能满足需求且利用率差，导致相对较高的资金和固定资产投入。分层存储是一种更好的选择，就是根据企业资料的重要程度或时间要求（即数据不同的重要性和访问频次等指标），将数据分别存储在不同性能的存储设备上，对不同数据给予不同级别的保护与储存。这样一方面可大大减少非重要性数据在一级本地磁盘所占用的空间，还可加快整个系统的存储性能。在分级数据存储结构中，磁带库等成本较低的存储资源用来存放访问频率较低的信息，而磁盘或磁盘阵列等成本高、速度快的设备，用来存储经常访问的重要信息。数据分级存储的工作原理是基于数据访问的局部性，通过将不经常访问的数据自动移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁访问的数据，可以获得更好的总体性价比。多层存储使成本和价格因素被分散到多个存储层中，从而在短期内降低了资金和固定资产的投入来自www.lW5u.coM。3.3云计算技术对于存储系统，我们关心数据的香吐量及定位、搜索和路由的效率。传统的集中方式无法满足大规模数据存取的要求，需要采用新的体系来管理系统中的数据。采用云计算技术，基于廉价的工业标准PC集群、开源Linux、开源计算和数据管理平台及文件存储分布化，可以将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。云计算的分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，大大提高了系统的可靠性、可用性和存取效率，还易于扩展。3,4固态盘技术随着人们越来越开始关注能源、冷却、占用空间以及与它们相联系的生态经济问题，固态硬盘(SSD)已经重新崛起成为应对这些问题的一个解决方案。我们通常所说的SSD，由于采用Flash芯片作为存储介质，有如下优点：数据存取速度快：它内部没有机械结构，因此没有数据查找、延迟和寻道时间；经久耐用、防震抗摔：即使在高速移动甚至伴随翻转倾斜的情况下也不会影响到正常使用，而且数据保护不受电源控制，能够将数据丢失的可能性降到最小；SSD工作时非常安静，没有任何噪音产生。这是因为SSD固态硬盘没有机械马达和风扇，以及较小的闪存芯片发热量小、散热快等特点，工作噪音值为0分贝。3.5绿色存储长期以来，业务支撑系统的发展并没有对未来的能源问题及散热需求给予充分的考虑。一旦一台存储机架被安置在机房后，就很难在不中断应用的情况下对其进行迁移（除非机房实在是在放不下了）。存储设备约占支撑系统电力消耗的30u/o35%左右，不断增加的在线数据使用电量不断膨胀，而削减存储系统能量消耗可以显著降低整体能源消耗。在人们对于能耗的关注越来越强的今天，使业务支撑系统性能最大化，使能耗和散热量最小化，将被视为支撑系统整体管理的重要方面。具体做法是：采用更低能耗的设备；提高存储设备利用率；使用更少的物理硬件实现更多的存储服务：避免重复的数据存储，在集中存储的条件下，使用“动态配置”；按照数据的生命周期建立分层存储空间，提高数据移动的灵活性，数据可以很容易地迁移到更低能耗的存储中。3.6动态犷展传统SAN存储只能在一定的范围内实现一定程度的扩展升级，比如说低端产品只能在低端的范围内适当扩展，并且随着设备的扩展，存储的性能无法实现线性增长。以前客户考虑比较多的是数据的可靠性，当可靠性得到提升和真正海量数据时代到来后，存储的扩展性和环保也成为用户考虑的方面。存储的扩展性其实是一个存储系统的规模扩展，就像并行计算系统1万亿次规模到10万亿次规模的扩展，扩展就不仅只是容量，还包括性能的动态扩展。把存储系统中的控制器、Cache、磁盘作为三个主要的模块，根据应用系统的需求随意组合成用户所需要的存储系统。比如用户磁盘空间不够、存储性能下降等情况，系统可以动态扩展，控制器模块和Cac,he模块扩容就像目前广大用户使用的服务器CPU和内存的升级一样，所不同的就是这些升级都是在线的，无需停顿当前业务。3.7高度关注存储服务质量只要有服务，就有服务质量(QoS)问题。业务支撑系统的存储会和服务器的计算能力一样重要，特别是应用环境越来越复杂，存储需求区别也越来越明显，这就需要为应用提供不同的服务，存储的服务质量是与应用高度相关的。因此，如何为用户提供满足其应用需求的存储服务就成为大家关注的一个问题。存储服务QoS至少应该包括以下几个指标：容量。这是最基本的指标，能多快满足改变迅速而又难以预测的容量需求已经成为提供存储服务质量的一个重要指标。可用性。为提高系统的可用性，有时需要采用多种技术，如：RAID技术、备份技术、镜像技术、集群技术、复制技术等。I/O性能。即响应时间与吞吐量保持最优。存储安全。近年来，网络存储存在着太多威胁，包括数据更改、破坏、窃取、攻击、恶意软件以及未授权访问等。要求在数据保存上确保完整、可靠和有效调用，即存储设备自身的可靠性和可用性（存储安全）以及数据在访问路径上的安全（线上安全）必须得到保证。特别强调的是存储系统安全与可靠性有关。如果存储磁盘坏了，系统还能否应用？能否相互备份？这是用户非常关心的问题。毕竟存储可靠性是大多数用户在决定选择产品前最先考虑的因素。 -全文完-