移动公司短消息计费系统建议方案模板.doc

XX省移动短消息计费系统技术提议方案北京华胜天成科技股份第1章 序言4第2章 系统概述42.1 系统概况52.1.1 现有系统概况52.1.2 建设系统概况52.1.3 系统设计目标52.1.4 数据库平台要求52.1.5 主机服务器平台要求62.1.6 计费数据处理要求62.1.7 维护管理要求72.2 系统设计标准7第3章 系统结构设计93.1 短消息计费系统特点93.2 应用软件体系结构103.3 数据处理流图113.4 软件功效模块123.5 服务器处理模式设计12第4章 平台及运行环境设计134.1 主机系统设计标准134.2 主机系统平台现实状况134.3 主机系统需求分析144.3.1 影响性能多个方面144.3.2 服务器性能分析154.3.3 在线存放容量计算164.3.4 提议方案17第5章 应用软件设计205.1 短消息计费系统功效介绍205.2 数据采集和传输子系统205.2.1 功效介绍205.2.2 传输系统结构215.2.3 系统功效225.3 数据预处理235.4 话单划价255.5 反复话单过滤265.6 话单并行入库265.7 计费结算285.8 统计分析285.9 稽核排错285.10 数据交互295.11 系统查询295.12 系统维护30第6章 系统关键问题316.1 和GSM计费系统融合316.1.1 简述316.1.2 系统结构图326.2 相关帐务系统336.3 相关超额部分336.4 相关SMC话单33第7章 系统平滑过渡347.1 组织347.2 系统过渡割接方法347.3 系统过渡割接步骤34第1章 序言伴随中国移动通信事业迅猛发展，为了迎接日益临近市场竞争，电信部门在开拓市场业务，扩大电信网通信能力同时，越来越重视电信企业内部服务意识，并不停完善电信企业服务体系，为此作出了不懈努力。南京联创系统集成股份自成立之初便确立了以电信行业作为自己关键发展方向。现在，在电信行业已含有了丰富积累和长足发展，取得了可喜成绩。尤其在电信计费、电信业务这一领域，企业着眼长远，立足未来，投入了大量精力，进行电信计费、业务等应用软件研究开发工作，致力于为电信行业提供全方面处理方案。现在企业已含有一批既精通计算机技术又深谙电信业务专业技术人员和一支稳定高素质开发队伍，为能够开发移动短消息计费系统准备了充足人力资源和强大技术支持。而且，江苏移动短消息计费一期工程也是由联创企业承建，我们对原来系统了解将有利于我们愈加好建设新系统。同时，我们真诚地期望，藉此机会能够和贵局进行广泛交流，深入巩固和加强相互间长久友好合作关系。我们将虚心地向贵局行家们学习、请教，深入提升我们知识水平和业务能力，从而为江苏移动提供愈加优质、完善服务。第2章 系统概述江苏移动通信已于5月依据集团企业要求建设了短消息计费应急系统，实现短消息按条计费要求。伴随短消息用户数增加，现在全部GSM用户全部能够是短消息用户，同时伴随手机炒股，GPS定位、和MONTERNET计划中大量基于短消息丰富应用逐步推出，原来短消息应急系统在性能和功效上全部难以适应业务发展要求，迫切需要建设一个完善短消息计费系统。2.1 系统概况2.1.1 现有系统概况移动计费短消息计费系统现在为应急系统，其中有五台机器组成，两台pc机及三台惠普pc server，pc机上安装有SCO UNIX，分别运行短消息话单预处理及下发程序。Pc server上安装有NT操作系统，运行SYBASE11.9.2数据库服务器，分别处理南京、无锡、苏州等三个短消息中心产生短消息话单。现在该系统支持全省100万用户短消息业务，每个月短消息话单数大约为万。2.1.2 建设系统概况本期工程设计关键实现省计费中心系统实时处理能力满足数字网（GSM）300万以上移动用户天天7条短消息话单计费需求。2.1.3 系统设计目标伴随电信企业向着规模化、多元化经营转变不停加剧，越来越多电信企业开始从传统、单一经营模式向着“以市场为导向，以满足用户需求为经营目标、以服务于用户为经营宗旨”经营理念转变，这就更深入加大了电信企业间竞争力度。怎样愈加好地服务于用户、愈加好地满足市场需求已开始成为众多电信企业经营者关注所在。本期工程就是要为XX省构架一个覆盖全省短消息计费管理平台，系统建设按满足到移动通信网用户发展需要考虑（300万以上GSM短消息用户）。本期工程建设目标是，建立一套能满足300万短消息用户短消息计费平台。 2.1.4 数据库平台要求数据库平台应采取SYBASE数据库平台,能完成大容量数据实时处理和管理能力，SYBASE数据库能满足以下要求： 支持ANSI/ISO SQL-89、ANSI/ISO SQL-92； 支持并行处理技术； 支持主流厂商操作平台； 支持多个复制功效 支持联机分析处理（OLAP）； 支持联机事物处理（OLTP）； 支持C2级以上安全标准、多级安全控制； 含有强容错能力、错误恢复能力、错误统计及预警能力； 支持联机、脱机备份等。2.1.5 主机服务器平台要求主机服务器平台应含有较高安全控制机制，各平台除有足够能力进行计费处理外，还应含有其它（比如故障检验、故障处理等）应急处理能力。所选择主机平台应该满足以下特征：1高扩展性。当业务量增加或增加新业务时，主机能以增加节点、处理器、内存等方法提供更高性能来满足新要求。2高可靠性。主机系统需7*二十四小时连续运行，同时系统应含有良好容错能力。系统应采取冗余配置，确保系统无单一故障点。3支持并行技术。支持多台主机并行处理，以确保大容量数据处理要求。4易于管理和使用。确保系统易使用性，并使系统在较优状态下运行，以提升系统运行和处理效率。5恢复周期短。当对系统进行扩容或系统发生不可预见故障时，系统应能在二十四小时内恢复到正常运行状态。2.1.6 计费数据处理要求数据处理包含三部分数据： 短消息中心采集到原始话单数据。 短消息网关采集到原始话单数据。 集团中心下发本省用户全国性业务话单文件。为确保忙时数据处理要求，系统完成对话单计费处理（包含格式转换、检错、纠错、入库、查找重单、分检）速度正常情况下要达成： 当地话单，从话单出现在计费采集接口到完成计费处理（包含采集、预处理、批价、存放、分检），不超出15分钟； 全国业务话单，从话单放在全国移动计费结算中心设在省中心通信服务器到完成数据处理（包含话单检验、存放、分检），不超出15分钟。2.1.7 维护管理要求 系统含有良好交互性，操作简单、明确。 系统提供多个访问手段，许可管理员在不一样环境下对系统进行管理。 系统提供完备监控和调度工具，含有完备监视、故障检验和告警、故障处理功效。 尽可能将主机、网络、数据库、应用系统、和第三方产品管理集中到单一监控和管理平台上。 系统管理应含有较高自动化程度。 系统应含有可靠备份机制。2.2 系统设计标准针对移动短消息计费系统特点，为了确保系统成功实施，我们制订系统设计标准为：系统性、正确性、完整性、可维护性、优异性、继承性、安全性、规范性和容灾考虑。u 系统性：移动短消息计费系统是一个覆盖了全省计算机管理工程，要想成功地构架这一系统，使之能满足XX省现在直到300万以上移动用户需要，则必需正确合理地综合分析主机、网络、数据库系统所提供性能并充足考虑到整体系统可扩展性，使整个应用系统性能达成最好状态，以满足不停增加用户数及话单数要求。u 正确性：指数据正确性。数据正确性必需贯穿在整个短消息计费系统每个步骤中，数据采集、数据传输要有对应数据校验，必需剔除计费过程中多种类型错误话单，排除用户三个月以内反复话单、和各业务管理中心等系统进行数据交互时正确性、兼容性。在系统设计时充足考虑系统运行过程中数据正确性并提供合理处理方案。u 完整性：指系统功效完整性。它要求短消息计费系统应满足XX省移动通信业务经营、管理、决议需要，同时要求系统能和其它系统（如集团中心短消息中心）进行信息共享或提供数据接口。u 可维护性：指系统中某一相对独立模块发生改变时，不影响其它模块运行，维护操作简单，用户操作界面友好；当系统处理一些指标需要动态改变时，不需要修改程序代码就能够实现对应功效，充足做到代码和数据独立性，以降低操作维护人员工作量和工作繁重程度。u 优异性：指系统模式结构优异性和软件设计思想优异。在构架移动短消息计费系统时必需采取优异、成熟、可靠技术，确保整体系统优异性，利用面向对象设计思想，对部分通用性、规范性较强模块采取面向对象“构件”技术，对于超大规模数据量，引入“数据挖掘”等优异技术，为系统决议支持、数据分析提供优异工具平台。u 继承性：指本系统在开发实施阶段，应充足考虑利用XX省原有短消息计费系统及移动电话计费系统数据资源和其它部分能够继承软、硬件资源，必需在建设系统中得到充足利用，以充足保护用户投资利益。u 安全性：计费数据是移动经营最关键收入起源，而整个计费系统是构架在全省范围内一个大型广域网系统。所以，在信息高度共享系统中，必需充足利用主机、网络和数据库管理系统提供安全保障机制，确保计费数据绝对安全。对于应用系统而言，对全部系统数据操纵，严格根据权限等级进行，严禁非法用户进入系统，对于操作人员进行对应关键操作有对应操作日志。同时，对系统关键数据提供可靠备份和恢复机制，以确保整个应用系统安全。u 规范性：在技术、业务了解上要完全遵照XX省移动企业相关短消息计费要求；在主机安装、网络设计时严格遵守对应规范；应用系统实施数据库设计时，也应根据规范化理论进行，同时保留一定冗余，确保系统效率和性能。u 容灾考虑：系统应尽可能考虑到怎样避免异常情况出现，同时也应考虑在异常情况出现时处理方法。第3章 系统结构设计3.1 短消息计费系统特点短消息计费系统和传统GSM话音计费是有着很多区分，所以，短消息计费系统在业务处理上和步骤上应该有其本身要求，如：1、 短消息系统话单源和GSM计费系统有差异。短消息系统话单源不仅产生在短信中心，同时，也会产生在短信网关，而且，这两种类型话单源还起着不一样作用，一个是用来计算用户通信费，一个是向用户代收取信息费和和SP之间结算；2、 短消息系统话单依据采集点及话单不一样，分为MO、MT、SMO、SMT、SMC、SMF、SMA多个类型，分别起着不一样作用，而在传统计费系统中，通常所包含到话单类型为MOC、MTC、POC、PTC多个；3、 短消息话单中一些话单是已经批好价，如从短信网关传送回话单，已经包含了用户信息费，而对于GSM来说，全部话单全部需要进行批价计费。4、 从短信中心产生话单和从短信网关产生话单格式是不一样。5、 短消息费用类型和GSM和区分，GSM话单费用类型能够分为通信费、长途费两大类，而短消息所包含到费用为通信费、信息费、劳务费6、 短消息牵涉到和SP之间结算，而GSM牵涉到是只和联通、电信等电信运行商结算。7、 短消息系统不仅是要向用户“收钱”，而且因为有“WAD”信息公布、广告业务，短消息计费系统还要向用户“送钱”，这一部分送钱需要和帐务系统间重新定义接口，方便于将其转换为用户预存话费。不过，短消息系统处理步骤又和原有GSM话单计费步骤有着很多相同之处，如：1、 全部包含对话单采集和预处理；2、 对需要对话单正确性进行校验；3、 全部需要对话单进行稽核统计；4、 全部需要对话单根据某一政策、按不一样费率进行计费批价；5、 全部会对部分话单进行上传和下发接收处理工作；6、 全部需要将计费产生用户费用信息传输给帐务系统，由帐务系统最终形成综合化帐单，向用户收取费用。3.2 应用软件体系结构在充足考虑到短消息计费系统本身特点和和GSM计费共同点以后，我们对短消息计费系统体系结构进行了合理划分：短消息计费系统应用软件体系结构能够分成四层：即预处理层、关键处理层、管理层和接口层。以下图：这么划分对于系统整体灵活性有着很大好处，能够使系统能愈加适应以后业务改变。结合应用软件功效和应用软件分布情况，应用系统结构以下图所表示：考虑到系统充足利用现有设备，所以，计费批价服务器采取现在已经有L服务器，数据库服务器采取HPN4000服务器。3.3 数据处理流图短消息计费系统数据流图以下：3.4 软件功效模块短消息计费系统关键有以下多个功效模块，各关键功效模块间关系图以下：3.5 服务器处理模式设计伴随多种短消息业务开通，短消息话单和刚开通短消息是相比，已经取得了长足增加，现在应急计费系统已从开始一台数据库服务器扩充到三台数据库服务器，现在每个月话单数已经达成了3000多万，而且数据量还在不停增加，所以在进行主机选型时候，一定要考虑到主机性能要满足数据量不停增加需要。因为短消息计费系统在处理步骤上和移动电话计费系统相同性，我们在考虑服务器处理模式时候将以现在移动计费系统处理模式为参考，即系统由多台处理服务器组成，每台服务器处理能力达成极限后能够在系统上有机增加服务器从而增加整个系统处理能力，而系统总体结构不需做大调整。第4章 平台及运行环境设计4.1 主机系统设计标准联创系统集成股份在进行主机系统方案设计时遵照以下设计标准：u 开放性计算机系统应支持工业标准或事实标准，方便伴随以后需求发展可添加和更新新模块。u 优异性在兼顾系统成熟性前提下采取业界优异技术，这么才能确保现有系统优异性，并伴随技术不停发展得到对应更新。u 可扩展性用户业务及需求在不停地发展，当现有系统不能满足应用需求时，系统应有平滑升级能力。u 高性能高性能应表现在整个计算机系统中，包含服务器、网络、I/O操作和软件。u 可管理性因为计算机环境不停扩大，IT系统愈加复杂和覆盖面增加，对服务器、网络设备和应用软件管理已成为设计计算机环境不可缺乏一部分。u 选领导地位厂商产品如所选厂商不在业界处于领导地位，尽管有时所选产品在技术上有临时领先性，但很轻易被猛烈市场竞争所淘汰，用户投资将得不到保护。短消息计费处理系统应严格根据业务协议内容设计、实施，做到计费数据处理立即、正确，系统简练，便于维护，各类功效齐全而易于扩充。采取优异和技术成熟主机、网络和应用系统，建立一个含有高可用性、高可靠性、高安全性、有良好可扩展性和可维护管理性正确、快速、开放高性能系统。4.2 主机系统平台现实状况现在系统平台现实状况以下：各机器配置信息以下：数据库服务器：PC服务器，CPU 400MHZ以上，内存1G以上、硬盘100G（现在数据库服务器已从一台扩充到三台）；预处理服务器：高级PC,CPU300以上，内存256M以上、20G以上；下发服务器：高级PC，CPU300MHZ以上，内存256M以上、20G硬盘，MO驱动器；应用服务器：PC、CPU300以上，内存128M以上、4G以上。软件环境以下：数据库服务器：操作系统Win NT4.0、数据库Sybase 11.9.2；预处理服务器：操作系统 Sco Unix 5.0以上版本、Sybase 11.9.2 Client；应用服务器：操作系统Win9X、Sybase 11.9.2 Client、PowerBuilder 6.5以上；下发服务器、预处理服务器：操作系统 Sco Unix 5.0以上版本、Sybase11.9.2。4.3 主机系统需求分析4.3.1 影响性能多个方面影响服务器整体性能原因是多方面，针对不一样应用，设计时考虑侧关键也不一样。移动通信计费系统这类联机事务处理应用，关键从CPU、内存和I/O三个方面考虑，下面分别进行叙述：CPU：联机事务处理主机，关键是作为数据库服务器而不是计算服务器，所以以服务器TPM值作为相对选型参考值。需要说明是厂家公布服务器TPM值，通常是采取最大硬件配置、根据100%利用率所得到，而在实际建设中系统配置往往小得多，系统性能TPM不会有公布值那么高，在对服务器处理能力进行估算时，需要将部分经验值和TPM值一起综合考虑。内存：内存是全部程序运行环境，在CPU和系统软件处理能力范围内，内存越大则服务器处理性能越好，但不一样应用对内存要求不一样，所以在计费系统服务器内存设计中，需要从应用需求角度来考虑，寻求最好配置。I/O：在CPU处理能力一定情况下，磁盘阵列I/O速度，可使服务器整体性能表现相差几倍到几十倍，所以我们在设计中要尤其注意磁盘阵列I/O选型，尽可能选择I/O带宽高磁盘阵列，同时考虑到单个磁盘I/O速度是一定，需要靠多磁盘并行读取来提升磁盘阵列I/O速度，在容量和性价比许可情况下，尽可能选择容量小而数量多磁盘，能大大提升磁盘阵列I/O吞吐性能。依据应用对磁盘阵列划分进行优化也是提升I/O性能一个关键方面。4.3.2 服务器性能分析4.3.2.1 预处理服务器l 联机事务处理能力分析预处理服务器关键用于将采集系统传来原始话单标准化，并统一批价后形成话单清单供计费服务器排重入库，其处理是文本转换和简单计算过程。依据联创在移动计费上经验和一百万用户级系统实际运行测算，一百万用户话单预处理需要TPM值为左右服务器，则300万用户量需要6000tpmC处理能力服务器。l 服务器内存容量分析为确保预处理高效，文本转换过程应全部在内存中完成，批价所需费率等参数表也应常驻内存以避免反复读取影响效率。依据联创在移动计费上经验和一百万用户级系统实际运行测算，一百万用户话单预处理需要内存200MB，则300万用户为600MB，考虑到系统本身开销，所以推荐内存配置为1GB。4.3.2.2 计费数据库服务器计费数据库服务器是整个移动计费系统中心服务器，运行数据库管理系统，负责进行话费排重和入库，并提取供统计分析使用相关数据。l 联机事务处理能力分析一张话单处理步骤包含：打开文件、读统计、纠错、入库、出库等等，依据联创在移动计费上经验和一百万用户级系统实际运行测算，每张话单处理约等价于0.5个标准事务，则：300万用户，平均每个用户天天7张话单，即天天2100万张话单；平均每分钟处理话单为：2100万/(2460分钟)=14584张；假设通话高峰时间天天为8小时，则高峰时服务器负荷按平均负荷3倍计算，此时要求系统tpmC值为：145840.53=21876 tpmC；提议系统利用率不超出80，则需要配置处理能力为21876/80=27345tpmC。l 服务器内存容量分析计费结算是将经过标准化和批价原始话单入库和汇总过程。因为交换机是定时向外传送话单信息，所以在某种程度上计费结算是一个批处理过程。依据联创在移动计费上经验，综合考虑数据库共享内存使用和系统、数据库本身开销，提议根据1GB/CPU配置内存。l 提升I/O性能路径1.采取高传输带宽（100MB/s光纤通道或相当）存放设备；2.依据应用对磁盘阵列进行划分，使尽可能多磁盘并行读写；4.3.3 在线存放容量计算依据江苏移动短消息计费系统业务量和具体特点，和从数据库、磁盘使用技术等方面考虑，我们按以下要求配置存放设备容量：s 本工程满足300万用户量处理需求，每用户天天平均7张话单；s 在线存放容量关键考虑话单清单容量，每张话单按200字节计算；s 话单在线存放4（3+1）个月，每个月按30天计算；s 数据库冗余度50%（关键是考虑到数据库索引和其它部分表占用空间、数据库不能立即释放空间、数据库运行、恢复、日志、临时和共用池空间）；s 磁盘利用率85%（关键考虑到磁盘最好使用性能和部分额外磁盘开销）；s 数据存放保护技术决定空间利用率，镜像为50%；则所需磁盘容量=300万7304200（1+50%）/0.85/0.5=1657GB。4.3.4 提议方案即使高级UNIX服务器出故障可能性很小，但因为江苏移动短消息计费系统是江苏移动通信企业业务支撑系统关键组成部分，所以在进行主机系统方案设计时仍须考虑其高可用性，同时兼顾性价比。4.3.4.1 具体设计上一节中，我们对满足江苏移动300万用户规模短消息计费系统所需主机处理能力、内存大小和存放容量等进行了具体分析。联创提议方案出发点就在于在满足性能要求前提下，怎样提升性能价格比，最大程度为用户节省投资。预处理服务器采取两台HP A500服务器，配置单550MHz PA8600CPU，1GB内存，双18GB内置硬盘，考虑到联创计费软件预处理模块特点，能够不组成双机系统，而经过手工切换；计费数据库服务器采取HP N4000服务器双机系统，每台配置4550MHz PA8600 CPU，4GB内存，性能达成33000tpmC。下发服务器和应用服务器能够采取已经有L服务器。联机存放采取HP FC60磁盘阵列，配置容量2TB，经过光纤交换机和上述服务器连接，组成存放区域网（SAN）。 4.3.4.2 方案特点 高可用性采取高可用性技术：系统停机原因保护策略系统（System）MC/ServiceGuard技术确保当系统中一台服务器失效时，其它服务器快速恢复这台服务器上应用程序和数据库系统正常工作。内存（Memory）系统能够动态检验内存，当发觉坏内存页时屏蔽该内存页不再分配给系统使用。网卡（Network Interface card）系统配置双网卡，一块工作，一块作备份。MC/ServiceGuard可监测网卡，当其中一块不能正常工作时，MC将自动切换到备份网卡。接口卡服务器和磁盘阵列经过双接口卡连接，其中一块卡失效时另一块卡仍可确保系统正常运行。Internal磁盘（Disk）系统盘：用MirrorDisk/UX软件对引导区（root）、交换区（swap）镜像。高可用性存放系统（High Availability Storage System）可热插拔磁盘、电源和风扇模块。FC60冗余电源子系统和系统后备电池。磁盘和高速缓存检测和纠错。应用（Application）MC/ServiceGuard能够在同一系统上再次开启应用软件，或将应用迁移到备份系统上。HP-UX当系统出现突发停机时，HP日志文件系统（JFS）将在10秒以内使系统恢复运行。 灵活性因为采取了SAN技术，当业务量出现突发性增加时，能够方便地经过增加服务器或存放设备方法提升系统处理能力，而不需要重新构架。这种灵活性既保护了用户投资，又提升了业务系统对市场改变适应能力。 可扩充性在满足300万用户规模计费性能要求同时，该系统还含有充足扩充能力，能够平滑扩展到更高用户量处理能力要求，具体表现以下：主机系统经过增加CPU扩展性能：A500单机最多可配置2个550MHz PA8600 CPU，处理能力可达15000tpmC。N4000单机最多可配置8个550MHz PA8600CPU，处理能力可达60000tpmC。主机系统经过增加内存扩展性能：N4000单机现在对内存支持最高可达32GB。A500单机现在对内存支持最高可达8GB，主机系统增加内存会对数据库等大内存需求应用有很大性能提升。主机系统经过升级CPU扩展性能：现在HP已经推出了性能更高550MHz PA8600芯片，HP会推出PA8xxx芯片及以后IA64结构CPU，N4000能够经过CPU升级达成系统性能提升目标。主机系统I/O扩展能力：N4000单机支持12个PCII/O槽口，I/O带宽可达5.8GB/s。主机系统复杂扩展:除了上述简单扩展方法外，也能够经过在群集中加入新结点方法来实现性能扩展。现在MC/ServiceGuard可支持HP 9000 Server结点数为16个，所以也含有相当扩展余地。另外，假如应用性质会转为数据仓库话，在增加一个基结点后，现有服务器全部可作为附加结点加入到企业并行服务。存放系统容量扩展：HP FC60最大可扩充至4TB。第5章 应用软件设计5.1 短消息计费系统功效介绍短消息计费系统是一个综合复杂系统，它处理步骤和移动计费系统类似，由很多子系统共同组成，并和其它相关系统存在不一样接口。短消息计费系统关键包含数据采集和传输子系统、预处理子系统、划价子系统、下发子系统、统计子系统、稽核子系统、查询子系统、监控子系统等，下面对各子系统功效要求进行具体描述：5.2 数据采集和传输子系统5.2.1 功效介绍短消息计费系统数据源有三种：1、 短信中心话单文件2、 短信网关话单文件3、 集团中心下发话单文件。其中1、2话单文件由华为采集机负责采集，而3话单文件是集团中心经过自己传输系统将文件放在江苏移动企业和集团中心通信机上，对于短消息计费系统来说，只需将三种数据源数据传送到预处理机上。传输系统关键完成短消息计费中心和全国计费中心之间、短消息计费中心和地市业务中心之间、短消息计费中心和计费数据采集机之间和短消息计费中心和外部系统之间信息交互和数据传输，以确保各级管理系统之间移动通信资源和数据能够实时（或准实时）地共享和保持一致，为实现移动通信专业化集中管理和分级处理提供确保。5.2.2 传输系统结构在部、省、地市各级中心之间、短消息计费中心和外部系统之间和短消息计费中心和采集系统之间交互信息关键有：计费原始数据、用户清单数据、统计数据等。对于这些数据传输设计，必需充足考虑数据传输效率，以确保计费结算高效处理。传输系统关键数据流向以下图所表示：u 短信采集系统和短消息计费中心数据传输短信采集系统和短信计费中心之间传输关键是由数据采集系统从短信中心及短信网关实时采集到全部计费原始数据，这些数据关键由短信采集系统流向短信计费中心，是一个数据集中过程，全部数据传输全部是实时而且自动化无人值守，由短信计费中心集中对数据传输进行监控。u 短信计费中心和地市帐务中心数据传输G 短信计费中心和地市帐务中心之间传输关键是地市帐务中心所需用户帐单、用户清单和统计数据，全部数据传输全部是实时而且自动化无人值守，由短信计费中心集中对数据传输进行监控。用户清单数据文件定时下发，传输周期能够由参数以分钟为单位来设置。每个下发文件中包含文件头、用户清单，文件头中包含文件类型、文件长度（包含文件头）、下发清单数、用户数、帐单统计数、各项费用统计值等信息，下发文件命名规则为：TLLLYYYYMMDDhhmm.NNN其中各位含义为： T - 文件类型。 LLL - 地域编号，全省统一编号。 YYYYMMDD - 下发文件生成日期，年月日。 hhmm - 下发文件生成时间，时分。 NNN - 下发文件编号，000-999循环。传输系统经过文件名和文件头信息来验证数据传输正确性。u 短信计费中心和集团中心数据传输短信计费中心和集团中心传输关键是省间结算数据，这是一个双向数据交换过程，包含上传集团中心结算话单数据及集团中心下发结算话单数据。u 短信计费中心和外部系统之间数据传输短信计费中心和外部系统之间关键是网间结算数据和业务统计结果数据传输，系统提供拷盘、联网文件传输、数据库共享等传输方法，具体传输方法需要和相关运行商或业务部门共同协商确定。5.2.3 系统功效传输系统由联创企业基于FTP自主开发，该传输软件含有以下功效：1) 应用系统或程序之间可靠、无人值守双向数据传输功效；2) 提供自动数据传输和定时通信功效；3) 含有传输消息事件触发功效，在传输正确完成后自动触发用户指定处理进程；4) 传输系统提供配置和监控工具，实时监测传输线路和传输应用运行情况，并能立即传送到省中心集中监控系统；5) 含有自动错误恢复功效；6) 自动重试和断点重传功效：数据传输中止后，能自动重新传输并跳过已传输数据；7) 提供多个数据安全性控制机制：标识和认证、数字标识等；8) 提供具体传输事件日志，并定时对传输两端日志进行传输一致性检验，若发觉漏传或错传，传输系统自动重传；若发觉其它异常或故障，通知集中监控台，给出告警。9) 对短消息中心采集原始话单文件连续性进行检验，确保无话单文件反复5.3 数据预处理前台预处理子系统是短信计费系统关键功效子系统之一，它完成不一样格式计费原始数据数据提取、标准化等一系列处理工作。计费预处理功效在预处理服务器上完成。鉴于多种交换机计费信息格式不一，需要在入库前对多种类型计费信息进行标准化处理，将不一样类型交换机计费信息统一成标准格式。同时将原始数据中因为多种原因造成不能计费话单标识出来，供计费模块判别。现在短信计费中心原始话单类型关键有：短信平台话单：对于短信平台话单文件，关键有以下多个话单类型：点对点短消息话单人工台或自动台提议MT方法短消息话单由移动台提议多种收费信息话单，如股票查询、用户订阅消息等多种公众信息源公布MT方法短信话单，如天气预报等开通移动梦网后，在短信网关上会增加以下多个话单类型：短信网关话单类型：SP发送给点播用户短消息话单（其中包含用户自点播、用户为她人点播、及SP主动发送信息三种）集团中心下发话单：集团中心每两小时下发一个M文件，天天12个文件，文件中包含SMT、SMC、SMT-F、SMC-F四种话单类计费预处理功效数据提取：原始统计中包含很多通话信息，但计费分拣应用所需数据域只是原始通话统计域一个子集。由数据提取功效提取计费系统所需数据域。 支持多个类型交换机原始计费数据数据提取； 支持多通话业务数据提取，并对新业务提供数据提取接口； 对原始计费统计提取过程提供完善差错检测功效： 提供统计级差错检测：支持对每条提取计费统计进行数据审核校验，识别其中错误或无效话单，包含： 格式错，和移动交换机定义数据结构不符 关键统计域为空 错误字符，包含：G 通话日期、时间、时长非法G 对端号码错误G 统计域中含有非法字符 计费信息不足 不需计费话单 提供数据块级差错控制：话单提取后计算出块长度（包含块头、块尾、有效话单、错误话单）和原始数据块长度一致性检验、块序号连续性检验。 提供文件级差错控制：相邻处理文件中拨打时间连续性检验、文件序号连续性检验、数据块数检验、转换字节数和文件长度一致性检验。 对数据差错或丢失情况统计日志，并依据差错等级提供不一样告警。u 统计标准化 支持原始计费统计数据格式向计费系统定义标准统计格式转化； 支持按设置参数对大文件进行拆分； 根据计费系统设计进行计费统计数据分类。u 预处理配置和管理 提供对整个预处理子系统多种参数查询、配置和修改； 支持原始计费数据实时备份和数据转储；提供对预处理各个模块实时监控和管理，如：物理空间检测、用户口令权限管理、预处理过程监测、入库状态监测、进程管理等。预处理阶段统计 正常有效话单统计 异常话单统计 无效话单统计 错单纠正统计 对预处理阶段非正常话单应存放在文件中或数据库中，以备查询。 能够对每台交换机产生每个文件有效话单数、异常话单数、无效话单数统计，该统计能够按日、周、月、季进行。5.4 话单划价话单划价所完成功效是将经过预处理话单按摄影关资费标准计算出基础费用过程，也称为划价或批价，划价后形成计费清单数据。计费处理过程能适应最新短信资费政策，并可满足以后业务不停发展需要。计费处理能够实时地处理短信平台及短信网关产生和集团中心下发话单，接收到计费文件在下一文件传到之前处理完成，做到话务高峰时不出现话单积压。在计费划价过程中，系统可正确对多种类型话单进行划价，同时可区分不一样话单类型，并做不一样标识，根据事先确定分拣规则进行分拣，以生成不一样清单文件进行并行入库。对包月类及封顶类短消息话单类型，划价程序也进行正常划价，清单留做查询及统计用，具体收费有帐务系统确定。对按条收费短消息话单，系统能够依据不一样话单类型进行不一样费率划价，并可满足不一样优惠需要。对于不一样类型话单，经过统一参数管理，进行费率灵活配置，对于信息公布业务（WAD），需要建立单独用户费用统计，传送给帐务系统，用来做为用户预存话费。考虑到这部分费用和用户信用度等判定相关，提议采取每15分钟一次间隔，将WAD产生用户预存费用下发给帐务系统。5.5 反复话单过滤要对反复话单进行过滤，首先应分析一下产生反复话单原因及怎样标识反复话单。产生反复话单原因关键有： 交换机生成原始通话统计时产生反复； 采集过程中故障重采产生反复； 文件传输过程中产生反复； 数据交互过程中产生反复（来、出访话单上传、下发）等。反复话单标识：同一用户（IMSI）、同一天（sdate）、同一时刻（stime）产生两条相同通话统计。根据集团中心要求，需排除三个月以内反复话单。所以对反复话单过滤技术要求就很高。处理措施是： 数据分割 优化索引机制 快速定位 以空间换性能这是快速“过滤网”技术设计思想。5.6 话单并行入库现在在建短消息计费系统以后每个月处理话单数量可达上亿张，这些己划价话单是计费系统基础数据，需存放在数据库中。话单入库效率将直接影响计费处理整体效率，尤其是月末处理性能。话单入库效率除了和磁盘I/O读写速度相关外，和数据库系统整体设计也有着亲密关系，尤其是出现月初和月末性能差异太大时。处理措施： 合理地进行数据分割 有效地建立索引 合理应用分布，降低磁盘读写冲突，降低访问磁盘次数。系统效率提升，需从系统整体设计着手，下面将针对下发文件处理，来说明怎样降低访问磁盘次数，以提升系统整体效率。对经计费处理后话单文件，需经反复话单检测，试验证实反复话单检测，应充足利用数据库特征，在数据库内排重效率最高、最根本。但发生反复概率较小。所以在设计时，考虑到将排重结果信息反馈给Client端，若无反复话单，则该入库文件直接送给对应下发队列，并在数据库中产生一条统计统计（文件名、有效统计数、反复统计数、处理时间等）。这么就无需再从数据库取对应下发数据，降低了磁盘访问次数。若发觉有反复话单，则分两种情况处理： 完全反复：即该文件全部统计全部为反复话单统计（文件反复），则在数据库中产生一条统计统计（文件名、有效统计数、反复统计数、处理时间等），该文件入反复话单文件队列。 部分反复：即该文件有部分统计为反复话单统计，则在数据库中产生一条统计统计（文件名、有效统计数、反复统计数、处理时间等），并排除反复话单，形成反复话单文件入反复话单文件队列；将有效话单生成下发文件入对应下发队列。计费划价后产生标准话单文件经过并行入库程序多通道拷贝到数据库中，并调用存放过程进行以下工作：排除三个月（包含本月重单）生成月清单数据