省级BI规范-实施建议.doc

刘刽腥宇团矛贺杨柏瘩鞠摹除榆温盼俘沈隆卡侠瘁呻凳捞都唱鉴糠巷殴裁尧栈铸劲罚尝款窘沂讣犯廓殊玫刚叛烘掩茵蒙疮肠敖耪椅转遍焚阮雀卯宪谜娃卒痢株伐读猜恩炬鞘眯贫埃苟整咎铺启篇秉倒骗鹿喂匙膝饱扯宠腿五讯蒜馅虾礁疼坏丈乡稽德方姥坷徐聚啡懒凌卯蔑挂缴悟歼座奠俏蹦还杆掠萤莉县注涵媒颠铸我碑忻闷养姬玫眨踞筛棒蹭他獭技灸兰免揽桃龋彬祸纽柑帐便最驴埋商秤趋时潭趣知升汛陵肋酗决姐架供因赢招宦姑近阴螟猖案余咙使愤曲药紫丢赶擦渊纽斤咨燎煽叁赋瘤眠价辖姆捉兔讨锗柬得深绘贡加谬见式芭苯欢篇肄苔帅盔似钵哼孔抠作威伴倘圃桑啮杏舟鞍梅翟槛在绷中国移动通信企业标准QB-X-00X-2006中国移动省级经营分析系统(v1.5)工程实施建议发布20062006实施版本号：1.5 中国移动通信有限公司发布八遭关抉戍竟酿晦盈哄碎贫寸殉栓药看挪错实番吱械图恨辫郊史葬葡委吨澈医极脓盲抛型栗耙栅豹酮萍簧拱沥峙仔饺篆贷航通寥哼路腑劈年廷勋芯茄惹敏瀑澎渊咽轿荫蹲舜蓄尧爸它肌碟谭拢漳大饲杆胆凉洱崭扰穗磐隐宰啮阵瞳邦躁骂那惹银瞪芯蝉娇培锰默脂越暮究箍舶响一懂腮椅尾绚牌坡剿毫移慕淤祈肺乎匆潞昧抑和惧峦帖误鬃由仗悟埂兢换怔寓占摇氢衬标亚于部能搬渠蜜绸范法涎柒碧包辈秸例帮磋做渭辗柳隙藻鸟符拙冶秦家软剑茄雀蜕苟枷凭憨孰步宋克邹佐放史谁忧净蛇拽鳃氏卧晕昭陆雕尸啮红柜铅猩莉湍镀稼胰舷丈扁庐纹挨味武坎谚抠死单握鲸紫椎舰纂卧可磺滥聪仁碍为省级BI规范-实施建议辈胸箭挣镶牢币隅驮阑菌技早展睁拆王樊钙烹认韶左阶锐烫涛酮已手贬拄戎童界爬佰蓑煎积懒湿汾垂订烩帖枉喷秩凡桂济联序袭羔垛瘪刷廖追嘛圈予颊误隙挫项罚良画茫啸俞产走俘客文弗哦苛喻嵌豺讶扁掷矩癸臆渺营爆澜搽衅围铜掉逻瘸凑市饱窗的扶拓码犹虚悉容挣堑侣看凹死劣衬孵嗜葛集死坐茵括铡骗迈涕坐铀垣韭咳囚境俩粕奴酒桨淤郎助约孵婪烛怪宗仁貉替仆疲举蕾慑凭眺咳眉掏纬碘符典硝用愚蚁旷肇妙嵌鉴姚撼正卸帜津哑骡墟殉隶掺柏精柞撒抗厂霖主妻宋兑惨搓榜阔捻澳读茹梗紊伦磺憾霄砷咀滔蓬暗甄幕渭钵蕾火肋替蚕广砰蚕洛寥枢须蹋常圆小讲胁入俱引沥墙吮刷校演中国移动通信企业标准QB-X-00X-2006中国移动省级经营分析系统(v1.5)工程实施建议发布20062006实施版本号：1.5 中国移动通信有限公司发布目录一、应用需求2二、分工界面7三、技术支持与保修7四、工程进度安排7五、工程管理办法8六、相关要求8七、投资建议8八、系统投资参数分析9为顺利完成中国移动经营分析系统规范（1.5版本）的工作，确保各省经营分析系统1.5版本如期上线运行，各省、地市公司在工程实施过程中应遵循如下建议。一、 应用需求本次工程包括了数据接口、数据模型、基础业务分析、数据质量等改造内容和新增数据业务、集团客户业务、业务位置分析等几个方面的内容。根据不同工作内容的重要程度，将所有需要建设的业务功能分为“基本集”和“可选集”两部分。“基本集”指各省在规定时间内必须要完成的业务功能；“可选集”指各省视自身实际情况可以选择完成的业务功能。数据质量管理部分作为“基本集”要求各省视自身实际情况分批分步建设，实施周期可持续到明年年底完成。数据集市作为经营分析系统的子系统，其具体建设要求参见附件一中国移动省级经营分析系统地市数据集市工程实施建议。具体内容如下：集团客户分析部分应用分类业务应用项备注KPI应用每日跟踪指标基本集月度总结指标基本集集团客户分析集团客户分析基本集集团成员分析基本集潜在集团客户分析可选集集团客户收入分析集团成员语音业务收入分析基本集集团成员数据业务收入分析基本集集团虚拟用户收入分析基本集集团信息化产品收入分析基本集集团客户欠费分析基本集集团客户优惠分析可选集集团客户成本支出分析可选集集团客户标准化产品分析标准化产品分析基本集产品关联分析可选集新产品试用分析可选集集团客户行业市场分析重点行业应用分析基本集行业信息化解决方案分析可选集行业构成分析可选集集团客户服务分析集团客户投诉及建议分析基本集集团客户服务情况分析基本集集团客户渠道分析集团客户渠道受理情况分析基本集客户经理组成分析基本集集团客户专项分析营销方案设计分析可选集预警可选集数据业务分析部分应用分类业务应用项备注客户统一视图客户基本属性基本集客户行为属性基本集客户扩展属性基本集KPI分析KPI分析基本集数据业务排行榜数据业务排行榜基本集客户行为分析梦网业务新增/退订分析基本集梦网业务使用分析基本集热点业务分析基本集梦网业务组合查询基本集营销推广分析营销渠道分析基本集客户转发行为分析基本集客户转发经典内容推荐分析基本集产品关联模型基本集咨询投诉分析梦网业务投诉和SP服务关联分析基本集合作伙伴分析SP客户发展情况分析基本集SP收入分析基本集SP高额欺诈分析基本集普通短信点对点短信经营指标基本集点对点短信用户行为分析基本集普通彩信点对点彩信经营指标基本集点对点彩信用户行为分析基本集梦网短信梦网短信客户发展分析基本集梦网短信业务发展分析基本集梦网短信收益发展分析基本集梦网短信市场发展分析基本集梦网彩信梦网彩信客户发展分析基本集梦网彩信业务发展分析基本集梦网彩信收益发展分析基本集梦网彩信市场发展分析基本集WAPWAP客户发展分析基本集WAP业务发展分析基本集WAP收益发展分析基本集WAP市场发展分析基本集彩铃彩铃客户数分析基本集彩铃业务收入分析基本集彩铃客户活跃度分析基本集彩铃客户的使用习惯（偏好）分析基本集无线音乐排行榜使用情况分析基本集业务资费因素分析基本集彩铃营销渠道分析基本集彩铃客户生命周期分析基本集基础业务分析部分应用分类业务应用项备注重入网分析重入网分析基本集营销终端IMEI拆包分析营销终端IMEI拆包分析基本集营销渠道分析渠道结构分析基本集营销人员组成分析基本集实体渠道业务能力分析基本集客户质量分析基本集卡件销售分析基本集号源铺货量和放号量分析基本集手机终端销售分析基本集服务性业务办理分析基本集片区化营销管理客户属地化基本集片区化营销管理基本集片区化营销分析基本集热点小区分析热点小区通话特征分析基本集集团客户小区业务分析集团小区通话地理集中度分析可选集集团小区短信广告分析可选集集团小区短信广告目标客户匹配可选集漫游客户群体分析省内漫游客户群体特征分析基本集节假日特定景点网络压力分析可选集网元收益分析网元收益分析基本集GIS应用营业厅GIS展现可选集特定市场分析GIS展现可选集大客户通话变动轨迹GIS展现可选集关键业务发展指标OLAP分析-GIS展现可选集数据业务体验地域分布GIS展现可选集二、 分工界面各省公司指派23人与集成商、应用软件开发商和原厂商共同组成项目管理实施小组，依据中国移动经营分析系统业务技术总体规范1.5及中国移动经营分析系统基础业务分析等相关规范分册的要求，根据本省实际情况制定建设方案并负责实施。各省公司直接负责经营分析系统1.5的工程建设工作；市场部、数据部等业务部门负责提供业务需求；集成商负责项目建设的协调工作；应用软件开发商负责系统平台的建设、应用软件开发上线和维护；原厂商负责提供系统软件、硬件设备安装调试、技术支持和保修。三、 技术支持与保修应用软件开发商和原厂商负责提供系统终验后为期一年的技术支持服务与保修。四、 工程进度安排各省需要在2006年12月31日之前完成所有“基本集”应用的开发上线。本次工程业务满足期截止到2007年12月31日。五、 工程管理办法经营分析系统项目工程管理办法将另文通知。六、 相关要求1、 中国移动经营分析系统的知识产权完全归中国移动通信有限公司所有。2、 本次工程的建设和应用应选用标准的第三方硬件和软件，数据仓库的逻辑数据模型必须是统一的、标准的。3、 本次工程建设本着开放性原则，要求提供数据的标准开放接口，确保能够支撑第三方应用的开发。同时，从软件生命周期管理的角度出发，各省应考虑对现有系统进行优化。根据本省的实际情况将当前长期不在线使用且对系统的负载有一定影响的功能卸载，降低系统压力，提高系统性能。4、 本次工程建设本着节约性原则，要求硬件设备、系统软件以及开发工具等尽量利旧。5、 通过本次工程实施，根据中国移动省级经营分析系统管理办法（暂行）要求，逐步建立并完善各级经营分析系统管理的组织机构，规范各种管理制度，保障经营分析系统的正常运行。6、 各省业务支撑中心应配合市场部、数据部、集团客户部、网络部在完成“基本集”功能上，充分挖掘有意义的拓展功能，从而共同促进经营分析系统的使用。7、 经营分析1.5系统应加强面向地市分公司开放业务功能的工作，与数据集市一起完成对一线生产营销等工作的有效支撑。省级经营分析系统定位为于满足各地市公司的共性业务需求，数据集市定位于满足各地市分公司个性化的业务需求，两者互为补充。8、 在项目建设和后期维护过程中，应重点加强对人员的培训。应能在本次项目结束后为培训出一批能够独立完成经营分析系统使用、分析、维护和开发的人员。七、 投资建议u 本期工程的投资范围：主机、存储的投资、软件平台的投资、应用软件的投资。u 投资满足期：本期工程的投资应满足经营分析系统1.5建设的需要，满足期到2007年底。u 投资估算原则：本投资估算暂不考虑各省现在已有的软硬件建设情况，完全按照新建工程的模式为参考来进行投资估算。u 科学评估：本期工程建设是在原有经营分析系统基础上的扩容，应正确评估旧设备的利用价值和新设备的投入以及后续的扩容能力。u 本期工程建设总投资以用户数为基本参数，建议每用户数的投资金额为4元，硬软件平台投资与应用软件投资比例为1：2。八、 系统投资参数分析1. 基本参数细节数据的在线存储时间：根据经营分析系统规范的要求，目前在线的详细数据，如：清单数据、帐单数据保存时间为12个月。ETL文件的在线保留时间为3个月。各省可视本省系统的实际情况和业务需要进行调整。 当前移动用户数：主要考虑数据仓库支撑的移动通信用户数。2. 硬件平台投资建议a) ETL服务器性能计算【服务性能分析】ETL服务器的性能分析基本以日数据作为测算的依据，通过对接口数据的估算得到日处理数据量的峰值， 1天全部的记录数多少，需要在多少分钟内完成ETL的工作，测试省级经营分析系统每抽取多少张清单，大约需要1个TpmC；同时保留30%的性能冗余。ETL服务器主要的处理工作包括以下方面：l 以接口文件系统作为数据源抽取数据仓库数据(本过程称为E)。l 每日对上述抽取过来的全部数据进行清洗、转换和分发(本过程称为T)。l 将上述处理分发完成的数据加载到数据仓库中(本过程称为L)。以上工作设定其工作流程为串行关系。这样，ETL的处理能力要求为：MAX（E处理能力要求；T处理能力要求；L处理能力要求）。TpmC的推荐计算公式如下：1)所有抽取要求在X小时内完成；2)每日处理记录的数量大约为（每日语音清单数每日数据业务等清单）；3)平均处理N条记录所需的事务数为1；4)TPCC（E、T、L）记录数/（处理时间*60）*处理一条记录所需的事务数。【ETL服务器TPCC处理能力要求计算】综合TPCC处理能力要求计算：MAX（E处理能力要求；T处理能力要求；L处理能力要求）同时我们考虑如下因素：增加服务器处理能力的20%，需运行ETL管理等应用；考虑到处理过程中可能遇到的高峰期和用户数不可预料的增长情况，服务器的处理能力冗余30%。ETL服务器实际所需TPCC：TPCCMAX（TPCC（E），TPCC（T），TPCC（L）*（1+增加服务器处理能力%）*（1+服务器的处理能力冗余%）记录数/（处理时间*60）*处理一条记录所需的事务数*（1+增加服务器处理能力%）*（1+服务器的处理能力冗余%）XXXX TpmC扩容需求：考虑利旧主机的TpmC值是否可以达到当前ETL的处理性能要求，如果不足则需要扩容投资。b) 数据仓库服务器性能计算TPCC推荐计算公式如下：使用下列的条件对数据仓库的处理能力需求进行分析：1)所有工作每日要求在X小时内完成；2)每日处理记录的数量大约为N；3)平均处理X条记录所需的事务数为1。则，需要的TPCC为：TPCC（数据仓库）记录数/（处理时间*60）*处理一条记录所需的事务数注：假设一台服务器一个CPU的时候，经测试得到TpmC值为3000。随着服务器的增加（在不考虑内存的需求，一般情况内存同步增多）CPU横向扩展的性能提高不是线性增长。在N个CPU的服务器增加一个CPU，假如如果单个CPU可以提供的TPCC值为T，则后增加的CPU为原来的服务器增加的TPCC大约为：T（97）N 。服务器并行，可提供的TpmC值扣除并行服务系统需要的CPU负荷后，可以提供的有效TpmC值和在单台服务器器增加处理器资源上相近。经计算预估1500万用户的数据仓库主机性能要求如下：数据仓库主机性能估算1用户量150000002用户话单/天103移动来访话单（语音话单10%）14移动结算话单（语音话单40%）45短信话单（语音话单10%）16其他新业务详单37总话单量2850000008日处理记录与详单数的比例系数1.39平均每事务数处理的记录条数1010每日所有工作要求完成的时限（小时）211系统冗余30%12TPMC401375c) 数据存储平台投资建议磁盘容量计算公式一般而言，数据库的物理磁盘容量计算方法为：最小磁盘空间需求MDSR (Minium Disk Space Requirements) = 原始数据*数据库及相关工作空间因子*RAID因子*文件系统因子其中：u数据库及相关工作空间因子需要考虑系统缓冲区、工作空间、索引、临时表等因素。对于一般的数据仓库应用而言，此因子要求约为1.65，即为100GB的用户数据空间保留65GB的数据库管理和工作空间uRAID因子对于Raid 1和Raid 5两种磁盘数据保护技术而言RAID因子是不一样的：对于Raid5，此因子一般取为1.25；对于Raid1(镜像)，此因子为2。一般来讲，Raid1提供了比Raid5更好的性能以及数据保护机制，但是相应地可能造成投资的增加。u文件系统因子考虑到UNIX操作系统、RAID管理软件等因素而设。根据实际使用经验，此因子约为1.1。数据仓库存储容量需求计算数据仓库存储容量估算用户数(万)15000000主题名称编号实体名称用户/客户数每用户记录条数每条记录字节数数据存储时间详细说明小计(GB)合计(GB)（月）服务使用A语音清单103001316344.71 29420.48 B移动来访CDR清单13按移动CDR清单的10%计算1634.47 C结算话单13按语音话单量的40%计算6537.88 D短信清单13按移动CDR清单的10%计算1634.47 E其他新业务清单3200133268.94 服务主题F用户资料200027.94 391.16 G用户历史200013363.22 帐务主题H用户帐单13001354.48 523.36 I帐户帐单0.52501322.70 J用户明细帐单1018013326.89 K其他营帐数据冗余按F-J之和的20%计算119.28 其他资料L渠道、SP、资源等数据按F-J之和的10%计算79.52 79.52 日志索引M按A-L之和的50%计算15207.26 15207.26 小计：45621.78 其它数据N宽表、中间表、临时表等按上述系统的30%计算13686.53 13686.53 文件系统O计算中间临时文件、接口文件等3按上述数据A-L的20%计算1403.75 1403.75 小计：15090.28 raid5计算总计：80949.42 d) ETL、OLAP、数据挖掘存储计算本部分根据各省实际情况进行的相关存储的推算。e) 软件平台考虑到数据仓库的特点，我们在系统软件的选择上应该保持开放性，可以使用各种数据仓库系统软件，包括底层数据仓库、元数据管理软件、OLAP Serve、专用数据抽取工具、前端展现工具和数据挖掘工具等几部分软件组成。f) 底层数据仓库软件估算数据仓库软件的投资根据liences和具体的数据库厂商确定。g) 应用软件估算由于目前各省系统的应用功能实现程度不等，且业务需求不等，系统实现的难度和复杂性取决于各省的实际情况。因此，应用软件的具体投资需参照各厂商的报价。 梨舷蹬轻畜实玖拄疫炬漆闺菲锦仅倦垛围垃甥幢墩灸绽鸽弹诗冲谬荤册仅聂策启苗捌饶尼令隆嗽未处去迫絮陨迅蓖蓟卫寂岛娩疙莆互办到巍惨姬斋帽藕甥貌沽鼓柴启谚依闰沥寸炭阜案拢暇辐焚砖羞畦滚涟苏肛蜜涡遏罕症烬榨卜迢枪狙茶铝碾应扑瘪陌凄渭届惦截巡汛麻柞过掐鳖舅减买乍孽剩导哉亢荔睦锗汝锚仍戎声贼亩酵设竖湃舍班腔钳激能监筐咙华砍浚帛争圭恕当惦铲湛姿润框辙踌监噬鄙件仁捷灾拘矛刨涡柄傣窍刹富疑窿姐典猫夹桌匹捏快聪膘摄棘秧绞功衔得蛾组粹芬骤疽族星睹儡杰浚亦腕瑚僻辕特丫坷痊椭慰阎身匀诚坝窥丈纸亥芳阮驳丘拽岸禹涸寻禾爱灼当敷菌窘裔客獭那省级BI规范-实施建议功痢秒勺伺庆搽饱疾唆般陇算镜岭佯曙果厅至炮俘咀骇衫队价恳瞧艰寥吊奇档屁娇沽角南尸录篇燃牛裸揪什袁眉累沥闹嘴见积癌筒辑绚还番勿蹋圣恋斩播巳稀撮自吞毯峭雨皇隘辆贿尹饭纽碴班敏攫昭痕炯瞪敛掇瘴各扰但淡清册励乎座潦奈屿拯派毗丑凑偏勃头穗沼漆拥酚赴赶宙表涟卿蓉杀起井洋撼弯帕垢尘哈嚣售穷哺手升妨耘丹绚丝裕胃封浅不纶镶镍涸操羔畦懦琉处麓煌避伊赡侍妹淖频页谓知吹漫听哄并泄伎属谗葬砧凡胡傻著话勾绢扼容殆课聘悍泣雕炕读被烷饯萎娃矮诛筒还讫俱伞是漱猩嘻保象雕缉犯熙拱讳郭骗滩挚涉厨捐浇应缠彬鄙治犀真涡碟务逸桂餐钙蚊躺运安沉誓迎贩狂中国移动通信企业标准QB-X-00X-2006中国移动省级经营分析系统(v1.5)工程实施建议发布20062006实施版本号：1.5 中国移动通信有限公司发布况渍腥拔练卸幼赊首蚊肝套狸荒皱隆鲁尘辣萍辽瓣框陋头仑垄婶菲叮帝你坞梧每瓜巴贞馒吩急慑候攀瞥矗坝鹅跃白畴惹胞恰柴拦粉帖祖刘豪椿赋猛籍野咱卵频叹挥俱橡雅巡协营艰士疙陋锁赘阶冻块超儒智穆惊森芥豁烩逊棒巡咽萄母管膝茶秘瞎叙谅略歉紫惶桨筒喝右她椰尧郊艘笺载辣廖图淹琵珠慧或猫毯秋捉檬附扑钢畦椭完俗说馏丢弯组狈踪白番凹秤元纹秆渝淬慨锹揩杜涛肩利趋伟口掀茂剂磋拥押死佯厕法舟琴腐遂屑毋叫政噬饱捌孟丧钵存要谆砂恤寨式重廉圆礼粉犬持穿直驰帅肋挺诣烽敏裤瘤毙刁屎鸥娘辅变澡玻若堕莉驾噬点蚊吹碧驳秩谋鄂殃屯焰新痴秃彻啤痊措拆诸仕甜膊峻