发掘你的数字财富：微软课程.ppt

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,发掘您的数字财富,郝雪莹,微软（中国）有限公司,为什么要商业智能,?,业务的脚步在加快,做出明智决策的可用时间越来越紧迫,新的洞察力很重要,增长收入,降低支出,最终用户需要更多更复杂更频繁的报告,新的分析应用增强了用户的主观能动性,减轻了,I.T.,部门的负担,分析瘫痪,听起来很熟悉,?,我有许多数据但我还是得不到足够的信息,为什么我所有的报告关系一点也不紧密昨天管理工作就需要得到答案了,谁有时间去做分析,?,分析瘫痪,你并不是唯一有这种困惑的,可用的商业数据正在以几何级数据在增长,每周需要做出关键决策的次数是五年前的三倍,专门从事分析服务的人员在过去五年中减少了,50%,来源,:Gartner Group,商业智能,-,将您的数字变成信息,Clients,OLAPcube,OLAPcube,DataMart,数据仓库,DataMart,源系统,Information,Knowledge,Insight,Action,Results,Information,Knowledge,Insight,Action,Information,Knowledge,Insight,Information,Knowledge,Information,Closed loop,为什么要在,DW,中增加,OLAP?,OLAP,支持动态分析,直接的多维模型,对大型数据库快速的响应时间,规则的分析查询与业务逻辑,提供了在不同层次上的分析,可以从多个角度来观察数据,可以很容易地从整体到细节来分析数据,OLAP to the Rescue,在,OLAP,中存储数据,数据库,Cubes,维度,Measures,Gadgets,Gizmos,Thingies,Widgets,Q1 Q2 Q3 Q4,US,Europe,Asia,130 135 140 142,205 390 350 475,175 230 190 250,310 340 410 450,OLAP to the Rescue,数据库,存储用来分析的对象和数据,Cube,用来度量的多维阵列,维度,(Dimension),层次型描述实体的集合,时间,组织,产品,地点,等,度量,(Measure),数量,值,收入,花销,销售预算,实际销售额,销售总数等,OLAP to the Rescue,灵活的导航,Slice and Dice,向下钻取,向上钻取,Twist and Pivot,OLAP,是用来推进数据观察,分析与导航的一种技术。与一般的存储技术不同的是,OLAP,是观察和分析数据的,概念模型,OLAP to the Rescue,数据的多维视图,Profit,by Divisionby Country,by Monthby Actual/Budget,Revenue,by Productby Regionby Sales Rep,by Quarter,Revenue,by Customerby Industryby Channel,by Week,Volume,by Plant,by Shift,by Productby Day,财务,销售,市场,运营,OLAP to the Rescue,OLAP,的应用,OLAP,可以用作,:,分析总结数据,使用类别,(,维度,),来分析数字化数据,OLAP,一般不用作,存储非数字的数据,Transaction,的处理,OLAP,与数据仓库,The Big Picture,OLAP,是用户可部署的,OLTP,Source,External,Data,Transformation,Data Warehouse,OLAP,End Users,Data Mart,Brand,Afri Cola,Royal Crown,Pepsi,Coca-Cola,Wrangler Cola,Coca-Cola,24,Week Ending,03,10,17,Channel,MM,Drug,Food,23.5 MM UNITS,$28.3 GROSS26.8 COST,OLAP:An Example,Food,24,“给我看看可口可乐通过食品渠道在,24,号那一周的销售情况,”,商业智能领先者,Source:Gartner Research,市场表现如何？,Microsoft,商业智能一枝独秀,Source:OLAP Report,“尽管其它几个主要厂商都在衰退，,Microsoft OLAP,部署在,2001,年增长迅猛。”,OLAP Report,和,OLAP Survey,的主笔人,Nigel Pendse,说，“按照,OLAP,许可证费（那是新增销售的最好证明）来看，,Microsoft,显然是,2001,年的领先者，而这导致了,Microsoft,和其行业合作伙伴在相关工具、应用程序和服务方面迅猛增长。”,SQL Server 2000 Analysis Services,Microsofts,商业智能解决方案,项目管理分析,点击流分析,零售与,市场,销售分析,可视化,协作功能,数据分斩,地理空间分析,完整的,BI 提,供者,SQL Server 2000,具备可扩展,RDBMS,的完整的平台,包括,:,Data Transformation Services,Analysis Services(OLAP and Data Mining),Metadata Services,English Query,Office XP,Excel 内,置的,PivotTable Service,可定制开发的,Web组件,SharePoint,Microsoft Data Analyzer,Analysis Services,体系结构,Analysis,Server,OLAP,Store,Application,ADO MD,OLEDB for OLAP,OLE DB for DM,Analysis Services,Processing,Querying,Analysis Manager,DSO,SQL Server,Data,Warehouse,Other,OLE DB,Providers,OLAP EngineData Mining Engine,PivotTable Service,TCP/IP,HTTP,Analysis Services,体系结构,MS OLAP,灵活的存储,用户与应用只能看到,Cubes,Analysis Services,体系结构,客户,/,服务器缓存,1)Jan01,Feb01,and Mar01 sales,Query 1:Show Jan01,Feb01,and Mar01 Sales,Client,Server,2)Q101 Sales,3)Q100 Sales,1)Jan01,Feb01,and Mar01 sales,3)Q100 Sales,Query 2:Show,Q101 Sales,Query 3:Show,Q101&Q100 Sales,Client can,calculate,Only Q100,needed from,server,Analysis Services,体系结构,数据存储,最小化数据爆炸,数据爆炸,OLAP,在历史上的缺陷,100%,密集,No heaters sold in Phoenix in July;no storage allocated,智能化的聚集设计,仅预聚合数据的子集,压缩算法,SQL Server 2000 Analysis Services,数据挖掘,电影租借的例子,在线的电影租借,“,电影爱好者俱乐部”,会员的信息是已知的,统计信息,喜好的电影,目标,:,增加销售额,!,我们希望做出这样的预测,:,客户喜欢的电影,我们需要输入的数据,:,统计信息,客户喜欢的其它电影,使用了什么样的算法,?,Decision tree from SQL Analysis Services,SQL Server 2000 Analysis Services,Data Mining,将相关的数据结合,将用户统计信息聚合,与相关喜爱的电影联系在一起,Cust ID,Age,Marital,Status,IQ,1,35,M,2,2,20,S,3,3,57,M,2,Favorite Movies,Title,Score,Star Wars,8,Pulp Fiction,9,Usual Suspects,7,Star Wars,7,Braveheart,7,Dr.Strangelove,10,The Matrix,9,Blade Runner,10,SQL Server 2000 Analysis Services,Decision Trees First Classification,婚姻状况,个人喜好,The Matrix,飘,已婚,单身,其它,Feeling,Thinking,True,False,True,False,性别,男,809,556,104,711,758,295,1174,18,1451,女,141,113,32,183,103,39,247,60,226,Gender:,84%Male,16%Female,所有人,Gender:,23%Male,77%Female,选择 飘,Gender:,85%Male,15%Female,没有选择,SQL Server 2000 Analysis Services,Decision Trees,第二次分类,Gender:,50%Male,50%Female,Thinking,Gender:,15%Male,85%Female,Feeling,Marital Status,Personality,The Matrix,Gone With the Wind,Married,Single,Other,Feeling,Thinking,True,False,True,False,Gender,Male,12,5,1,9,9,4,14,18,0,Female,30,22,8,50,10,8,52,60,0,Gender:,84%Male,16%Female,All People,Gender:,23%Male,77%Female,Gender:,86%Male,14%Female,Didnt,Pick,it,Picked,Gone With the Wind,理解与预测个体的相关态度,-,决策树,预测信用风险,预测购买习惯,Married,Good(2),Poor(0),Not married,Good(0),Poor(1),High,Good(2),Poor(1),Low,Good(0),Poor(2),Income,Good(2),Poor(3),High income,married,Data Mining Services,将个体行为与群体匹配,聚集,举办一个市场活动,理解不同的客户从而更好地提供相应产品与服务,Separate strategies,per cluster,Data Mining Services,SQL Server 2000 Analysis Services,性能,支持实时分析的性能,分析挖掘相应的可能与倾向,Queries lead to more queries,首先要计算聚合信息,Answers questions ahead of time,Improves query performance,Set when cube is saved,and is reconfigurable,Trade-off:Performance against space,More aggregations take up more space,Analysis services provides estimates,Analysis Services,体系结构,数据存储,最小化数据爆炸数据爆炸,OLAP,在历史上的缺陷,100%,密集,智能化的聚集设计,仅预聚合数据的子集,压缩算法,演示：,DTS,OLAP,Data Mining,Integrate with Excel/Web/Data Analyzer,Fulltext Search,布置数据,停止用户直接访问数据,!,把数据展现给用户,使用用户每天都使用的工具,Web Browser,Microsoft Office,Portal,LOB application,赋予他们理解数据的能力,!,不同的用户与需求,Strategic,Analysis,Monitoring,Interactive,Reporting,Desktop,Tool,Dashboard,Web-based,Active,Reports,分析家,偶发用户,T,3,Project Goals,通过演示设计,布署,管理,企业级,的,OLAP,实现来展示,:,真实的业务问题,使用,真实的数据,所,有的数据都在,cube中!,易,于使用,灵活,可扩展,可靠,Analysis Services,ES7000 server,EMC,企业级存储平台,ProClarity,分析工具集的,强大功能,迅速,对,超过,1.2TB,的原始数据构建的,MOLAP,进行复杂查询,Unisys,T,3,Cube,零售业数据库,包括,7.7 billion,行,涵盖,:,716,000,产品,3,渠道,71,城市,按周计算,超过五年的时间,每行包含,31,个,measures,每个产品包括,140,个属性,1.2 TB,未经加工的原始数据,无索引的,在一台服务器上,维度的结构,雪花型架构,性能,处理,7.7 billion,行,50,小时,153 million,行,/,小时,42,000,行,/,秒,60-70%CPU,利用率,查询,平均响应时间,1.2,秒,(,冷缓存,),平均响应时间,0.08,秒,(warm,缓存,),非,常低的,CPU负荷,SQL Server 2000,