从任意数据中获得更深刻的洞察力.docx

从任意数据中获得更深刻的洞察力
技术白皮书

发布时间：2013年6月
适用产品：SQL Server 2014和SQL Server 2012

总结：商业智能（BI）必须要能够跟上我们在日常协作过程中发现和产生数据的新的方式，能够支持当前全新范围的、全新规模的、多样性的信息和数据。微软SQL Serve 结合微软Office和SharePoint为用户提供了功能强大的自助式BI的功能，以及强大的数据管理能力，帮助组织提供可靠、一致的数据，平衡用户需求。通过Office和SharePoint 2013，以及其将来的发布版本，微软Excel已经成为一个完整的、功能强大的自主式BI工具。随着大数据的概念的演变，BI应用领域一个重要的功能是确保BI用户能够同时从结构化数据和非结构化数据当中获得深刻的业务洞察力。作为本文要讨论的任意数据的一个构成部分，我们将讨论微软大数据解决方案作为现代企业BI平台组成部分的功能。
版权声明
本文档中包含的信息代表微软公司就所讨论的问题截至发布之日的当前观点。由于微软公司必须应对不断变化的市场环境，所以，本文中提供的信息不应被视为微软公司的承诺，微软公司不能保证本文当中提供的信息在发布日期以后的准确性。
本白皮书仅供参考。微软公司对本文档中的信息不做任何明示、暗示或法定的担保。
用户有责任遵守所有适用的版权法/著作权法。在不限制版权法/著作权法管辖的权利的前提下，未经微软公司明确书面许可，本文档中的任何部分均不得复制、存储或引入检索系统，或者以任何形式或借助任何手段（电子、机械、影印、录制或其他手段）、出于任何目的进行传播。
微软公司可能拥有本文档所涵盖主题的专利、专利申请、商标、版权或其他知识产权。除非微软公司提供了明确的书面许可协议，否则提供本文档并不意味着赋予您这些专利、商标、版权或其他知识产权的任何许可。
除非另有说明，本文档示例所提及的公司、组织、产品、域名、电子邮件地址、徽标、人物、地点和事件纯属虚构。不应据此联想或推断到任何真实的公司、组织、产品、域名、电子邮件地址、徽标、人物、地点或事件。
© 2011 微软公司。保留所有权利。
微软、微软 徽标、Excel、Internet Explorer、SQL Server 和 Window Server 是 微软 Corporation 在美国和/或其他国家/地区的商标或注册商标。
所有其他商标归其各自拥有者所有。
目录
不断变化的数据世界 4
通过微软SQL Server获得更深刻的洞察力 4
商业智能的新功能 5
Excel中的快速探索 5
通过Excel中的Power View获得引人入胜、交互式的可视化 5
对表格和多维模型的Power View的支持 6
Excel中“数据浏览器”项目概述 7
Excel“GeoFlow”项目概述 8
Excel中现有的PowerPivot自助服务式分析 9
管理自助式BI 10
通过SharePoint实现轻松的管理 13
可靠、一致的数据 13
BI语义模型 13
企业信息管理 14
数据质量服务 14
主数据服务 14
集成服务 15
大数据分析和数据仓库 15
海量数据仓库 15
通过内存驻留技术实现的新一代性能 15
大数据解决方案 15
结论 16
更多信息 16

不断变化的数据世界
随着商业模式的演变，数据交互的方式也正在转变。企业面临着与日俱增的信息量和多变的数据类型，这些数据涵盖了从增长的交易数据，到非结构化数据、图像文件以及新型数据（如传感器网络上获得的信息）。一些新的问题由此产生 — 随着企业在线业务的增长，人们通过新的渠道进行互动，这些新渠道能提供一整套新的数据，并且更紧迫地推进实时交互。为了洞察业务，我们迫切需要以全新的角度、可扩展地和多样化地处理、管理和分析这些新型信息。
数据的扩散已经远远超出了传统的数据类型。Gartner公司的数据表明，全球数据总量以每年59％的速度增长。此外，Gartner公司估计有70%到85%的数据是非结构化的 来源：Mark Beyer，“信息管理变得‘极端’：21世纪首席信息官们最大的挑战 。”Gartner学术讨论会演讲，2011年10月
。从结构化到非结构化以及复杂数据类型这一显著的转变，要求组织拥有后端解决方案，从而支持复杂的数据类型和非传统的数据源，比如大数据。
我们的工作方式和我们对工作方式的预期正在发生变化。随着我们能在网络上做任何的事情和社交媒体的出现，我们正在用全新的方式对信息进行探索、分享和协作。从我们如何获取信息、如何与人协作以及如何借鉴他人工作这些角度看，商业智能并没有什么不同。
通过微软SQL Server获得更深刻的洞察力
微软过去几年的技术创新卓有成效。在一批关于自助式BI的研究文章当中，Forrester研究公司指明微软是一个关于自助式BI的领跑者，并断言“微软使商业用户能够自助式使用BI，看起来和Excel一样易用。” 来源：“Forrester Wave报告：自助服务的商业智能平台，2012年第二季度。”Forrester 研究。

更快地获得洞察旨在让组织内部每个员工通过熟悉的微软办公软件获得自助式BI的能力，从而掌握日常数据探索和信息协作的工作方式。IT部门提供员工需要的工具来管理来自关系型和非关系型数据源的任何规模和类型的数据，利用所有可用的数据以获得对新业务的洞察。 通过以下增强的功能，SQL Server为整个组织提供更快的洞察：
· 通过微软 Excel进行快速的数据探索：微软将继续通过用户每天使用的熟悉的工具（如微软 Office和微软 SharePoint）赋予用户自助服务的能力。通过SQL Server为Excel提供PowerPivot插件，微软使各阶层用户快速地获得对任意来源数据的访问，并基于这些数据在Excel中进行分析和建模，然后通过SharePoint协作和分享洞察。微软还提供了Power View软件作为其自助服务阵容中的一部分。 Power View软件是一个高度交互性的、基于浏览器的工具，其简化了数据探索和可视化的过程。微软的自助服务BI提供了一种更快地获得洞察的方法，作为日常活动的一部分，通过Excel中的PowerPivot和Power View实现，从而达到以下目的：
o 从任何来源获取和整合数据
o 创建引人入胜的报表和分析应用程序
o 以充满创意和全新的方法体现数据的可视化和交互性
o 通过在Excel和SharePoint中的熟悉的工具，更轻松地协作和共享洞察
· 管理自助式BI：此功能提供必需的工具给IT部门，从而管理和保护那些由终端用户创建的数据和内容。通过监控和管理用户创建的内容以及将这些内容转化到由IT部门专门管理的企业级解决方案中，微软为IT管理员独到地提供他们需要的洞察和监督。其收益之一是企业可以简化合规的流程，而不妨碍用户的灵活性和创造性。另一个收益是通过SharePoint 2013，微软为您的BI解决方案，提供企业级的IT监管。
· 可靠、一致的数据：随着数据类型和来源的日益增长，对于组织来说，确保用户访问的数据的可信性和一致性越来越重要。通过SQL Server，微软提供了一个完整的和集成的企业信息管理（EIM）工具套件。其中，数据质量服务帮助IT专业人士提高数据的质量，并提供了一些专有的功能，比如能够连接到Windows Azure Marketplace和使用第三方可参考的数据，从而可靠地抽取、清理和匹配数据。另外，随着生产力的增强和为了主数据维护而产生了新的Excel插件。这些工具减少了解决方案的时间并帮助确保管理的简易性。
· 大数据分析和可扩展的数据仓库：组织需要利用包括关系型和非关系型在内的所有可用数据，以推动那些能够产生创新和业务机会的新的洞察。现在，微软客户能够从SQL Server中获得分析洞察，并从数据仓库解决方案中获得最大的收益。 除了通过内存驻留技术实现的下一代10到100倍的性能提升，SQL Server还通过AlwaysOn增加了完整的容错和故障转移的功能。 SQL Server还引入了对非关系型的数据类型的处理，通过Hadoop连接数据仓库和大数据。
商业智能的新功能
Excel中的快速探索
SQL Server 2014让用户能够访问和集成几乎任何来源的数据，从而增强了组织的数据探索能力。用户能创建引人入胜的报表和分析应用程序，也能通过使用熟悉的工具更容易地协作和分享洞察。通过使用来自多种数据源的数据（包括本地服务器上的、企业联合的或非结构化的数据源），用户能创建交互性的、表格式的、图形化的、以及格式自由的报表。SQL Server还提供了多个可编程的定制功能。
通过Excel中的Power View获得引人入胜、交互式的可视化
微软提供了高度交互性和可响应的数据探索、可视化和面向所有类型用户（包括使用Excel的业务主管和信息工作者）的演示体验，从而实现了自助服务的报告方式。任何人都能在简单的数秒钟内创建一个报告，通过简单的点击就能转换数据的“形状”，增加了强大的定时动画序列功能以快速地识别趋势或异常情况，并通过丰富的对发现和洞察的演示，做出更有说服力的案例解析（见图1）。

图1：微软Excel中的Power View
Excel中的Power View为用户提供以下的收益：
· 视觉设计体验：用户能在一个完全交互式的，基于网络的、外观和感觉类似微软 Office的编写环境中获得和分析信息。用户能在各种数据表、图表和视图中创建和操纵数据，从而按需实现各种数据的可视化。
· 数据的过滤和增强：因为Power View软件可以通过其潜在的BI语义模型（BISM）识别不同表之间的关系，所以用户能更容易地与数据交互以获得洞察。用户能够通过这个共同的元数据层，使用多种可视化过滤器，展现整个报告或强调部分数据。（欲了解更多关于BISM的信息，请参阅本文以下BI语义模型部分）。
· 演示准备：Power View软件使用户能够快速、轻松地分享信息，并让他们在几乎任意时间浏览和展现数据，且不需要转换到另一个平台。用户能够将报告发布到SharePoint的Excel服务当中，以便其他人可以轻松地查看信息和交互信息。
· 性能：为了节省时间和资源，Power View在任何特定时间中只检索需要可视化的数据。
· 增强的可视化：格式包括报告的风格和主题、背景和背景图像、超链接、饼图、对地图的支持以及关键绩效指标。
对表格和多维模型的Power View的支持
Power View软件通过对SQL Server分析服务的支持，组织可以从现有的BI投资中获得最大的收益，同时向用户提供最新的BI终端用户工具，包括同时支持以表的方式和以多维BISM模式建模的灵活性。并且用户可以快速地创建各种可视化图形，比如表和矩阵、气泡图、以及基于两种模型类型建立的多个图表（见图2）。

图2：在Power View中一个关于BISM可视化的多维数据集
Excel中“数据浏览器”项目概述
代号“数据浏览器”是一个Excel插件，通过简化数据发现和访问的过程而提升在Excel中使用商业智能自助服务的体验。为了更好地分析Excel中的数据，用户可以通过这个功能更轻松地发现、合并和精细化数据。使用“数据浏览器”的用户能体验到以下的功能：
· 识别和导入来自外部来源的数据（关系数据库、Excel类型、文本文件和XML文件、开源数据、网页、Hadoop分布式文件系统、以及更多）。
· 通过数据搜索功能探索相关数据。
· 在类似于Excel和PowerPivot的工具中，合并来自多个不同数据源的数据，并把它进行转换以准备进一步的分析（见图3）。

图3： 在“数据浏览器”项目中分析和编辑查询
Excel“GeoFlow”项目概述
“GeoFlow”项目让用户能够直观地绘制地域和时间的数据、立体三维地分析数据，并创建可与他人分享的交互式体验（见图4）。 使用“GeoFlow”的用户能体验到以下功能：
· 数据展示能够将Excel工作簿中超过一百万行的数据（包括Excel数据模型或PowerPivot中获得的数据、微软Bing上的三维地图中获得的数据）绘制成地区图表，用户能够从柱型图、热度地图和气泡可视图中进行选择。
· 探索新的洞察旨在通过从地理空间和时间推移的角度审视数据，用户可以通过几次点击，对数据进行注释或比较。
· 分享故事旨在通过捕捉场景和建造生动的、引导性的向导，以更有趣的方式广泛地吸引观众来分享故事。

图4： 通过“GeoFlow”项目实现类似于票务交易分析，从地理空间数据中释放洞察
Excel中现有的PowerPivot自助服务式分析
通过SQL Server 2014，微软让用户能访问和集成几乎任何来源的数据，从而创建引人入胜的自助服务报告和分析应用程序（见图5）。用户可以将这些报告发布到Excel服务当中，然后以更强的协作功能更轻松地在整个组织中分享这些报告。IT部门能在SharePoint中央管理控制台上通过PowerPivot管理仪表板全面管理解决方案，在此，IT管理员能在不妨碍用户的创造力的前提下管理和保护数据。

图5： 在Excel工作薄中使用PowerPivot分析数据
PowerPivot不仅被集成到Excel中，而且还提供了实现高级分析（比如分析关键绩效指标）、高级排序、透析、分层以及复杂的业务逻辑的功能。此外，PowerPivot还涵盖了扩展的数据分析表达式（DAX）的功能，这一功能赋予最终用户在Excel中构建复杂的分析解决方案的能力。同时，用户可以通过Flash Fill轻松地清理和整理数据，加速在Excel中的分析；用户也可以使用Quick Analysis预览数据，应用条件格式创建表格、图表和数据透视表；用户还能够利用Quick Explore中多维的和表格化的数据模型导航并创建趋势图来分析随时间推移而变化的动态信息。
管理自助式BI
IT监管和合规性、洞察、以及治理
组织可以通过以下功能提升监管和合规性，并轻松地跟踪关键业务的Excel资产：通过SharePoint 2013发现和评估用户创建的电子表格；使用Excel内置的Inquire功能，比较和跟踪谱系，进行交互式的诊断，发布基于您的电子表格的分析报告（见图6）。

图6：通过在Excel中的查询分析Excel 工作薄
PowerPivot管理面板（见图7）作为，SharePoint管理中心控制台的一部分，帮助IT部门监测数据和工作簿的使用情况，并从服务器上收集性能指标。这种诊断信息以更好地可视化效果向 IT管理员展示数据是如何用于整个组织的，这样他们就能对使用模式产生更深入的了解，并决定在哪投入时间和资源以达到最佳效果。

图7：通过PowerPivot管理面板监控数据、利用率以及指标
平衡自助服务式内容的创建与IT管理
通过PowerPivot模型直接导入到分析服务的能力（见图8），SQL Server 2014消除了最终用户创建的自助服务内容和企业IT部门管理的解决方案之间的差距。 IT专业人员能通过PowerPivot管理面板确定感兴趣的工作簿，并能积极地参与到管理用户的这些工作簿中。这个层面上的管理是通过专业的BI开发工具—微软 Visual Studio—内的扩展功能实现的。 IT专业人员可以提升基于角色的安全性和其他需要增强的地方，并部署模型反馈给社区用户。

图8： 从Visual Studio中的PowerPivot导入终端客户的内容
通过SharePoint实现轻松的管理
SharePoint提供了一个集成平台，用于整合SQL Server 2014的报表服务和Power View的BI自助服务功能。通过将SQL Server 报表服务的管理和配置整合到SharePoint管理中心门户网站以及PowerShell脚本中，能够帮助SharePoint管理员降低TCO。IT专业人员可以通过一个单一的开关赋予组织中所有信息工作人员使用报告的能力，并可以像管理任何其他的SharePoint功能一样管理这些功能。
可靠、一致的数据
BI语义模型
SQL Server 2014的BI语义模型（见图9），是一个独立的模型，可支持用户以多种方式构建商业智能解决方案，包括：
· 继续支持强大的在线分析处理（OLAP）技术，使SQL Server分析服务成为BI专家不可或缺的服务。
· 为惯于处理行列数据结构的IT专业人员和开发人员提供工具。
· 支持涵盖个人，团队和企业背景的BI解决方案。

图9： BI语义模型
通过使用BISM，公司能够从小规模的、个人的BI解决方案发展到大规模的BI需求。 BISM包含所有的终端用户的体验：报表、分析、记分卡、仪表板以及自定义的应用程序。它为开发人员提供灵活的建模经验，构建复杂业务逻辑的丰富性，以及极为苛刻的企业需求的可扩展性。
企业信息管理
数据质量服务
数据质量服务（DQS）帮助组织完善端到端的数据管理。 DQS提供知识驱动的工具，数据管理员可以使用它来创建和维护一个以数据质量为主题的知识库。这些主题将有助于提高组织数据的质量并易于管理。具体来说，组织能够通过知识来分析、清理、及匹配数据，从而提高对数据质量的信心。数据管理员能以一个独立的工具来运行数据质量服务，或将其集成到SQL Server集成服务中。使用SQL Server，客户可以访问Windows Azure Marketplace作为第三方数据源，在数据质量项目中帮助验证和清理数据。
主数据服务
主数据服务（MDS）使得组织管理主数据结构（对象映射、引用数据、维度和数据层次）和数据集成业务变得容易。基于实体的临时表使得数据库管理员（DBA）可以一次性为某实体加载所有成员及其属性值。此外，主数据管理Web应用程序的浏览器和集成管理功能区已经更新，基于微软Silverlight浏览器开发工具赋予其全新的展现方式和使用感觉。数据库管理员可以更快速地添加和删除成员，并可以更容易地将它们移动到一个层次。
Excel的MDS插件使得数据管理全民化，使信息工作者有能力直接在Excel中建立数据管理应用程序。信息工作者可以使用此插件加载一组从Excel过滤的数据，然后发布这些更改到MDS数据库。管理员也可以使用插件创建新的实体和属性。
集成服务
SQL Server集成服务有助于降低数据集成工作的壁垒。集成服务使得各种规模的组织更有效地管理企业的信息，提高生产率，并使操作流程化。 SQL Server集成服务提供全面的支持，以帮助组织将运行数据整合能力作为关键任务应用程序之一。它包含丰富的对数据库管理员和IT用户的支持，用来部署和管理ETL（提取、转换、加载）任务。作为一个单独的实例，SQL Server包括运行、管理和其他功能。
大数据分析和数据仓库
SQL Server 2014支持企业级的需求，提供分析和数据仓库解决方案，并提供完整的容错和故障转移的功能，AlwaysOn能够保证99.9％的在线时间。
海量数据仓库
微软提供了一系列的解决方案以帮助企业解决大数据所带来的挑战，其数据仓库解决方案家族包括SQL Server、SQL Server Fast Track数据仓库和SQL Server 并行数据仓库，提供了一个强大且可扩展的平台，用于在传统的数据仓库中进行数据存储和分析。 SQL Server 2014中提供了增强功能，如远程Blob存储和规模达到15000分区的分区表， 它们可以支持大规模滑动窗口情况。（在滑动窗口的场景下，分区表通过增加容纳最新数据的分区、删除包含最老数据的分区，以保持相同数量的分区。）SQL Server 2014中还增加了对多达640个逻辑内核的支持，从而提高大型负载和整合应用场景的性能。
通过内存驻留技术实现的新一代性能
凭借内存驻留技术，微软SQL Server 2014跨越现有的分析和数据仓库技术，将性能提升10到100倍。随着工业硬件中扫描速度达到每秒数以亿行，内存驻留列存储技术让用户能够以接近思考的速度在前所未有的数据量中探索并与之交互。
大数据解决方案
微软大数据战略包含Hadoop， 用于激活传统数据平台之外的环境数据。 Hadoop是提供MapReduce并行计算引擎和环境的开源实现，它可用于处理数据流，规模远远超出最大的企业级数据集。无论是从传感器，点击流，社交媒体，地理位置，或其他方式产生和收集的海量数据，Hadoop都可以提供处理和分析的服务。
微软提供了HDInsight，一个企业级实现或称分布式部署的Hadoop解决方案。HDInsight基于Windows Server和Windows Azure，能够与微软SQL server、Active Directory、以及System Center集成，为以更加方便、高效、低成本的方式部署大数据解决方案带来了新的机会。HDInsight是微软开发的与Apache平台百分百兼容的Hadoop解决方案。 HDInsight支持组织以新的方式来探索之前的非结构化数据，并可连接到一系列广泛使用的商业智能工具。
微软的大数据解决方案使客户能够分析来自Twitter、Facebook等社交媒体网站的数据，以及来自可信任数据供应商的数以百计的在Windows Azure Marketplace上的公开数据。 Azure Marketplace也提供数以百计的应用程序和数据挖掘算法以帮助组织发现新的业务。
整体而言，为了配合微软的大数据战略，PolyBase提供突破性的数据处理引擎技术，他们运行在SQL Server的并行数据仓库。 PolyBase被设计成一个简单的方法来结合和分析非关系型数据和传统的关系数据。组织使用Hadoop数据预填充数据仓库通常会增加IT的负担，或需要大量的培训来完成对MapReduce中非关系型数据的查询。PolyBase可以为用户提供无缝地处理大数据的功能，并降低对大数据处理的复杂度，帮助用户从中收益。
此外，微软大数据解决方案通过与PowerPivot、Power View软件、以及企业级数据仓库工具的深度集成，可以让组织通过他们每天使用的工具来深入分析所有的结构化和非结构化数据。
结论
组织在管理海量数据和新的数据类型方面面临着日益增加的挑战，为应对不断增长的数据，他们需要商业智能解决方案来帮助他们管理日益增加的数据规模和多样化的信息。与此同时，他们需要使终端用户通过易于操作的工具获得和分享对业务的洞察。
微软SQL Server为用户提供了个性化的商业智能和数据管理解决方案，实现了各种处理功能之间的平衡。通过微软Office和微软SharePoint，以及可靠和一致的数据分析工具为终端用户提供了自助分析服务。结合Office2013和SharePoint 2013，Excel 2013成为了一个完整的功能强大的自助式BI工具。
通过使用Excel中的Power View和PowerPivot，微软为用户提供了创建功能强大的自助式报告的用户体验。这种用户体验互动性强，可用于数据挖掘、数据可视化和数据演示。凭借内存驻留技术，终端用户可以快速分析数十亿行的数据。此外，SQL Server 2014提供了增强的PowerPivot， 它可以提供更先进的分析能力，并帮助终端用户在Excel中构建复杂的分析解决方案。此外，用户还可以通过Flash Fill、Quick Analysis、以及Quick Explore来加快Excel中的分析。
SQL Server提供了管理BI自助服务的能力，它可以帮助IT部门为终端用户提供强大的BI功能，同时通过PowerPivot IT 管理面板来平衡监控和管理的需求。随着将PowerPivot模型导入到分析服务中的能力的提升，SQL Server有助于减小存在于终端用户创建的BI应用程序和企业IT解决方案之间的差距。SQL Server还通过改进SharePoint集成来协助促进管理。
通过SQL Server 2014，组织有了提供更可靠、更一致数据的工具。新的BI语义模型提供了一个面向所有终端体验的单一模式，它能够服务于从规模小的，个人BI解决方案到大型企业BI需求。数据质量服务使企业能够创建和维护一个数据质量主题知识库。主数据服务将继续使其更易于管理主数据结构。增强型的SQL Server集成服务和 SQL Server集成服务服务器可以帮助企业提高信息管理的效率和生产力。
最后，微软坚守在大数据分析和数据仓库方面的承诺。微软数据仓库在传统的存储和分析数据环境中提供了强大且可扩展的解决方案。现在，微软正在整合Apache Hadoop，向用户提供来自几乎任何数据（HDInsight）的业务洞察。通过提升现有的微软工具，并与现有的Hadoop工具，如Pig、Hive、和 Java保持一致，新的基于Hadoop的Windows分布式架构可以为IT专业人员提供更简单的获取、安装和配置体验。有了这个新的分布式架构，企业可以无缝地将Hadoop的功能与微软商业智能平台结合，使广大的用户可以从任何数据中获得商业洞察。
更多信息
要获得与本白皮书中讨论的主题的更多信息，请访问以下网站：
· http://www.微软.com/sqlserver/：SQL Server官网；
· http://www.微软.com/en-us/bi/default.aspx：微软 商业智能官网；
· http://www.微软.com/bigdata/：微软 大数据解决方案。

反馈
您从本文中有所收获吗？请告诉我们您的反馈并评价打分：1（差）到5（优秀）。您如何评价这篇文章，您为什么给出这个评价分数。具体而言：
· 您的评分较高，是因为相关的例子，有用的屏幕截图，表达清晰，还是其他原因？
· 您的评分较低，是因为例子并没有解决您的问题，模糊的截屏，还是不清楚的表达？
您的反馈将帮助我们提高我们发布的白皮书的质量。
请把您的反馈发送到：mailto:sqlfback@
第 17 页