商务智能基本概念.pptx

课程性质与参考书目课程性质与参考书目专业课程，综合性强专业课程，综合性强理论与实践相结合理论与实践相结合教材：教材：数据仓库与数据挖掘技术（第数据仓库与数据挖掘技术（第2版）版），陈京民，陈京民，电子工业出版社，电子工业出版社，2007.参考书目参考书目数据挖掘概念与技术（第数据挖掘概念与技术（第2版）版），（加）韩家（加）韩家炜，堪博炜，堪博，机械工业出版社，机械工业出版社，2007.SQL Server 2005 联机丛书联机丛书中的中的Analysis Services 教程教程、数据挖掘教程数据挖掘教程第第1章章 商务智能基本概念商务智能基本概念 信息技术的不断推广应用，将企业带入了一个信息爆炸的时代。每日、每时、每刻都有潮水般的信息出现在管理者的面前，等待管理者去处理、去使用。与此同时，企业的管理者在管理中面对来自不同部门的、相互矛盾的信息无法对所要解决的决策问题提出正确的解决方案。为此，需要一种新的信息处理技术能够使决策者们获取及时准确的信息，以理解商务活动并做出智能化的、更有效的决策，即能从海量的数据中提取有用的信息并转化为商务知识，从而告别“拍脑袋”决策方式。通过本章学习，可以了解：通过本章学习，可以了解：商务智能的发展及体系结构；商务智能的发展及体系结构；数据仓库的总体结构框架；数据仓库的总体结构框架；数据仓库的功能结构；数据仓库的功能结构；数据仓库的环境支持结构；数据仓库的环境支持结构；数据挖掘的基本原理；数据挖掘的基本原理；数据挖掘的应用范围和应用过程。数据挖掘的应用范围和应用过程。1.1 商务智能的基本概念1.1.1 商务智能的定义1989年美国加特纳公司的分析师Howard Dresner首次提出“商务智能”美国美国IBM公司的定义公司的定义 Microsoft认为商务智能认为商务智能 IDC国际数据公司国际数据公司 Business Objects公司认为商务智能公司认为商务智能 Teradata公司认为商务智能的目的公司认为商务智能的目的美国美国Micro Strategy公司的定义公司的定义1.1 商务智能的基本概念 商务智能是数据仓库、联机分析处理和数据挖掘等相关技术走向商业应用后形成的一种应用技术应用技术。该技术收集、汇总了与商务活动有关的各种数据，将其集成到数据仓库中数据仓库中。采用联联机机分分析析技技术术（OLAP）对商务活动进行实时的监控、分析，便于及时采取有效的商务决策，提升商务活动的绩效。应用数数据据挖挖掘掘技技术术(DM)对描述商务活动的数据进行挖掘，以获取有效的商务信息，从中提取商务知识，为企业商业发展寻找新的机遇。OLAP 与 DM之间的区别？1.1 商务智能的基本概念三种技术的关系：数据仓库是三种技术的关系：数据仓库是BI基础；基础；OLAP是是BI利器；利器；DM是是BI源泉。源泉。例子：一位消费者话例子：一位消费者话34元在网上购买了一本介绍元在网上购买了一本介绍证券交易的图书。证券交易的图书。思考？思考？1.如何记录消费者的购买情况？该书销售情况，证如何记录消费者的购买情况？该书销售情况，证券交易类，金融类，经管类图书销售情况？时间券交易类，金融类，经管类图书销售情况？时间维度，产品类型。维度，产品类型。2.如何将向该消费者推荐其他产品？如何将向该消费者推荐其他产品？3.如何发现该类图书的潜在客户群体？如何发现该类图书的潜在客户群体？1.1 商务智能的基本概念1.1.2 商务智能的发展与应用1商务智能的发展商务智能的发展从20世纪60年代计算机用于管理信息处理开始，经过40多年的发展，信息处理技术的发展经历了电子数据处 理 系 统（EDPS，Electronic Data Processing System）、管 理 信 息 系 统(MIS，Management Information System)和决策支持系统(DSS,Decision Supporting System)等阶段。1.1 商务智能的基本概念2商务智能的作用商务智能的作用作用主要体现在理解、改善、衡量和创造四个方面。3商务智能的作用域商务智能的作用域战略管理、营销管理、市场管理、客户关系管理和风险管理等。1.1 商务智能的基本概念1.1.3 商务智能的体系结构 商务智能体系架构主要有比尔恩门的信息工厂，扎克曼的企业体系结构，美国数据仓库研究院的商务智能体系结构以及加特纳公司的商务智能体系结构等。这些体系结构中均包含了商务分析、OLAP、数据挖掘和数据仓库四大部分（图1.1）。1.1 商务智能的基本概念图1.1 商务智能体系结构商务分析：绩效管理、客户管理、供应链管理OLAP、数据挖掘、数据挖掘(差异性：面向对象和问题不同。差异性：面向对象和问题不同。)数据仓库1.2 数据仓库的发展与展望1.2.1 从传统数据库到数据仓库1.决策处理的系统响应问题2.决策数据需求的问题（内外部，集成，清洁，实体统一，部分非结构化，历史沿革信息）3.决策数据操作的问题4.数据仓库与传统数据库的对比1.2 数据仓库的发展与展望表1-1 数据仓库与数据库对比表对比内容对比内容数据库数据库数据仓库数据仓库数据内容数据内容当前值当前值历史的、存档的、归纳的、计算的数历史的、存档的、归纳的、计算的数据据数据目标数据目标面向业务操作程序、重复处面向业务操作程序、重复处理理面向主题域、管理决策分析应用面向主题域、管理决策分析应用数据特性数据特性动态变化、按字段更新动态变化、按字段更新静态、不能直接更新、只定时添加静态、不能直接更新、只定时添加数据结构数据结构高度结构化、复杂、适合操高度结构化、复杂、适合操作计算作计算简单、适合分析简单、适合分析使用频率使用频率高高中到低中到低数据访问量数据访问量每个事务只访问少量记录每个事务只访问少量记录有的事务可能要访问大量记录有的事务可能要访问大量记录对响应时间的对响应时间的要求要求以秒为单位计量以秒为单位计量以秒、分钟、甚至小时为计量单位以秒、分钟、甚至小时为计量单位用户和系统的面向性用户和系统的面向性面向顾客（事务）面向顾客（事务）VS.面向市场（分析）、适面向市场（分析）、适用知识工人用知识工人数据内容数据内容当前、详细数据当前、详细数据(不利于决策不利于决策)VS.不同粒度、不同粒度、历史的、汇总的数据。历史的、汇总的数据。数据库设计数据库设计实体联系模型实体联系模型(ER)和面向应用的数据库设计和面向应用的数据库设计 VS.星型星型/雪花模型和面向主题的数据库设计雪花模型和面向主题的数据库设计数据视图数据视图当前的、企业内部的数据当前的、企业内部的数据 VS.经过演化的、集经过演化的、集成的数据成的数据访问模式访问模式事务操作事务操作 VS.只读查询（但很多是复杂的查询）只读查询（但很多是复杂的查询）任务单位任务单位简短的事务简短的事务 VS.复杂的查询复杂的查询访问数据量访问数据量数十个数十个 VS.数百万个数百万个用户数用户数(与企业规模相关与企业规模相关)数千个数千个 VS.数百个数百个数据库规模数据库规模100M-数数GB VS.100GB-数数TB设计优先性设计优先性高性能、高可用性高性能、高可用性 VS.高灵活性、端点用户自高灵活性、端点用户自治治度量度量事务吞吐量事务吞吐量 VS.查询吞吐量、响应时间查询吞吐量、响应时间1.2 数据仓库的发展与展望1.2.2 数据仓库的定义与基本特性William H.Inmon在1993年所写的论著Building the Data Warehouse则首先系统性地阐述了关于数据仓库的思想、理论，为数据仓库的发展奠定了历史基石。在文中，将数据仓库定义为：“一个面向主题的、集成的、随时间变化的、非易失性数据的集合，用于支持管理层的决策过程”。1.2 数据仓库的发展与展望1.面向主题性面向主题性表示了数据仓库中数据组织的基本原则，数据仓库中的所有数据都是围绕着某一主题组织的。l根据决策问题确定主题。根据决策问题确定主题。l确确定定主主题题以以后后，需需要要确确定定主主题题应应该该包包含含的的数数据据。（并并非非所所有有 业务数据都能进入数据仓库的主体中）业务数据都能进入数据仓库的主体中）l不同的主题之间可能会出现相互重叠的信息。不同的主题之间可能会出现相互重叠的信息。l主主题题在在数数据据仓仓库库中中可可以以用用多多维维数数据据库库方方式式进进行行存存储储。（数数据据结构）结构）l主题的划分中，必须保证每一个主题的独立性。主题的划分中，必须保证每一个主题的独立性。1.2 数据仓库的发展与展望2.数据集成性 根根据据决决策策分分析析的的要要求求，将将分分散散于于各各处处的的源源数数据据进进行行抽抽取取、筛筛选选、清清理理、综综合合等等工工作作，最最终终集集成成到到数数据据仓仓库库中中。数数据据来来源源广广泛泛：OLTP,ERP,EC,异异质质性性数数据据库库.3.数据的时变性 数数据据应应该该随随着着时时间间的的推推移移而而发发生生变变化化。不不断断地地生生成主题的新快照成主题的新快照 4.数据的非易失性数据不进行更新处理数据不进行更新处理 1.2 数据仓库的发展与展望5.数据的集合性按照主题，以多维数据库方式进行存储的多维模式、以关系数据库方式进行存储的关系模式或以两者相结合的方式进行存储的混合模式。集合性即数据的闭合性，能够提供主题分析的全部数据信息。6.支持决策作用 1.2 数据仓库的发展与展望1.2.3 数据仓库的发展1.基于关系对象数据库的数据仓库2.网络的影响3.操作型动态数据仓库4.Web应用中的多智体技术 1.3 数据仓库的体系结构1.3.1 数据仓库的概念结构数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具（图1.2）。1.3 数据仓库的体系结构 数据源业务系统外部数据源数据准备区数据仓库数据库应用工具管理工具数据集市/知识挖掘库应用工具数据集市/知识挖掘库图1.2 数据仓库的概念结构1.3 数据仓库的体系结构1.3.2 虚拟数据仓库结构不需要从业务系统中抽取数据到新的数据存储位置数据仓库中 用户数据仓库查询管理服务器业务系统数据库1.3 数据仓库的体系结构1.3.3 数据集市结构 用户 数据仓库查询管理服务器业务系统数据库主题1主题21.3 数据仓库的体系结构1.3.4 单一数据仓库结构 用户 数据仓库查询管理服务器业务系统数据库数据仓库数据集市1数据集市21.3 数据仓库的体系结构1.3.5 分布式数据仓库结构 站点A 站点B 站点C 站点D局部数据仓库全局数据仓库局部数据仓库局部数据仓库局部数据仓库总部1.4 数据仓库的参照结构 数据仓库的基本功能包含：数据抽取，数据筛选、清理，清理后的数据加载，设立数据集市，完成数据仓库的查询、决策分析和知识的挖掘等操作。数据仓库的管理层分成数据管理与元数据管理两部分，主要负责对数据仓库中的数据抽取、清理、加载、更新等操作进行管理。数据仓库环境支持层包含数据传输和数据仓库基础两部分。数据仓库基本功能层数据仓库基本功能层数据仓库管理层数据仓库管理层数据仓库环境支持层数据仓库环境支持层1.4 数据仓库的参照结构1.4.1 数据仓库基本功能层1.数据仓库的数据源 业务数据、历史数据、办公数据、Web数据、外部数据以及数据源元数据 数据源数据源数据准备区数据准备区数据仓库结数据仓库结构构数据集市数据集市/知知识挖掘库识挖掘库存取与使用存取与使用1.4 数据仓库的参照结构2.数据准备区功能结构数据准备区数据准备区标准化标准化元数据抽取元数据抽取与创建与创建过滤与匹配过滤与匹配净化净化标明标明时间戳时间戳的数据源的数据源确认数据质量确认数据质量元数据类型元数据类型基于应用，可以将元数据分成以下的若干种。基于应用，可以将元数据分成以下的若干种。数据结构：数据集的名称、关系、字段、约束等；数据结构：数据集的名称、关系、字段、约束等；数据部署：数据集的物理位置；数据部署：数据集的物理位置；数据流：数据集之间的流程依赖关系（非参照依赖），包括数据集数据流：数据集之间的流程依赖关系（非参照依赖），包括数据集到另一个数据集的规则；到另一个数据集的规则；质量度量：数据集上可以计算的度量；质量度量：数据集上可以计算的度量；度量逻辑关系：数据集度量之间的逻辑运算关系；度量逻辑关系：数据集度量之间的逻辑运算关系；ETL过程：过程运行的顺序，并行、串行；过程：过程运行的顺序，并行、串行；数据集快照：一个时间点上，数据在所有数据集上的分布情况；数据集快照：一个时间点上，数据在所有数据集上的分布情况；星型模式元数据：事实表、维度、属性、层次等；星型模式元数据：事实表、维度、属性、层次等；报表语义层：报表指标的规则、过滤条件物理名称和业务名称的对报表语义层：报表指标的规则、过滤条件物理名称和业务名称的对应；应；数据访问日志：哪些数据何时被何人访问；数据访问日志：哪些数据何时被何人访问；质量稽核日志：何时、何度量被稽核，其结果；质量稽核日志：何时、何度量被稽核，其结果；数据装载日志：哪些数据何时被何人装载；数据装载日志：哪些数据何时被何人装载；1.4 数据仓库的参照结构3.数据仓库功能结构数据重整数据重整数据仓库创建数据仓库创建元数据元数据管理管理集成与分解集成与分解建模建模元数据浏览元数据浏览与导航与导航概括与聚集概括与聚集概括概括预算与推导预算与推导聚集聚集元数据创建元数据创建翻译与格式化翻译与格式化调整与确认调整与确认转换与映像转换与映像建立结构化查询建立结构化查询创建词汇表创建词汇表1.4 数据仓库的参照结构4.数据集市/知识挖掘库结构求精与重整求精与重整数据集市数据集市/知识挖掘库创知识挖掘库创建建元数据管理元数据管理过滤与匹配过滤与匹配建立模型建立模型元数据浏览元数据浏览与导航与导航集成与分割集成与分割概括概括概括与聚集概括与聚集聚集聚集元数据的抽元数据的抽取与创建取与创建预测与推导预测与推导调整与确认调整与确认标明时间维的数据标明时间维的数据源源建立结构化查询建立结构化查询创建词汇表创建词汇表1.4 数据仓库的参照结构5.数据仓库的数据存取与使用结构数据仓库存取与数据仓库存取与检索检索数据仓库分析与数据仓库分析与报告报告元数据元数据管理管理数据仓库直接存取数据仓库直接存取报表工具（报表工具（GIS）元数据管理元数据管理与报表与报表数据集市存取数据集市存取分析工具分析工具(OLAP)数据集市重整数据集市重整分析建模工具分析建模工具元数据抽取元数据抽取与创建与创建转换为多维结构转换为多维结构数据挖掘工具数据挖掘工具创建局部存储创建局部存储图形工具图形工具1.4 数据仓库的参照结构1.4.2 数据仓库的管理层1.数据仓库的数据管理层数据抽取与新数据抽取与新数据需求与查数据需求与查询管理询管理数据加载、存数据加载、存储、刷新和更储、刷新和更新系统新系统安全性与用户安全性与用户授权管理系统授权管理系统数据归档、恢数据归档、恢复及净化系统复及净化系统1.4 数据仓库的参照结构2.数据仓库的元数据管理层数据仓库、数据仓库、数据集市数据集市和词汇表和词汇表管理管理元数据抽元数据抽取、创建、取、创建、存储和更存储和更新管理新管理预定义的查预定义的查询、报表和询、报表和索引管理索引管理刷新与复刷新与复制管理制管理登录、归登录、归档、恢复档、恢复与净化管与净化管理理1.4 数据仓库的参照结构1.4.3 数据仓库的环境支持层 1)数据仓库的数据传输层数据传输和数据传输和传输网络传输网络客户客户/服务器服务器代理和中间代理和中间件件复制系统复制系统安全和保障安全和保障系统系统1.4 数据仓库的参照结构2)数据仓库的基础层系统管理系统管理工作流程管理工作流程管理存储系统存储系统处理系统处理系统1.5 数据挖掘技术概述1.5.1 数据挖掘的发展发展原因主要有：超大规模数据库的出现、先进的计算机技术、经营管理的实际需要和数据的精深计算能力 1.5 数据挖掘技术概述1.5.2 数据挖掘的定义1.数据挖掘的技术定义数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们所不知道的、但又是潜在有用的信息和知识的过程。2.数据挖掘的商业定义一种崭新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转化、分析和模式化处理，从中提取辅助商业决策的关键知识 1.5 数据挖掘技术概述传统数据分析工具传统数据分析工具(DSS/EIS)数据挖掘工具数据挖掘工具工具特点工具特点回顾型的、验证型的回顾型的、验证型的预测型的、发现型的预测型的、发现型的分析重点分析重点已经发生了什么已经发生了什么预测未来的情况、解释发生的原因预测未来的情况、解释发生的原因分析目的分析目的从最近的销售文件中列出最大客户从最近的销售文件中列出最大客户锁定未来的可能客户，以减少未来锁定未来的可能客户，以减少未来的销售成本的销售成本数据集大小数据集大小数据维、维中属性数、维中数据均数据维、维中属性数、维中数据均是少量的是少量的数据维、维中属性数、维中数据均数据维、维中属性数、维中数据均是庞大的是庞大的启动方式启动方式企业管理人员、系统分析员、管理企业管理人员、系统分析员、管理顾问启动与控制顾问启动与控制数据与系统启动，少量的人员指导数据与系统启动，少量的人员指导技术状况技术状况成熟成熟统计分析工具已成熟，其他工具正统计分析工具已成熟，其他工具正在发展中在发展中1.6 数据挖掘技术与工具1.6.1 常用数据挖掘技术1.传统分析类线性分析和非线性分析、回归分析、逻辑回归分析、单变量分析、多变量分析、时间序列分析、最近邻算法和聚类分析等技术。2.知识发现类人工神经网络、决策树、遗传算法、粗糙集、规则发现、关联顺序等。3.数据挖掘技术的发展文文本本数数据据挖挖掘掘、Web数数据据挖挖掘掘、可可视视化化系系统统、空空间间数数据据挖挖掘掘和和分布式数据挖掘技术等。分布式数据挖掘技术等。1.6 数据挖掘技术与工具1.6.2 常用数据挖掘工具1.按使用方式分类的数据挖掘工具决策方案生成工具、商业分析工具和研究分析工具三大类。2.按数据挖掘技术分类的数据挖掘工具基于神经网络的工具、基于规则和决策树的工具、基于模糊逻辑的工具和综合性数据挖掘工具等。3.按应用范围分类的数据挖掘工具专用型数据挖掘工具和通用型数据挖掘工具。专用型数据挖掘工具和通用型数据挖掘工具。1.6 数据挖掘技术与工具1.6.3 数据挖掘工具的评价标准1.模式种类的数量2.解决复杂问题的能力3.操作性能4.数据获取能力5.挖掘结果的输出 6.噪声数据的处理及挖掘工具的鲁棒性1.6 数据挖掘技术与工具1.6.4 常用数据挖掘工具选择从工具的实用性和技术性方面进行考察从工具的实用性和技术性方面进行考察1.7 数据挖掘的应用1.7.1 数据挖掘与数据仓库 大多数数据挖掘工具需要在集成的、一致的、经过清理的数据上进行挖掘。在数据仓库的构造过程中已经围绕数据仓库组建了包括：数据存取、数据集成、数据合并、异种数据库的转换、ODBC/OLE DB的连接、Web访问和服务工具以及报表与OLAP分析工具等全面的数据处理和数据分析基础设施。数据仓库中的OLAP完全可以为数据挖掘提供有关的数据操作支持 数据挖掘与数据仓库的应用已经紧密地捆绑在一起 1.7 数据挖掘的应用1.7.2 数据挖掘过程 数据挖掘过程一般需要经历：确定挖掘对象、准备数据、建立模型、数据挖掘、结果分析与知识应用这样几个阶段。1.7 数据挖掘的应用确定挖掘对象|准备数据|模型建立|数据挖掘|结果分析|知识应用 应用方案 知识知识 商业模式商业模式 预处理数据 目标数据 集成数据 源数据 业务对象业务分析人员|数据管理人员|数据分析人员|业务分析人员1.7 数据挖掘的应用1.7.3 数据挖掘的用户业务分析人员、数据分析人员和数据管理人员。业务分析人员、数据分析人员和数据管理人员。