第六章物流数据库技术与数据挖掘6优秀文档.ppt

国家级十二五规划教材配套资源,第六章,物流数据库技术与数据挖掘,国家级十二五规划教材配套资源,第六章,物流数据库技术与数据挖掘,*,著名的“啤酒尿布”案例：美国加州某个超级卖场通过数据挖掘发现，下班后前来购买婴儿尿布的男顾客大都购买啤酒。于是经理当机立断，重新布置货架，把啤酒类商品布置在婴儿尿布货架附近，并在二者之间放置佐酒食品，同时还把男士日常用品就近布置。这样，上述几种商品的销量大增。,3,数据挖掘技术,（,1,）,数据挖掘的社会需求,工业控制技术研究所,数据挖掘的社会需求,数据挖掘,数据库越来越大,有价值的知识,可怕的数据,3,数据挖掘技术,（,1,）,数据挖掘的社会需求,工业控制技术研究所,数据挖掘的社会需求,数据爆炸，知识贫乏,苦恼,:,淹没在数据中,;,不能制定合适的决策,!,数据,知识,决策,模式,趋势,事实,关系,模型,关联规则,序列,目标市场,资金分配,贸易选择,在哪儿做广告,销售的地理位置,金融,经济,政府,POS.,人口统计,生命周期,3,数据挖掘技术,（,1,）,数据挖掘的社会需求,根据确定的挖掘目标，选择适合的挖掘模型和挖掘算法，对数据挖掘库中数据进行处理，对模型的参数进行调整，可综合运用几种挖掘模型，然后再对结果进行分析。,而这些数据多从市场上搜集得来，部分是直接从零售商处取得的。,（2）数据挖掘的技术定义,著名的“啤酒尿布”案例：美国加州某个超级卖场通过数据挖掘发现，下班后前来购买婴儿尿布的男顾客大都购买啤酒。,搜索所有与业务对象有关的内部和外部数据信息，并从中选择出适用于数据挖掘的应用的数据。,仍以上述例子说明，通过各类市场搜集回来的各种数据中存在有很多的噪声，如由于某些特别的原因，导致某产品在特定的短时期内价格有所上升，偏离平时情况。,以下一些情况可能影响数据挖掘的效果。,6）将数据挖掘运用到客户关系管理方案中。,将分析所得到的知识集成到业务信息系统组织结构中去。,研究数据的质量，为进一步的分析做准备，并确定将要进行的挖掘操作的类型。,因为需要的数据可能在不同的数据库中，所以需要集成和合并数据到单一的行销数据库中，并协调来自多个数据源的数据在数值上的差异。,因此这一步骤的任务不仅是把结果表达出来，还要对信息进行过滤处理，如果不能令决策者满意，需要重复以上数据挖掘过程。,（1）数据挖掘的社会需求,因为需要的数据可能在不同的数据库中，所以需要集成和合并数据到单一的行销数据库中，并协调来自多个数据源的数据在数值上的差异。,缺少相应可以实施的功能；,4 数据挖掘技术在物流领域中的应用,要及时对建立的模型进行解释和评估。,数据挖掘（,Data Mining,）,就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。,3,数据挖掘技术,（,2,）,数据挖掘的技术定义,3,数据挖掘技术,（,3,）,数据挖掘技术的特点,数据挖掘技术具有以下特点。,1,）处理的数据规模十分庞大,，达到,GB,、,TB,数据级，甚至更大。,2,）查询一般是决策制定者提出的即时随机查询，往往不能形成精确的查询要求，需要靠系统本身寻找其可能感兴趣的东西。,3,）在一些应用中（如商业投资等），由于数据变化迅速,，因此要求数据挖掘能快速做出相应反应以随时提供决策支持。,4,）数据挖掘中，规则的发现基于统计规律,。因此，所发现的规则不必适用于所有数据，而是当达到某一临界值即认为有效。因此，利用数据挖掘技术可能会发现大量的规则。,5,）数据挖掘所发现的规则是动态,的，它只找到了当前状态的数据库具有的规则，随着不断地向数据库中加入新数据，需要随时对其进行更新。,于是经理当机立断，重新布置货架，把啤酒类商品布置在婴儿尿布货架附近，并在二者之间放置佐酒食品，同时还把男士日常用品就近布置。,著名的“啤酒尿布”案例：美国加州某个超级卖场通过数据挖掘发现，下班后前来购买婴儿尿布的男顾客大都购买啤酒。,模型建立是一个迭代的过程，需要研究可供选择的模型，从中找出最能解决企业商业问题的一个。,以物流领域中的仓库管理为例，仓库管理中通常会对货物进行一定的分类，从而来有效利用平面、空间利用率，同时让工作流程更加的高效。,缺少相应可以实施的功能；,通过数据挖掘而得出的预测模式可以和各个领域的专家知识结合在一起，构成一个可供不同类型的人使用的应用程序。,1）处理的数据规模十分庞大，达到GB、TB 数据级，甚至更大。,建立行销数据库时，要对它进行净化。,6）将数据挖掘运用到客户关系管理方案中。,在建立客户关系管理应用时，数据挖掘常常是整个产品中很小的但意义重大的一部分。,苦恼:淹没在数据中;不能制定合适的决策!,因此，所发现的规则不必适用于所有数据，而是当达到某一临界值即认为有效。,因为需要的数据可能在不同的数据库中，所以需要集成和合并数据到单一的行销数据库中，并协调来自多个数据源的数据在数值上的差异。,如果跟挖掘目标有出入，需要重新对数据建模、改进和完善。,客户关系管理以其先进理念，为提高企业核心竞争力创造了条件，数据挖掘以其强大的数据分析能力，为切实落实物流企业的客户管理计划提供了可能。,4 数据挖掘技术在物流领域中的应用,3,数据挖掘技术,（,3,）,数据挖掘的一般过程,数据挖掘过程可以大体分为,4,个步骤：数据准备、数据挖掘、结果的解释和评价、用户界面，如图,6-15,所示。,步骤,1,：数据准备,1,）数据选择。搜索所有与业务对象有关的内部和外部数据信息，并从中选择出适用于数据挖掘的应用的数据。以物流领域中的仓库管理为例，仓库管理中通常会对货物进行一定的分类，从而来有效利用平面、空间利用率，同时让工作流程更加的高效。在物流上，通常取用,ABC,分类法（即按货物的价值与数量）进行分类。而这些数据多从市场上搜集得来，部分是直接从零售商处取得的。在这种情况下，数据选择应选择那些跟市场销售上有更多关联的数据。,3,数据挖掘技术,（,3,）,数据挖掘的一般过程,2,）数据的预处理,。研究数据的质量，为进一步的分析做准备，并确定将要进行的挖掘操作的类型。仍以上述例子说明，通过各类市场搜集回来的各种数据中存在有很多的噪声，如由于某些特别的原因，导致某产品在特定的短时期内价格有所上升，偏离平时情况。数据预处理则是要先对这样的偏离的数据预先剔走。,3,）数据的转换,。将数据转换成一个分析模型。这个分析模型是针对挖掘算法建成的，建立一个真正的适合挖掘算法的分析模型是数据挖掘成功的关键。,3,数据挖掘技术,（,3,）,数据挖掘的一般过程,步骤,2,：数据挖掘,对所得到的经过转换的数据进行挖掘，除了进一步完善挖掘算法外，其余一切工作都能自动完成。以下一些情况可能影响数据挖掘的效果。以上述例子为例，出现填写错误的订单；部分重复的订单数据；缺少相应可以实施的功能；挖掘出来的结果缺乏充分的理由；耗时太长等。,步骤,3,：结果的解释和评价,解释并评估结果，其使用的分析方法一般应视不同的数据挖掘操作而定。根据最终用户的决策目的对提取的信息进行分析，把最有价值的信息区分出来，并且通过决策支持工具提交给决策者。因此这一步骤的任务不仅是把结果表达出来，还要对信息进行过滤处理，如果不能令决策者满意，需要重复以上数据挖掘过程。,步骤,4,：用户界面,将分析所得到的知识集成到业务信息系统组织结构中去。,于是经理当机立断，重新布置货架，把啤酒类商品布置在婴儿尿布货架附近，并在二者之间放置佐酒食品，同时还把男士日常用品就近布置。,将数据转换成一个分析模型。,以上述例子为例，出现填写错误的订单；,因为需要的数据可能在不同的数据库中，所以需要集成和合并数据到单一的行销数据库中，并协调来自多个数据源的数据在数值上的差异。,将分析所得到的知识集成到业务信息系统组织结构中去。,4）数据挖掘模型的构建。,苦恼:淹没在数据中;不能制定合适的决策!,于是经理当机立断，重新布置货架，把啤酒类商品布置在婴儿尿布货架附近，并在二者之间放置佐酒食品，同时还把男士日常用品就近布置。,如果跟挖掘目标有出入，需要重新对数据建模、改进和完善。,（3）数据挖掘技术的特点,（3）数据挖掘的一般过程,以物流领域中的仓库管理为例，仓库管理中通常会对货物进行一定的分类，从而来有效利用平面、空间利用率，同时让工作流程更加的高效。,如果跟挖掘目标有出入，需要重新对数据建模、改进和完善。,9,4,数据挖掘技术,在物流领域中的应用,（,1,）,物流领域中的数据挖掘过程,1,）定义商业问题,。每一个客户关系管理应用程序都有一个或多个商业目标，为此需要建立恰当的有针对性的模型。在数据挖掘之前，应从企业角度分析要达到的需求和目标，将物流目标转换成数据挖掘目标，给出数据挖掘问题的定义，并设计一个达到目标的初步计划。,2,）建立行销数据库,。因为操作性数据库和共同的数据仓库常常没有提供所需格式的数据，因此需要建立一个行销数据库。建立行销数据库时，要对它进行净化。因为需要的数据可能在不同的数据库中，所以需要集成和合并数据到单一的行销数据库中，并协调来自多个数据源的数据在数值上的差异。,3,）为建模准备数据,。根据已确定的挖掘目标，选择挖掘的数据源，一般包括企业客户数据库、业务数据库、外部数据库，对取得的各种数据源进行预处理，检查数据的完整性和一致性。,4,）数据挖掘模型的构建,。模型建立是一个迭代的过程，需要研究可供选择的模型，从中找出最能解决企业商业问题的一个。根据确定的挖掘目标，选择适合的挖掘模型和挖掘算法，对数据挖掘库中数据进行处理，对模型的参数进行调整，可综合运用几种挖掘模型，然后再对结果进行分析。,5,）模型评估,。要及时对建立的模型进行解释和评估。企业的客户关系管理人员根据挖掘的结果和先确立的挖掘目标进行解释和评价，过滤出要呈现给用户的知识，并将有意义的知识以图形或逻辑可视化的形式表现出来，易于让用户理解。如果跟挖掘目标有出入，需要重新对数据建模、改进和完善。,10,4,数据挖掘技术,在物流领域中的应用,（,1,）,物流领域中的数据挖掘过程,6,）将数据挖掘运用到客户关系管理方案,中。在建立客户关系管理应用时，数据挖掘常常是整个产品中很小的但意义重大的一部分。通过数据挖掘而得出的预测模式可以和各个领域的专家知识结合在一起，构成一个可供不同类型的人使用的应用程序。我国物流企业现阶段总体上还处于向现代物流转型的时期，在客户关系管理方面，虽然企业对客户十分关注，并积累了一定的客户信息，但仍然存在着许多问题。虽然客户关系管理逐步得到应用，但在客户关系管理中积累下来的海量数据并没有得到企业决策层的足够的认识，尚未完全挖掘出这些数据中蕴藏的有用信息。客户关系管理以其先进理念，为提高企业核心竞争力创造了条件，数据挖掘以其强大的数据分析能力，为切实落实物流企业的客户管理计划提供了可能。随着经济的不断发展，数据挖掘技术与物流企业客户关系管理的结合，将为物流企业客户关系管理带来更好的应用前景和市场价值。,