超市数据PPT课件.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,小型超市数据仓库系统,SMDW,简介,四川大学,智胜公司,数据库与知识工程研究所,唐常杰,1,小型超市数据仓库系统,SMDW,简介,提纲,1,SMDW,数据仓库要点,2,u,SMDW,-Small Super Market Data Warehouse,经营资本,5000万,元 以下,u,数据仓库概念创始人,W.H.Inmon:,“,数据仓库是,面向主题的、集成的,、稳定的、不同时间的数据集合,用以支持经营管理中的决策制订过程。,”,u,数据仓库技术,强调了“处理过程”,而不是强调某一个软件或硬件产品。,1,SMDW,数据仓库要点,3,u,数据仓库是对原始的操作数据从历史的角度组织和储存数据的处理过程,它把各个信息源中与决策支持有关的数据,经过提取,(,E,xtract),、,转换,(,T,ransform),、,过滤和装载,(,L,oad),集成,按主题存放起来,供决策人员查询和分析,从而作出科学性的和战略性的决策。,开发重点和难点在,ETL,比喻：,基本数据库（运行数据库）,-,水泥，钢筋，砂,数据集市,-,预制件,（星型，雪花型）面向被被解决问题（主题），,用预制件组装,比用,水泥，钢筋，砂临时浇铸,快，好,1,SMDW,数据仓库要点（续）,4,数据仓库、数据仓库管理系统,(,DWMS),和数据仓库工具。,核心,:,数据仓库,DWMS,由,DBMS,界面专用程序实现。,主题,:,用,DBMS,中的一系列表实现。,关系数据库在模拟多维数据时将多维结构划分为两类表,事实表和维表。,星型模式和雪花模式并存兼容,的方式。,三部分组成,2,SMDW,组成,5,由于,XBase,系列在我国曾经大量使用并积累了大量的原始操作数据,基于这一国情,SMDW V1.0,版,允许,XBase,系列为数据源,在升级版本中用,ODBC,连接,SQL Server,Oracle,Access,等,以形成多数据源的数据仓库。,2,SMDW,组成（续）,6,3,SMDW,用户界面和主要功能,7,3.1,数据提取过滤集成,从超市每日交易的详细数据中提取数据,将不一致的字段长度、不一致的赋值、丢失的数据输入等经过清理过滤,按照统一的编码、统一的格式整合集成,然后装入数据仓库。,3.2主题的选择和汇总,SMDW,是面向主题,目前版本选取了超市最重要的两个主题,商品和顾客。,超市经理最关心问题：,某某顾客经常购买哪些商品?,哪些商品经常被顾客一起购买?,3,SMDW,用户界面和主要功能,8,顾客主题,汇总每个顾客每日购买的商品的购买量和购买额,(,未购买商品则无相应数据,),。每个顾客每周、每月购买商品的购买量和购买额。,商品主题,汇总每种商品的日销量、日销售额及日利润。每周、每月的销量、销售额和利润及这三个数据的日平均、最大和最小值。,3,SMDW,用户界面和主要功能,9,商品主题,：,每种商品的每日销量、销售额和利润,每种商品的每周销量、销售额和利润及这三个数据的日平均、最大、最小值,每种商品的每月销量、销售额和利润及这三个数据的日平均、最大、最小值,结果可以表格和图形,(,直方图、圆饼图、折线图等,),两种方式显示。,分析出什么商品最畅销,什么商品最赚钱,用以指导超市的经营策略。,查询功能,10,顾客主题,可查询每个顾客每日的购买量和购买额,每周的购买量和购买额,每月的购买量和购买额,查询结果可以表格和图形,(,直方图、圆饼图、折线图等,),两种方式显示。,查询结果可知顾客的购买力和购买行为,如某顾客经常买高档商品,则说明他的购买力强,某顾客常常买中低档商品,少有买高档商品,则说明他的购买力一般,超市从而可有针对性地培养顾客群。,查询功能,11,l,可分析超市日销售额、日利润月趋势周销售额、周利润年趋势月销售额、月利润年趋势并以表格和图形(直方图、折线图、圆饼图等)两种方式显示结果。,l,可作历史比较和趋势分析。,可作关联规则挖掘,“,在购买面包和黄油的顾客中,有,90,的人同时也买了牛奶,”,（面包黄油牛奶）。关联规则挖掘在给定支持度阈值后，,使用,Apriori,算法,分析哪些商品顾客最有可能一起购买,从而预测顾客未来的购买行为,以便为顾客提供更好的服务以吸引顾客,扩大市场。,数据挖掘分析,12,系统把用户分为超级用户和一般用户并拥有不同的权限和口令。一般用户只能见到常规数据无权查看敏感数据。,SMDW,的系统安全管理,13,4,SMDW,体系结构,DB1,DBn,数据提取,数据过滤,集成,数据加载,当前数据,历史数据,综合数据,仓库管理,元数据库,用户查询,工具,用户分析,工具,14,l,源数据,SMDW,的数据来源于超市各分店每日交易数据,即多个关系数据库。,l,提取转换,l,仓库管理,元数据（数据结构、转换规划、仓库结构、控制信息）。仓库管理包括对数据的安全、归档、备份、维护、恢复等工作,这些工作需要利用数据库管理系统(,DBMS),的功能。,l,查询分析工具,用于完成实际决策问题所需的查询检索工具、,L,数据挖掘分析工具等,以实现决策支持系统的各种要求。,4,SMDW,体系结构（续）,15,扩展的雪花模式,有多个事实表的雪花模式,。,操作数据存储,ODS,简化,SMDW,的数据传输接口和,SMDW,管理数据的,复杂度,特殊技术,16,雪花模式,（,在事实表周围放射出多层次的维表,）,维表,商店,i d,店名,地址,Tel,事实表,商店,i d,商品,i d,顾客,i d,售货员,i d,日期,i d,售价,数量,金额,维表,顾客,i d,顾客名称,地区,地址,Tel,维表,商品,i d,商品名称,厂家,i d,商品类别,进货日期,进价,库存数,维表,日期,i d,日,月,年,维表,售货员,i d,姓名,性别,年龄,地址,Tel,维表,厂家,i d,名称,地址,Tel,维表,商品类别,类别名称,档次,维表,地区,省别,维表,商店,i d,店名,地址,Tel,维表,周次,日期段,事实表1,商店,i d,商品,i d,周次,总销量,最大,最小,平均,事实表2,商店,i d,商品,i d,周次,销售总额,最大,最小,平均,事实表3,商店,i d,商品,i d,周次,总利润,最大,最小,平均,维表,商品类别,类别名称,档次,维表,商品,i d,商品名称,厂家,i d,商品类别,进货日期,进价,库存数,维表,厂家,i d,名称,地址,Tel,17,日总结采用简单堆积文件,手动方式和自动方式。,每日子夜时分设置好后机器可自动进行总结。周总结、月总结采用轮转综合文件。,总结方式也有手动和自动两种。,数据仓库维护,18,系统查询分析得到的部分结果,19,系统查询分析得到的部分结果,20,小型超市数据仓库系统,SMDW,立足于我国国情,多数据源,实现了基本框架和功能。,数据仓库的建设是一项复杂的、循环往复不断完善的过程需,要管理人员、开发人员等各方面的密切配合通力合作。,SMDW V1.0,版还不完善有些部分还需进一步研究开发比如,“老化”数据的处理 更加方便直观的查询分析工具。,小结,21,谢谢各位专家,22,