基于数据仓库的高职教务管理系统的设计与实现.doc

摘摘 要要 基于数据仓库的高基于数据仓库的高职职教务管理系统的设计与实现教务管理系统的设计与实现 随着数据库系统的广泛应用，数据规模与日俱增，从大量复杂的业务数据中更加有效的分析提取可用的信息就变得尤为重要。从当前的发展趋势上看，数据解决的侧重点己从传统的业务过程的实现逐步扩展到对业务数据的联机分析解决，并从中得到用于记录和决策的信息，因此决策支持系统便应运而生。数据仓库技术通过数年的发展，已变得比较成熟，近些年，出现了基于数据仓库技术，并运用联机分析解决技术(OLAP)和数据挖掘工具的决策支持系统(DSS)。数据仓库技术、联机分析解决技术和数据挖掘技术的应用，对决策支持系统起到了有力支撑作用，他们的结合成为了决策支持系统研究的热点和重点。本文回顾了数据仓库的结构、数据组织及相关技术的发展，对基于数据仓库的决策支持系统体系结构的理论与难点进行了分析，并对其中的设计方法、实行策略等数据仓库建设方面的关键问题进行研究。通过对系统的分析和设计，提出了符合高职教务管理实际的数据仓库设计和实行方案。成功解决了在数据分散、数据量大、基础环境复杂的环境中数据抽取的问题，并对得到的数据进行转换和清洗，将数据加载到预先定义好的数据仓库模型中。最后以决策需求为基础，从业务分析的角度作为切入点，选用 SQL Server 2023 构建数据仓库，选用 Analysis Services 2023 对 OLAP 应用进行实现。通过本课题研究的工作，建设了科学合理的高职教务管理数据仓库，有效地促进了高职信息化的发展和数据的综合运用能力，使得高职管理和决策的合理性和科学性得到了增强，具有非常现实的意义。关键词：关键词：数据仓库；决策支持系统；教务管理 AbstractAbstract The Design and Implementation of An Teaching Management System Based on Data Warehouse With the widespread use of the database system,the scale of data is increasing rapidly,its very important that we can extract effective information from a large number of complex business data.In the view of the current development trends,the focus of data processing has developed from the traditional business process to the progressive extension of the business data on-line analytical processing,and to obtain information for statistical decision-making support system will therefore be shipped.Data warehouse technology has been developed for many years,it become more mature in recent years,there has been the system that based on data warehouse,online analytical processing application(OLAP)and data mining tools,it short for decision support system(DSS).Data warehouse,online analytical processing and data mining technology,decision-making support system has played a strong supporting role,and their combination into a decision support system becomes the focus and emphasis of the study.This paper reviews the structure of the data warehouse,data organization and related technology development,Data warehouse-based decision support system architecture and the difficulties of the theory are analyzed,and one of the design method,implementation strategy the key to building the data warehouse issues.Through systematic analysis and design meet the Educational Administration proposed the actual data warehouse design and implementation.Successfully resolved in the data dispersion,data volume,complex environments based on environmental issues in the data extraction,conversion and data obtained and cleaning,to load data into predefined data warehouse model.Finally,decision-making needs,based on analysis from a business point of view as a starting point,the choice of SQL Server 2023 to build a data warehouse,use Analysis Services 2023 OLAP applications realized.We have built a scientific and rational educational administration data warehouse through this research work,and promoted the development of university information and data on the integrated use of capabilities effectively.The rationality and scientificalness of the University management and decision-making have been enhanced,The research is with very real sense.Key words：Data warehouse,Decision Support System,Teaching Management 目 录 摘 要.错误错误!未定义书签。未定义书签。ABSTRACT.错误错误!未定义书签。未定义书签。目 录.错误错误!未定义书签。未定义书签。第 1 章 绪 论.错误错误!未定义书签。未定义书签。1.1 选题背景及意义.错误错误!未定义书签。未定义书签。1.2 国内外发展现状.错误错误!未定义书签。未定义书签。1.3 论文研究内容及意义.错误错误!未定义书签。未定义书签。1.4 论文安排.错误错误!未定义书签。未定义书签。第 2 章 教务决策支持系统的需求分析.错误错误!未定义书签。未定义书签。2.1 项目情况分析.错误错误!未定义书签。未定义书签。2.2 项目难点分析.错误错误!未定义书签。未定义书签。第 3 章 教务决策支持系统的设计.错误错误!未定义书签。未定义书签。3.1 系统总体框架设计.错误错误!未定义书签。未定义书签。3.1.1 多维数据集创建.错误错误!未定义书签。未定义书签。3.1.2 数据采集模块.错误错误!未定义书签。未定义书签。3.1.3 系统开发模块.错误错误!未定义书签。未定义书签。3.1.4 数据仓库的设计.错误错误!未定义书签。未定义书签。3.2 数据仓库方案设计.错误错误!未定义书签。未定义书签。3.2.1 自底向上法.错误错误!未定义书签。未定义书签。3.2.2 自顶向下法.错误错误!未定义书签。未定义书签。3.2.3 混合法.错误错误!未定义书签。未定义书签。3.3 数据仓库架构结构.错误错误!未定义书签。未定义书签。第 4 章 基于数据仓库的教务决策支持系统实行.错误错误!未定义书签。未定义书签。4.1 业务模型的分析.错误错误!未定义书签。未定义书签。4.2 业务模型与关系模型的映射.错误错误!未定义书签。未定义书签。4.3 数据仓库的建设.错误错误!未定义书签。未定义书签。4.3.1 维表.错误错误!未定义书签。未定义书签。4.3.2 事实表.错误错误!未定义书签。未定义书签。4.4 数据的抽取、转换和装载.错误错误!未定义书签。未定义书签。4.5 OLAP 应用程序的开发.错误错误!未定义书签。未定义书签。4.5.1 分析立方体的建立.错误错误!未定义书签。未定义书签。4.5.2 分析立方体的简朴使用.错误错误!未定义书签。未定义书签。4.5.3 基于 Web 的 OLAP 应用程序设计.错误错误!未定义书签。未定义书签。第 5 章 结论与展望.错误错误!未定义书签。未定义书签。参考文献.错误错误!未定义书签。未定义书签。致 谢.错误错误!未定义书签。未定义书签。第第 1 1 章章 绪绪 论论 1.11.1 选题背景及意义选题背景及意义 教务管理工作作为高等学校教学管理的核心工作，负责学生的学位管理、成绩管理、学籍管理；具体指导校教学督导组的工作担负教室调度、全校的排课、全校平常教学的动态管理，组织各院、系、教学部(室)的教学评估；组织各学院、研究所制定各专业的教学大纲、教学计划、培养方案，编制每学期的开课计划，检查执行情况；与各个学院和相关部门配合，对学生的社会实践、实习、生产劳动进行安排，这些工作即琐碎又繁杂。随着着我国高等教育的深化改革，国家不断加大教育投资。高等教育管理思绪出现了百花齐放的局面，无论是从学分制的改革，还是自我管理的实行，再到学生网络选课的实行，我国的教务管理的方方面面都在发生深刻的变化。随着教务管理的不断深化，出现了许多新的管理办法和手段，比如，实时数据报表，信息管理等，这些方法和手段的出现，是教务管理由过去的人工解决转变为了高度的信息化和集成化，充足体现了我国高等教育发展的崭新思绪。于此同时，这些新方法和手段的推出，假如以传统的管理模式来进行，将很难达成规定，这时就需要我们运用先进的信息化手段，以网络技术和数据库技术为支撑，充足发挥先进技术的优势，并把这种优势引入到教务管理中。正是这种需求的存在，使得教务管理的系统的开发工作变得尤为迫切，教务管理系统的开发工作在这一需求的推动下，取得了较快发展，各高职通过教务管理的使用，使得教务管理工作取得了长足的进步，办公的效率大大提高，工作也变得更加顺手，教务管理系统的应用还可以使分散的教务数据得到集中管理，对提高管理水平、减轻管理承担有很大的帮助。正是由于教务管理的具有的优势和特点，各个学校都加大了对教务管理系统的开发力度，投入了大量的人力和物力，在较短的时间内，各种教务管理系统便相继开发出来，并得到广泛使用。这些管理信息系统大多都是通过现代的信息化手段，并使用数据技术，实现了各种复杂的功能，并针对教务管理这一特定的领域而开发。这些系统对各个学校的教务管理工作起到了较大的辅助作用，并得到了广大教务管理工作人员的肯定和欢迎。1.21.2 国内外发展现状国内外发展现状 国外对高职管理信息系统的研究工作开展得较早，早在上个世纪六七十年代，国外变开始了这方面的研究，时至今日，已经比较成熟。由于我国信息技术的相对滞后性，导致我国的教务管理研究工作开展得就比较晚一些，从上个世纪七十年代开始，各个高职才开始教务管理系统的开发工作，尽管通过了数年的快速发展，但由于各个方面条件的制约，我国的教务管理系统与发达国家相比，仍然存在不小的差距，这里既有教务管理观念上的因素，也有信息技术上的因素。概括起来，我国的教务管理信息系统的研究和开发工作大体经历了以下几个阶段。阶段一：探索阶段，时间大约从上个世纪的70年代末到八十年代初。在这个阶段重要以限度各不相同的应用汉字信息解决技术为重要特性；应用某些办公设备；并在此基础上，对局域网技术进行研究，引进局域网设备，并将之应用到有关的软件和系统中，这时的应有重要在很小的局部范围，通过各种设计语言和数据技术的应用，实现单向业务的管理信息系统。阶段二：开创和见效阶段，时间从1986到1992，这一阶段的重要进展表现在由分散开发走向统一规划、有计划的实行；系统建设的标准化、规范化工作开始起步。在这个时期，局域网和pc技术取得了快速发展，其性能不断提高，并且也趋于成熟。各个高职开始研制自己的单机单项业务的系统，在部分高职中，还建立的专门的信息研究机构，在某些高职，还建立的自己的局域网，并取得了较好的效果。阶段三：系统集成发展阶段，时间从1993年到现在。在这一阶段，大型数据库系统、性能卓越的操作系统投入使用。pc机的性价更高，各种高性能的服务器和工作站降级问世，互联网技术和网络产品也日新月异，我国的校园网建设也初见成效，其中具有里程碑意义的是我国教育科研计算机网络的建成并通入使用，我国的教务管理系统开始逐步走向集成化综合化，这些都对我国教务和科研事业的发展起到了积极地促进作用。更值得一提的是，我国教育网的建设是由全国十所重点大学共同完毕的，这充足表白我国高职在信息化建设中所取得的成就，这些都推动了我国教务管理的发展，并为教务管理的发展奠定了坚实的基础。近些年来，随着我国教育体制的改革的不断深化，我国教育事业取得了长途发展，在改革的大背景下，在吸取和学习国外优秀的教育、教学模式的前提下，将国内数年的办学经验与国外的教育模式进行有效结合，最终探索出适合中国教育发展的全新的教学模式。随着国内各个学校办学规模的扩大以及学校招生人数的几何式增长，各学校对于平常的管理工作中的信息量、工作量也带来严峻考验。极大增长学校管理承担。因此，对学校如何进行有效的管理得到了教育主管部门的极大重视。根据国内诸多学校的现有的管理方式，并同时对国际新的思想理念进行融合，如何在校园一体网络的背景下下建设领先的、与国际接轨的业务管理平台，如何提高和加强学校现代化管理水平，成为学校最需要解决的首要问题，也是现阶段各个学校继续实现的紧迫任务。本文设计实现的学校教务管理系统已经从原有的单功能想现在的多功能发展过渡，以及逐步走向学校管理的信息化、标准化、系统化。只有这样才干追赶上发达国家的教育步伐，逐步缩与他们之间的差距。随着教育机构，特别是各个学校教务管理系统的飞速进展，一般性的业务系统已经趋于成熟，在这样的背景下，学校的教务管理工作已经不单单满足于对数据的一般性的查询和解决，并且随着系统应用，其数据量也逐年增长，面对大量的数据，迫切需要对这些数据资源进行系统的分析和解决，同时将这些信息进行等价转换，这样才可以使得我们预测学校未来的发展和改革，为决策提供一定的帮助与服务。也正是基于以上因素，对现有的网络资源和教务管理系统进行整合，建设高度信息化和网络化，具有分析和决策能力的系统的新思绪和新方法变被迅速提了出来。面对迫切的需求，各个学校都开始了各自的尝试，然而，面对的现实却是，要对现有的教务管理信息系统进行改造，以实现辅助分析和决策时相称困难和复杂的。因素如下：第一，各个学校都存在这各种基于不同应用的专用子系统，比如，排课系统，教师管理系统，科研管理系统，学籍管理系统等，这些系统往往都是不同时期开发的，其应用平台和所运营的环境都存在着较大差别，具有源头多样化、缺少准确性，主题不突出的特点，并且其数据结构也存在差异，这就给数据的采集和集中管理带来了很大的麻烦。第二，通过数年的积累，各个系统都有很大的数据量，不同的系统的数据很难集成，其数据的访问性能也大大减少，系统的开销也很大。第三，以往开发的子系统重要是面向事务型的，在其基础上开发基于联机分析的辅助决策系统就变得尤为困难。随着数据仓库技术的不断发展，近年来逐步成为了研究的热点话题，在商业应用中得到了广泛的应用，但其应用范围重要集中在商业领域，在其他领域的应用比较少。因此，该数据仓库的设计为基础的教育管理系统是一个学习和探索的过程。由于本系统的研究和开发时间有限，加之缺少相关经验，系统还存在着不健全的一些地方，有些问题不能准确地解决。重要表现在以下几个方面：一方面，优化数据仓库和OLAP多维数据集。应用程序重要是本科层次的发展，学术资料，数据量相对较小，优化的考虑是不够的。特别是前者，当数据不显示查询优化方案的制定。当涉及到过多的数据量，系统的性能有所下降。另一方面，现在的SQL Server数据库系统的基本使用方法，以及大量的各类管理信息系统数据库格式和种类，如何实现异构数据源的操作的发展的不同阶段将是一个自动化限度高是一个非常重要的方面。同样，这在数据仓库应用系统，侧重于OLAP应用研究，应用数据挖掘研究不够进一步。在系统开发应用程序的数据基本上仍停留在数据挖掘的表面，还没有进行进一步的研究工作。这是系统接下来要研究的重点。直白一点地讲，数据仓库其实就是一个堆放所有数据的地方，之所以将数据都堆在一起，就是为了从中间可以找到一些有价值的东西。数据仓库事实上更多的是一个概念，因此，不能把数据仓库想成一些号称属于数据仓库的软件产品。数据仓库在物理上就是一个数据库。相对业务的系统数据库叫做OLTP数据库（一般都是用于业务解决），这种数据库通常叫做OLAP数据库（一般都是用于业务分析）。通过对本课题的具体研究，笔者认为数据仓库的概念就是重要针对下面几个基本需求所产生的：学校的业务系统很多，其业务系统的历史数据是不方便查询。不同的业务系统之间往往管理部门也不同，地区也不同。能不能将这些所有得数据集中起来，再进行筛选看有没有一些故意义的业务规律。数据仓库数据库通常都是很大，由于学校所有的数据集中越多，越会有价值的发现。数据仓库的组成比较繁杂，既有一些业务系统的历史数据，又有财务、人事数据，还要自己建一些数据，例如，教学资源信息、公共假期数据、学校信息等等。数据仓库的概念包含了从业务生产系统进行采集数据的程序，这个程序还不能影响到具体的业务系统运营。（属于“ETL”过程）数据仓库涉及业务系统长期的历史数据。（所谓“ODS”数据）数据仓库涉及针对某相业务值（例如学生人数）重新打上标签的业务流水数据。（所谓“事实表”、“维度表”）。数据仓库概念兴许还包含报表生成工具（所谓“BI”工具）。这些工具可以达成几年前所谓DSS（决策分析）的效果。1 1.3.3 论文研究内容及意义论文研究内容及意义 本课题研究意义重大，通过对本课题的研究，我们从理论上与事实上提供一套非常科学的管理方法和系统工具，这两者对各个高职进行全面的数据维护、机器互联分析以及数据挖掘等提供一定意义上的参考。对于高职数据仓库的合理、科学的建设，大大提高了高职管理信息以及数据运用的业务解决水平，增长了系统管理决策的科学性和合理性。最后，还可以将最终的实现结果推广且应到其他领域、其它行业。课题的现实意义重大。本文的研究内容：（1）教务管理现状的分析与研究。（2）对现有数据库技术进行分析与研究。（3）教务管理系统数据仓库的建立。（4）对数据仓库中的数据进行联机分析。（5）研究和探讨基于数据挖掘知识发现技术的实现。1.41.4 论文安排论文安排 本文的研究工作重要以数据仓库的建立和决策分析系统的开发为主，全文共分为六章：第一章：绪论，在本章中，阐述了基于数据仓库的高职教务管理系统的课题来源和研究现状，介绍了本文的研究背景和相关的研究内容。第二章：数据仓库技术概述，概述了数据仓库技术的发展历程，概念以及其重要特性，重点介绍了数据仓库的数据管理和组织，对数据仓库的体系结构和数据的仓库的分析做了较为进一步的介绍。第三章：基于数据仓库的决策支持系统。在本章的开始，一方面分析了现有决策支持系统各类问题的存在，然后对基于数据仓库的决策支持系统的体系架构进行了进一步探讨和研究。在本章后半部分，阐述了数据仓库的建库策略以及建库手段。第四章：本文的设计重要基于对教务决策的支持进行了详尽的系统分析，通过有效分析和讨论，抓住项目至高点，同时基于系统的总体框架的设计，对本部分开展了有针对性的设计。第五章：对系统决策支持系统的实行中，一方面，对基于数据仓库的业务系统分析的整个过程进行了具体论述。本章还采以关注的对象为条件和基础，采用多维数据对整个数据仓库进行系统、科学地设计，最后对系统数据信息进行 OLAP 分析解决。第六章：本文总结和系统展望，总结了本文的全天工作，展望系统下一步的开发。第第 2 2 章章 教务决策支持系统的需求分析教务决策支持系统的需求分析 2 2.1 1 项目情况分析项目情况分析 各高职都在不断地对信息化工作进行有益的探索，以求寻找出一条适合自身发展的信息化之路。目前，各个高职都能把丰富教育网络资源和交互式和专业性的校园网资源应用到教学、科研、和管理中来，其中，教务管理作为学校工作的核心，更是走在了信息化的前列，在实际的应用中，把对学生，教师，管理人员的管理有机结合，使得教育质量大大提高。通过数年的积累建设，各高职都已建成了符合自己教学实际的教务管理信息系统，实现了从选、排课管理的课程管理，到学籍管理，成绩管理，考试管理的学生管理，与此同时教师管理、奖惩管理，信息管理，毕业生审核等也取得了一定的成效。使得管理部门的压力得到了很大的缓解。图 2.1 高职教务管理 图 2.2 现有教务管理系统构架 随着教务系统的广泛使用，人们已经不再满足于对复杂事物型数据的简化，更加迫切希望对数据进行综合分析和决策分析，然而以目前的事务性教务管理系统很难解决这一问题，其因素在于以下几点：(1)事务解决与分析解决无论在行文模式上，还是在性能上都存在着较大的差异。将解决性能相差很大的两种应用置于同一环境下运营显然是不合适的。(2)拥有对的的全方位的数据是进行数据分析和决策的先决条件，只有有关数据收集得越全面越完整，我们才也许得到的可靠的分析结果。但就目前情况而言，大多数数据都是较为分散的并且还处在非集成的模式下。(3)对现有数据源中的数据进行转化是动态的数据集成对数据的基本规定，只有达成动态的数据集成才可以把分析结果及时反映给决策者。显而易见，目前的教务管理系统以事务解决为主，不也许具有动态集成的能力。(4)动态数据分析在空间上和时间的广度上对数据的规定都很高，而对于传统的事务解决环境来说，其数据解决只是在一段时间内进行，在这一点上就无法满足分析的规定。(5)在一般情况下，动态数据分析在分析以前，需要综合运用细节数据，而目前，事务解决的教务管理系统，为了提高存储的效率，通常不具有这方面的能力。由于存在以上的问题，所以本文提出在实行过程中将数据仓库技术应用于教务决策系统中，以现有的教务管理系统为依托，对其数据进行分析解决，使得高级教务管理人员对学校的教学情况有比较进一步准确的了解，还可以对教学的最新动态进行跟踪监控。通过这一系统，教务管理人员可以比较以往发展的历史和趋势，使资源得到合理的调配。2 2.2.2 项目难点分析项目难点分析 通过普遍调查，发现目前国内的教务管理系统大多还是处在事务管理的实行应用阶段，还没有一套完整的决策分析系统供决策者使用，特别是动态的决策分析系统更是少之又少。通过对国内外的研究应用情况进行分析和比较，我们认为本项目的研究与实现的难点存在于：(1)教务数据量大：对于一个万人校来说，其一个学期的课程信息以及每年的学生信息就超过十多万条，并且通过数年的积累，教务管理所涉及的数据量已达成相称大的规模。仅仅数据库文献的大小就有10G的大小。大量的数据对于数据挖掘算法和服务器性能都提出了较高的规定。(2)数据不完整：由于目前各个高职的教务管理系统是逐步开发使用的，通过了多次的版本升级和更替，不同的系统运营于不同的网络环境，系统的功能和数据的格式也是千差万别，这就使得积累起来的数据是分散的零散的，并且有些时候还是前后不一致的，其完整性规范性一致性比较差。(3)行之有效的使用数据挖掘的方法：是整个系统的核心，涉及决定如何产生假设；如何选择合适的工具；如何发掘知识；如何验证发现的知识。就本系统而言，有效使用数据挖掘方法，实现快速分析是本项目研究和实现的困难所在。(4)良好的结果表达形式：具有良好的数据表达方式是我们的最终目的，也是系统开发是否成功的标准，决策分析的目的就是可认为决策者提供直观，便利的分析结果。我们通过对用户的需求进行仔细的分析过滤，得到有价值的信息，并通过良好的人机界面将结果输出，再加之应用生动的表现形式，对结果进行解释和表达，从而达成方便决策者的目的。再有就是系统建立后测评指标的建立，当前针对数据仓库平台为重要评价指标分为两种：（1）TPC-D TPC 属于国际组织，它是由像惠普、IBM 微软、Sun 和其他跨国公司这样的 45 个成员公司组成。在多个不同类型的应用程序中负责所有的开放式平台，并开发一个更具体的统一，公平的测试标准。联机事务解决系统，TPC-C 是一个衡量重要性能指标的数据库，数据仓库系统，测量其数据库的性能指标 TPC-D.重要有三个方面的具体因素：第一、系统的描述，第二、查询解决能力，其描述了系统在不同的用户在同一时间的具体查询时，解决能力即流实验结果。换句话说，代表了整个系统的并行解决能力。第三，是描述的性能价格比。理论和现实之间，前面指标数据假如效果较好，而最后一个假如较小的效果会更好。当然，一方面是考虑公司不能满足特定需求。每个供应商的 TPCC 和 TPCD 具体描述所有码在互联网网页内容的发现。此外，还从微软和其他一些公司的网页，也可以发现TPCD 的测试结果。虽然描述了整个系统的并行解决查询请求特定的能力，但并非所有供应商流量测试可以在多用户的状态可以进行。因此 TPCD 各个供应商有一个明确的选择：要么直接相应的用户一定的条件下流动实验；无论是在第一个具体的单用户状态，根据具体的实验，最后用实测的解决能力的具体指标 qppd 和流量指标计算公式计算得出 qthd 来区分这两者。各种测试的结果表白许多行业存在的问题，事实上，只要 tpc-d 测试总结下载并打印出来，所以你可以看到在测试时间的流实际数量。流的数量事实上是代表同时提交的查询请求所有用户数。假如属于单用户状态下的测试，只找到一个特定的流。第第 3 3 章章 教务决策支持系统的设计教务决策支持系统的设计 3 3.1 1 系统总体框架设计系统总体框架设计 在前面的章节中，我们曾介绍过现有的较为典型的数据仓库结构模型，而本系统是以数据仓库为基础，所以本系统的总体结构与前面章节介绍的结构类似如图4.1所示，在整个系统中，按其功能分为三个模块：数据仓库和多维数据集创建和管理模块，数据采集模块以及OLAP应用系统开发模块。下面分别介绍各个模块的重要任务：3 3.1.1.1.1 多维数据集创建多维数据集创建 在该模块中，我们选取中间数据库作为数据源，数据仓库以主题创建。根据一定的层次聚合、汇总数据仓库中的数据，以构成信息分析的多维视图。最后，通过以一定的存储模式，将得到的多维视图存储在OLAP服务器中。3 3.1.2.1.2 数据采集模块数据采集模块 该模块的重要任务是根据已拟定的决策分析的主题域采集原有各教务管理系统中的相关业务数据，通过整理后存入数据仓库。在这里我们建立了一个中间数据库，将OLTP数据库上与数据仓库主题有关的数据增量更新到中间数据库，使对OLTP数据库的效率影响降到最低。并在数据采集过程中根据将要建立的多维结构特性调整部分数据。3 3.1.3.1.3 系统开发模块系统开发模块 满足管理人员决策分析的需求是构建数据仓库的目的。联机分析解决模块的重要职责就是要完毕对多维信息的显示分析和解决工作，重要涉及对多维数据集成维度信息、层次信息、方体信息、度量信息的显示，从而可以实现对数据立方体的数据浏览；并可以实现对数据的钻取、切片、切块、旋转等多维分析操作，在此基础上提供多种查询方式，查询结果以WEB网页的形式展现，以实现B/S(Browser/Server)形式的联机分析，全面支持决策分析。3 3.1.4.1.4 数据仓库的设计数据仓库的设计 业务系统ETL(DTS)原始数据库事实数据库OLAP前端报表。业务系统就是用户的Oracle数据库了，里面有一些业务数据，此外尚有一些二进制话单文献。ETL过程就是一堆存储过程(维度的抽取、原始数据的抽取、事实数据的日结)，然后通过DTS任务包调度起来。原始数据库就应当是ODS数据库了，负责把数据原封不动的从业务系统抽取过来(部分也通过转化和清洗)；出于对SQLServer2023性能的考虑，将每个业务数据表都提成历史表和当前表，当前表根据数据量的情况决定保存数据周期并定期转移到历史表中。事实数据库保存着聚合信息的数据，完毕KPI指标的计算，以及维度的抽取工作；同时在进行聚合的同时完毕数据清洗工作。其实清洗很简朴的，就是对NULL的解决，没有对主外键的判断，维度的解决仅作更新和插入解决，来保证外键数据的匹配。但是 SQLServer2023的性能不是很抱负，大于1000万的数据表解决的效果不是很好，只好建了许多了分区表(事实上就是每月一张数据表，用视图Union起来，这也是微软推荐的方式)。对于业务数据到原始数据的解决，完全采用增量抽取的原则(由于每个表都有了时间点)；对于原始数据到事实数据的解决，则增长了一张log表，记录每次抽取的周期、跨度、与当前时间的差距和状态等等。对于OLAP的增量解决也是靠一张日记表决定解决的范围。唯一比较独特的也许是部分业务数据用户也许会更新，需要重新抽取、聚集和OLAP解决，这个时候在解决之前一方面删除这段时间的数据，重新抽取、聚集和OLAP解决，当然是靠脚本来完毕的。图 3.1 系统总体构架 项目系统中数据解决流程为：（1）数据采集系统根据己拟定的决策分析的主题域，一方面将 OLTP 数据库中所需的数据导入中间数据库。（2）以中间数据库为数据源，对数据进行抽取、转换、清洗等操作后存入数据仓库。（3）通过 OLAP 工具将数据仓库的数据多层次分类汇总，从而建立多维数据模型，并存储在 OLAP 服务器中。（4）最后开发 OLAP 应用系统将数据灵活地呈现给用户。3 3.2 2 数据仓库方案设计数据仓库方案设计 数据仓库就是决策支持系统的基础，是整个决策支持系统的核心，根据系统总体框架设计，本决策支持系统是基于数据仓库的，设计、开发、实行数据仓库将对最终能否实现为用户提供有效的决策支持信息的目的产生影响。数据仓库是一个面向分析型解决的数据环境，这就决定了其设计工作与数据库的设计有着显著的不同，无论是从数据组织，还是从数据解决与传统数据库都有较大的区别。数据仓库的构建是一个不断循环、反馈而使系统不断增长与完善的过程。根据目前的对数据仓库的研究结果，数据仓库设计方案一般分为：23 3 3.2.1.2.1 自底向上法自底向上法 我们从数据的底层开始，第一步先建立数据集市，第二步，将其中的数据集成到数据仓库中，将数据从操作型系统进入预解决层，第三部直接进入独立数据集市。这些数据集市最终集成为全局的数据仓库。由于在建立部门数据集市时只需要较少的人做决策，解决的是较小的问题，因此这种方法的优点是：初期投资小，见效快。但是这种方法同样存在缺陷，它的重要拟定是缺少对独立数据集市的构造的控制，对数据集市的集成以及日后集成到全局的数据仓库大为不利。3 3.2.2.2.2 自顶向下法自顶向下法 与自底向上法不同，在自顶向下法中，一方面先建立数据仓库，第一步，运用其中的数据建立一组相关数据集市。这样，数据从操作型系统中进入预解决层，第二步，再去解决斟酌进行数据的集成和转换，第三步，数据被导入数据仓库中，然后进入数据集市。由于全局的数据仓库系统的创建，使得相关数据集市的构建都是以数据仓库中的信息为基础，从而为数据集市技术的使用提供可靠的方法这种方法，其优点是：这是收集、建模和实现最终用户决策支持需求的严格而又普遍的方法。这种方法的缺陷是：开发时间长，成本高。3 3.2.3.2.3 混合法混合法 针对以上两种方法的优缺陷，后来人们提出了一种将两种方法优点基于一身的方法，混合法。既能保持自底向上方法同样快速实现和立即应用又可以运用自顶向下方法有计划的战略性的特点。在混合法中，数据仓库的开发采用迭代的方法。在所建立的数据仓库系统中通常都包含直接从预解决层获取数据独立的数据集市。在数据仓库中保存并管理统一的信息模型作为在数据仓库中数据集成的关键。当建立新的独立数据集市或增长一个新的相关数据集市时，就要更新信息模型。它代表了数据仓库系统的唯一信息来源，同时也是创建数据仓库元数据的来源。根据以上阐述和分析的数据仓库构建方法，结合本系统的实际，我们最后采用见效快的自底向上法(见图3.2)。由于在本系统中，所涉及的范围是教务部门的教务相关的信息，该部门作为学校一个的业务部门服务，其业务范围不是很大，信息内容不是很杂，资金投入也比较有限。图 3.2 自底向上法 由于在系统的开发的过程中，需要考虑到决策支持系统的将来的发展。我们在设计工作中也意识到：所建立的教务部门的数据集市需要按照统一的校级信息模型来设计，并且在实行过程中度量应尽量减少反复，并可以充足考虑到整个学校的最终信息需求，在真正满足用户的原子级需求，使其具有很好的重用性和一致性29。这样才干更好的保证随着更多学校部门的数据集市建立和投入使用，数据集市的联结成为也许，而这些数据集市的集合也就成为将来校级的数据仓库的基础。3 3.3 3 数据仓库架构结构数据仓库架构结构 ODS层 重要负责采集业务系统并保存一定期限内的相关业务数据。当然也可以满足用户对明细数据的查询规定，可以算作明细数据仓库。数据仓库层 将ODS层通过质量检查、清洗、转换后，形成符合质量规定的公共数据中心。事实上与ODS层差别不大，都是建立以ER为中心的数据关系，方便以后的数据的聚合。明细数据集市层即前面所说的事实层 按主题及KPI指标对数据仓库层数据进行进一步转换，将指标与维度组成数据集市。这是OLAP的数据基础。聚合数据集市层即OLAP 在明细数据集市层的基础上，提供基于联机分析解决(OLAP)引擎的多维分析能力，解决联机分析功能和决策支持规定。数据展现层 按照用户报表规定，提供用户报表界面及预警分发机制。第第 4 4 章章 基于数据仓库的教务决策支持系统实行基于数据仓库的教务决策支持系统实行 本章，我们在上一章设计的基础上，根据设计方案对系统进行具体的实行工作，在本系统中涉及的具体实行流程如图 4.1：图 4.1 基于数据仓库的教务决策支持系统实行流程图 4 4.1 1 业务模型的分析业务模型的分析 对教务决策支持系统的了解至关重要，由于它不仅关系到开发工作是否可以满足用户的实际规定，并且对于充足运用现有资源也起着至关重要的作用，我们只有对现有的系统有了充足的了解，才干为数据仓库的建设做准备，最终做好决策支持的前期工作。对于现有的教务管理系统来说，其业务系统重要涉及成绩管理、教师管理、科研管理、课程管理、学籍管理、奖惩管理、信息查询、毕业生审核、考试管理。其中以课程管理的应用最为广泛，涉及院系开课、学生选课、培养计划、课程设立、成绩管理、排课信息、教学测评等方