学位论文：船舶建造工时物量数据管理分析系统的设计.pdf

华南理工大学_硕士学位论文_船舶建造工时/物量数据管理分析系统的设计 摘要为推进计划、劳动力、成本和效率管理等各项管理工作的科学化，必须以工 时/物量数据管理为基础，开发和应用工时/物量数据统计分析系统。鉴于船舶建造过程中实际发生的工时和物量是造船成本核算与控制、计划的 编制与控制的重要依据，开发公司的工时/物量数据统计分析系统，为造船计划可 控、工程管理科学化提供依据，为从以调度型（经验型）为主的管理过渡到计划 管理创造条件；为实现成本可控、船舶产品的估价和实施全面预算管理提供可靠 的科学依据。建造新船时，根据新船物境测算、造船改进目标和船型工时/物量关系，将船 舶建造工时分解到施工课、工段/班组，施工课根据各课的实际情况，填写各工种 每年各月的劳动力人数，按船舶建造的几大节点生成单船计划工时曲线。施工者 填报每FI的工时和物量。由计划工时曲线和实动工时曲线对比检查偏差，预测各 船完工时的工时数，找出各月预测差别的原因，制订对策措施，实现工时成本的 实时控制；系统能够自动生成劳动力平衡表，预测出不同时期、不同工种的劳动 力需求状况，并可以明显的反映出生产（计划）的波峰波谷，为指导均衡生产提 供依据；各种工时/物量分类统计，从而指导生产计划编制。系统核心功能有效率系数知识库的建立、工时分解、工时计划曲线的生成、实动工时的录入、物量的录入、工时追踪曲线分析、效率分析、劳动力平衡分析、自定义报表等。该系统的使用可以大大提高造船生产效率，缩短建造周期，实现 公司建造船舶逐条下降工时5%的目标，提高了公司在造船行业的竞争力。系统应用数据挖掘（DM,Data Mining）技术，从海量数据中提取有用的特征 数据进行分析，从而得到准确的结论，提出恰当的建议，保证了系统具有智能性 好、自适应能力强等优势。系统应用了传统的C/S二层技术设计，具有实现灵活性、高效率、低成本的 应用环境。关键词：数据库；流程优化设计；模块化设计；数据挖掘；二层技术AbstractTo promote the scheme,labor,cost and efficiency of management,and other management work in a scientific,must be working hours/volume data management as the foundation,in working hours volume statistical analysis system.In view of the actual ship construction in the process of working hours is the amount of shipbuilding and cost accounting and control,control plans for the project and an important basis for development company working hours/statistical analysis of data systems for shipbuilding plan controllable,providing a scientific basis for project management,from the scheduling of(experience)based management transition to a management plan and create conditions for the realization of cost control,ship product valuation and management of the implementation of a comprehensive budget to provide a reliable scientific basis.When the construction of new vessels,according to a new vessel volume calculations,shipbuilding and ship models improvement goals hours/volume relations,and will ship construction decomposition,to the construction of the working hours.Section/teams,the construction of the various classes according to the actual situation,filling in each of the various types of work on the labor,by the several major ship construction node generation to sail plan working hours curve.Construction of the daily working hours to complete and volume.The plan is to start working hours at the curve and contrast examination deviation curve,forecasting the completion of the ship a few hours to find out the difference between forecasts on the reasons fbr the formulation of response measures,the cost of working hours to achieve real-time control；system can automatically generate labor balancet Forecast fbr different periods,different types of labor demand situation,and it is clear that the production(plan)peaks trough,as a guide to provide a balanced production basis for all kinds of working hours/volume classification statistics,thereby guiding production planning.The core function of an efficient system knowledge base coefficient of the establishment of working hours decomposition,working hours scheme curve generation,the recording is started,the quantity of input,working hours tracking curve analysis,efficiency analysis the balance of labor,since the definition of such statementso The use of the system can be greatly improved shipbuilding production efficiency shortening the construction cycle,the construction of the ship one by one to achieve the company dropped working hours 5 percent achieve our goal of raising the company in the shipbuilding industrys competitiveness.System Application Data Mining(DM,Data Mining)technology,from Massive Data extracted useful features data analysis to obtain accurate conclusions and appropriate recommendations to ensure that the system is intelligent,and adaptive capacity,and other advantages.System application of the traditional C/S two-story technical design and realization of flexibility,high efficiency and low cost of application environment.Keywords:Database：Process optimization design?Modular design；Data mining；Two-story technologyIlf第一章绪论第一章绪论1.1 课题背景计算机技术和通讯技术的高速发展，互联网技术的日益成熟和计算机安全技 术的n益提高，为各行各业实施自己的信息化管理系统提供了强有力的技术支持。1996年日本专家来说“如果不搞工时统计分析，三十年后文冲船厂还是现在 的文冲船厂！”造船成本由两大块组成：物资，人工工时。物资价格是公开的，各 船厂一样；工时各厂则不一样，关系到船厂能否接到船，能否生存的问题，能否 做大做强的问题：在船价大幅下降的市场大环境下，R本某船厂六年改善工时下 降了 43%,降低了成本，使船厂得以生存和发展。定额工时长期作为工人个体劳动分配的依据，定额标准长期不变，各厂情况 不一样，一个厂不同时期也不一样，想要继续作为工程管理的一种手段相当困难。转模增效中的“增效”两字如何体现？是造船总量还是产量增加？是每修正总吨 工时下降，还是加工一吨钢材所用工时下降单位物量工时下降？2001年5月21 H船工经2001264号文关于印中船集团公司“十五”期间 转模增效工作目标与要求的通知要求：工程管理 实现工程计划精细化、标准化、物量化。管理创新建立工时/物量数据统计分析系统。1.2 国内外船舶建造工时/物量数据统计分析系统的应用情况1.2.1 国外应用情况目前世界造船大国R本及韩国造船的效率及周期能处于领先地位，其管理上 有一个共同点，就是能进行实际工时的采集、分析、应用。依据生产设计提供的 生产管理信息和生产现场提供的H报反馈信息制定生产计划是其工程管理的基本 特征。在H本造船企业中，每个工人每天都必须填写工时记录表，如实记录当天每 个小时的实际工作情况，然后由专职人员每天将实动工时按作业区域、阶段、类 型和作业内容录入工时数据库。如果出现工时能力放空的现象，必须写明造成工 时浪费的原因，而这些浪费的工时也就成为下一艘船改进生产计划、提高生产效 华南理I:大学硕士学位论文率的起点。各管理层用这些数据来指导当前计划的编制，任何作业包都有计划工 时，并用计划工时及工程线表等进行劳动力的平衡；营业部门用工时物量分析来 进行新船的工时预算及人工成本的预测和估价；各级管理部门用工时数据作为降 低成本的评价依据，实时预测完工时的成本状况。目前，日本船厂工时除了在管理层应用外，还在工班、工位中广为张贴，让 每个人都行动起来，共同控制工时的消耗，降低成本。1.2.2 国内应用情况国内大型骨干船厂目前主要仍沿用兰本定额工时的概念作为劳动管理的依 据。一本定额手册用几年甚至十几年，较好的企业也收集实动工时，隔一段时间 修订一次定额手册或定额系数。由于时效性差，并与工人的收入挂钩，使工时管 理难以有效推行。在大部分船厂中，定额工时长期作为工人个体劳动分酬的依据，定额标准长 期不变，各厂情况不一样，一个厂不同时期也不一样，想要继续作为工程管理的 一种手段相当困难。目前国内船厂的工时制度是沿用以前计划经济时代的，并逐步演变。目前的 工时制度实际上是一种承包式的工时制度，是一种层层讨价还价式的工时制度，不能反映造船生产的实际情况。这种工时制度代表的是分配，而不是生产能力。事实上，现行中国船厂这种工时制度已经成为中国船厂管理进步的一个主要障碍。大部分船厂也意识到日韩工时管理的重要基础作用。如：上海外高桥造船公 司引进的某管理系统也包含了工时物量管理的理念，天津新港船厂、武昌船厂等 也用工时物量的理念进行工序能力测算，作为技改、定额管理的依据。也有船厂 用计划工时进行负荷预测及劳动力平衡等等。可以说，目前国内船厂还没有一套 工时/物量统计分析软件作为船舶建造工时管理的辅助工具。1.3 课题提出的目的现代造船模式的核心之一是数据统计分析的应用。通过工时/物量数据管理的 改进来推进计划管理、劳动力管理、成本管理、效率管理等各项管理工作的科学 化。建立以阶段/分段/流程/区域为分类的统计分析方法，利用实动工时/物量统计 分析，科学地、合理地分配现有的劳动力资源。2第一章结论船舶建造过程中实际发生的工时和物量是造船成本核算与控制、计划的编制 与控制的重要依据，研究建立工时/物量数据统计分析与处理系统的结构、内容、方法与信息处理手段，提出实施建议方案。一个造船企业要建立工时物量数据统计分析系统为计划管理、成本管理服务,初期首先要建立一个管理系统及机制，包括建立工时物量统计分析组织体系、统 计分析管理规定和考核规定等，以确保企业填报工时物量数据的准确性、可用性、完整性。只有这样的数据才能作为计划编制、成本控制的可靠依据。工时物量数据的处理是一个庞大的工程，每天都有大量的数据产生，要输入、处理、输出，这样对数据的处理系统就要有严格的要求。要求处理系统容量大，输入的数据要准确，要有一定的权限及校验功能，可输出各工班、各施工课所需 的各种数据及图表，又可输出各管理层次所需的管理图表，方便各级管理人员实 时提取数据和应用。造船企业作业流程需要优化、稳定。建立工时物量处理系统的基本条件包括 正常的作业环境状态、稳定的作业流程、确定的最佳工作方法、合格的作业者和 正常的作业速度。反之，准确的工时物量统计，又为流程的优化提供数据支持。造船企业建立现代造船模式的基本要求是按中间产品进行管理。工时/物量处 理系统正好提供了对中间产品的支持，为造船计划可控、工程管理科学化提供依 据，为从以调度型（经验型）为主的管理过渡到计划管理创造条件；为实现成本 可控、船舶产品的估价和实施全面预算管理提供可靠的科学依据。为加速推进我国骨造船企业“十五”期间造船模式的转变，国防科工委于 2001年12月正式下达了现代造船模式的应用研究项目。项目由611所牵头，中船集团公司和中船重工集团公司所属的11家造船企业，以及江苏科技大学共12 个单位参与承研。其中的第七专题是“船舶建造工时/物量数据的统计分析系统的 应用研究”，由于广州文冲船厂有限责任公司长期向日本水岛船厂学习工时物量管 理的经验（每年派管理人员到FI本学习，定期请日本专家来公司现场指导），并且 在n常的管理中应用，积累了相当丰富的经验和数据，因此本课题的研发任务就 由广州文冲船厂有限责任公司承担。1.4 本章小结本章通过对项目背景和国内外船舶建造工时/物量的统计分析的应用情况，说 3华南理工大学硕士学位论文明了项目开发的必要性和必然趋势，以及课题的来源，课题的研发由公司承担的 原因。4第一章系统规划第二章系统规划2.1系统需求分析一个造船企业要建立工时/物量数据统计分析系统为计划管理、成本管埋服务,初期首先要建立一个管理系统及机制，包括建立工时/物显统计分析组织体系、统 计分析管理规定和考核规定等，以确保企业填报工时物量数据的准确性、可用性、完整性。只有这样的数据才能作为计划编制、成本控制的可靠依据。工时/物量数据的处理是一个庞大的工程，每天都有大量的数据产生，要输入、处理、输出，这样对数据的处理系统就要有严格的要求。要求处理系统容量大，输入的数据要准确，要有一定的权限及校验功能，可输出各工班、各施工课所需 的各种数据及图表，又可输出各管理层次所需的管理图表，方便各级管理人员实 时提取数据和应用。造船企业作业流程需要优化、稳定。建立工时/物量处理系统的基本条件包括 正常的作业环境状态、稳定的作业流程、确定的最佳工作方法、合格的作业者和 正常的作业速度。反之，准确的工时/物量统计，又为流程的优化提供数据支持。造船企业建立现代造船模式的基本要求是按中间产品进行管理。工时/物量数 据统计分析系统正好提供了对中间产品的支持。在总装造船作业主流程优化的基础匕 按壳（船体建造作业）/陋（瓶装作业）/涂（涂装作业）分类，按工艺流程/工序/工位细化的原则确定基本数据采集点，明确 各采集点的工时/物量类别。通过二时/物量的收集分析，从而判断各工序的能力，从而判断物流是否均衡，瓶颈在哪。根据匕述原则在研究工时/物量数据统计分析要求后，确定基本数据采集点如 下：a.在船体下料加工流程中设立24个采集点；b.在管加工流程中设立12个采集点；c.在分段大组立过程中设立4个采集点，此外总组1个，搭载1个；d.在陋装作业中设立12个采集点；e.在涂装作业中设立3个采集点。统计的单位：管理原单位5华南理r大学硕士学位论文全船性的统计单位：总吨，船体钢材吨，L（B+D）,修正总吨，小时/吨，小 时/m2；壳（船体）统计单位：组立小时/吨，装配小时/米，焊接小时/米，下料小 时/张，小时/条；的装统计单位：管子小时/根，陋装小时/吨，陋装小时/m2；涂 装统计单位：小时/m2。典型船（标准船）型工时/物量描述全船性的物量，效率系数；壳胞涂物量，效率系数；标准工时S曲线；系列船实动工时S曲线记录。新船物量、工时的确定在已知新船物量或预估物量的情况下通过与典型船的对比，用类比法及插入 法，用最新的效率确定新船的各课/各类/总工时。研究各型船关系，为船舶产品的 估价和实施全面预算管理提供可靠的科学依据。2.2项目内容a.作业者每人每天填写工时R报，统计、记录本岗位完成的物量，并提交施工 课统计员录入电脑。b.设计室单船项目负责人录入单船总体物量信息。c.各班组将完成的各类（阶段/分段/区域/工位类别）工时与计划工时对比，找 出问题原因，再处理，并确定后续船的相关计划工时，循环对比检查，进行实时 控制；并利用记录的作业单元实动工时，在编制生产计划时安排劳动力；在周计 划的编制中可进行劳动力平衡。d.作业课将收集的课、工班别工时与计划工时对比，实时进行工时追踪；同时 进行/区域（分段）/工种别工时追踪，实时控制成本；并利用计划工时进行长期、中期、短期劳动力平衡；用实绩工时、效率系数结合物量来进行工时测算，指导 生产计划编制。e.造船事业部（或造船管理部门）可用各船的实绩工时，各类效率系数，参比 制定新船的计划工时，通过多船的叠加，指导均衡生产。并进行中、长期劳动力 平衡；每月召开一次工时追踪会，检查各作业课实动工时与计划工时的偏差，预 测各船完工时的工时数，找出各月预测差别的原因，制订对策措施，实现工时成6第一章系统规划本的实时控制。市场部（营业部）根据各船型的物量数据总结，找出其内部关系，并进一步 找出船型工时/物量关系，按新船物量的测算，预测新船的工时并作为新船的报价 依据。系统利用已收集的实动工时与物量数据，来指导新船的预估工时和各课的计 划工时编排，从而使工时/物量数据管理分析系统的作用从数据日常采集事务处理 上升为工时与生产进度控制决策工具，为生产管理者提供决策支持，从而保证建 造船舶工时逐条下降，控制造船成本，创造更大的利涧。23项目目标造船事业部将单船的总成本及工时分解到各施工课，各施工课制订相应的计 划工时，并将本课的作业者每天发生的工时F1报，统计、记录本岗位完成的物量 等数据录入电脑，各级管理部门借此按不同的分类和目的，将实际发生工时与计 划工时对比.实时进行工时追踪，实时控制成本；并利用计划工时进行长期、中 期、短期劳动力平衡；用实际工时、效率系数结合物量来进行工时测算，指导生 产计划编制。预测各船完工时的工时数，找出各月预测差别的原因，制订对策措 施，实现工时成本的实时控制。另外，市场部（营业部）根据各船型的物量数据 总结，找出其内部关系，并进一步找出船型工时/物量关系，按新船物量的测算，预测新船的工时并作为新船的报价依据等。具体归结为：1、方便的数据输入性能，良好的人机界面，数据格式统一，数据输入尽可能 采取选择方式（取自标准库），自行输入时有纠错功能，尽量避免汉字和长字符串 的人工重复输入。2、灵活的多组合行询性能，多功能的数据汇总方式。3、提供丰富形象的图形分析界面，方便管理者掌握当前船舶建造状态。4、提供船舶的实时追踪信息。5、实现知识库的建立，收集各船型的效率系数，以供参考。6、提供网络功能，各部门输入有关数据，方便其他部门网上杳询，管理部 门汇总统计分析。7、系统提供帮助功能。8、系统提供实时在线程序升级服务。7华南理工大学硕士学位论文9、良好的适应能力。在网络不通的情况下，各用户可采取在本地录入数据的 方式录入数据，当网络畅通时再将本地数据提交服务器，从而避免数据录入不及 时以至造成数据不准确的情况出现。2.4 项目资源配置项目资源包含计算机硬件资源、软件资源、人力资源、资金，它们缺-不可，是系统得以实施的基础和先决条件。1、硬件资源配置，系统开发和实施必须具备打系统运行的硬件平台，如数据 库服务器，用以管理系统数据库，个人工作站即个人电脑，用以运行客户端软件。时物员数据来源于设计、各施工课（车间）。数据录入有集中式录入和集散式录 入两种。在n木，山于一般船厂人数5001000人，并配有扫描仪，工人填写较 规范，多采用集中式录入；对于设计者，由于每人都配有个人电脑，也可以个人 自己录入。在中国，由于现阶段船厂人数较多，可分散到各施工课（乍间）录入,同时乂以进行正确性检查。由于应用是从施工课到工程部，事业部各级都有，必须在一个局域网环境下运行。硬件资源配置图如卜.：图2-1公司硬件资源配置Figure 2.1 Hardware Station8第二章系统规划2、软件资源配置，要求各计算机的操作系统均为windows2000或windowsXP 操作系统，以提供数据连接所必须的ODBC数据管理功能，数据库服务器必须安 装数据库管理系统，以管理系统数据库，必须选择功能强大的系统开发软件。文 冲船厂有限责任公司的计算机，安装的操作系统均为windows 2000 Professional 和windows XP Professional,数据库服务器安装的操作系统为 Windows 2000 Server,其数据库管理系统则安装SQL server 2000。因为系统必须具有很强的数据 处理和分析能力，所以应该选择Delphi作为开发平台。3、人力资源配置。为保证课题开发的顺利进行，公司成立了 19人的课题小 组，由公司副总经理组织，承担的任务包括系统分析、技术负责、数据分析、程 序设计、应用分析、物量统计和进度管理等。另外，网络及硬件维护人员由事业 部计算机室的相关人员负责、各施工课的统计员担当操作员的角色，负责本课每 天发生的实动工时和物量的录入。4、资金配置。由于本课题是国防科工委组织开发的现代造船模式的应用研 究项目中的第七项，故本课题的资金来源分两项，一项是国家拨款，占总资金 的37%,二是企业自筹，占总资金的63%,作为专项资金管理使用。2.5 项目的作用和意义运用工时/物量统计分析系统，应用于工程计划管理，进行计划S曲线绘制与 追踪，能比较科学的预测出单船在不同建造阶段的工时走势，对系列船可以有依 据的制定出工时下降目标，并能够较容易找寻达到目标的对应措施。对各产品实 动工时进展情况能够进行及时跟踪、及时掌握工程进展与计划的差距。进行劳动 力平衡与预测，通过对近几年建造的各产品进行科学的计划预测之后，该系统能 够自动生成劳动力平衡表，预测出不同时期、不同工种的劳动力需求状况，并可 以明显的反映出生产（计划）的波峰波谷，为指导均衡生产提供依据。通过计划 线表的调整达到劳动力的平衡，有利于对计划与进度的有效控制。应用于成本管 理，进行科学计算效率系数。基于输入到工时/物量数据管理系统中实际的相关数 据，很容易计算出对应当量单位所消耗的工时。例如：内业课对应吨位需要的工 时消耗，涂装对应单位面积的工时消耗，内场管子加工平均每根管发生的工时数，电装每公里电缆需要工时量，等等。逐月对比分析，不断提高系数，为系列船降 低成本提供依据。逐步在相关工位公布，让工人也知道自己的工效，有了追赶的 9华南理I:大学硕士学位论文目标。进行月度工时追踪。通过收集到的1700TEU集装箱船系列船的数据和已有 的各船总工时，以及各课、各工种的总工时，可了解各船实动工时的变化及下降 情况，也可预告各船成本的高低，从而为船舶产品的估价和实施全面预算管理提 供可靠的科学依据。各单位在对每月各工种进行工时追踪后，及时预测完工工时,并能进行实时分析、调整控制，及时发现并解决问题，从而为实现成本实时可控 提供了依据。2.6 本章小结本章进行了系统需求分析，分析了系统应具有的功能，分析了系统的内容和 目标，分析了系统的硬件资源、软件资源、人力资源，并按系统需求进行了配置,同时也对系统的作用和意义进行了分析。10第二章系统分析。设计第三章系统分析与设计3.1 系统业务流程结合本公司近年来向日本水岛船厂学习进行工时/物量统计的实践，设计出系统业务流程如图3-1所示。Figure 3.1 Process of statistic and analysis system fbr shipbuilding man-hour/material quantity data该业务流程是选择一个参考船型，由设计室提供物量数据，作业者、工段/班 组、施工课、管理部门日报、统计实物量与工时，并形成船型/工时S曲线，为建 造同型新船可进行对比分析，并可预测新船的测算与造船改进目标。因此，建立 参考船型的工时/物量关系、S曲线是开发该系统的基础。作业者每人每天填写工时日报，统计、记录本岗位完成的物量，井提交施工11华南理I:大学硕士学位论文课统计员录入电脑。设计部单船项目负责人录入单船总体物量信息。各班组将完成的各类（阶段/分段/区域/工位类别）工时与计划工时对比，找 出问题原因，再处理，并确定后续船的相关计划工时，循环对比检查，进行实时 控制；并利用记录的作业单元实动工时，在编制生产计划时安排劳动力；在周计 划的编制中可进行劳动力平衡。施工课将收集的课、工班别工时与计划工时对比，实时进行工时追踪；同时 进行/区域（分段）/工种别工时追踪，实时控制成本；并利用计划工时进行长期、中期、短期劳动力平衡；用实绩工时、效率系数结合物量来进行工时测算，指导 生产计划编制。造船事业部（或造船管理部门）可用各船的实绩工时，各类效率系数，参比 制定新船的计划工时，通过多船的叠加，指导均衡生产。并进行中、长期劳动力 平衡；每月召开一次工时追踪会，检查各作业课实动工时与计划工时的偏差，预 测各船完工时的工时数，找出各月预测差别的原因，制订对策措施，实现工时成 本的实时控制。市场部（营业部）根据各船型的物量数据总结，找出其内部关系，并进一步 找出船型工时/物量关系，按新船物量的测算，预测新船的工时并作为新船的报价 依据。3.2 组织结构公司下设有技术中心、物资部、财务部、市场部等职能部室和造船事业部、重工事业部、生产保障部，其中造船事业部下设有内业课、船体课、船装课、机 装课、电装课、涂装课、管加课、加工课等施工课，每个施工课下又有工段和小 组。如图3-2所示。3.3 系统数据流图数据流图是组织中信息运动的抽象，是管理信息系统逻辑模型的主要形式。这个模型不涉及硬件、软件、数据结构与文件组织，它与对系统的物理描述无关，只是用一种图形及与此相关的注释来表示系统的逻辑功能，即所开发的系统在管 理信息处理方面要做什么，其描述的内容是面向用户的，使得信息系统的整个处 12第三章系统分析与设计理流程一目了然，是系统分析售货员与用户进行交流的有效手段，也是系统设计（即建立所开发的系统的物理模型）的主要依据之一。如图3-3所示。文冲船产有限贲任公司Jlie警船事业至 ttvvufrA-rxvcttx良意里J.事业部出技术中心k管加深电装课3山机装课aI笙产管理部中理玉寸.=_!*Ik船装课k3TmJal 厂聚合管理部山内业隈3船体说jfrKL rL押潘JJ萨用段建GT.二7 ym*-设计部JE管理课)?电装课j-ecLrft:-l2w机装课4 b*.0 羲孽：Tr-Kljlip4=1-3耳 m 沙船装课d afE图3-2公司组织结构Figure 3.2 Organization of Company图3-3系统数据流图Figure 3.3 Systems D ata Flow13华南理I:大学硕士学位论文3.4 数据挖掘(Data Mining)的设计思路数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数 据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的 过程。数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅 支持特定的发现问题。DM是一个完整的过程，该过程从大型数据库中挖掘先前未 知的，有效的，可实用的信息，并使用这些信息做出决策或丰富知识。数据挖掘是数据库中知识发现(knowledge discovery in database,KDD)不可 缺少的一部分，而KDD是将未加工的数据转换为有用信息论的整个过程，如图 3-4所示，该过程包括一系列转换步骤，从数据的预处理到数据挖掘结果的后理【叫图3*4数据库中知识发现过程 Figure 3.4 P rocess of KD D3.4.1 引发数据挖掘的挑战1.可伸缩性 由于数据产生和收集技术的进步，数吉字节、数太字节甚至数 拍字节的数据集越来越普遍。如果数据挖掘算法要处理这些海量数据集，则算法 必须是可伸缩的。2.高维性 常常遇到具有数以百计或数以千计属性的数据集，而不是数十年 前常见的只具有少量属性的数据集。在生物信息学领域，微阵列技术的进步已经 产生了涉及数千特征的基因表达数据。具有时间或空间分量的数据集也趋向于具 有很高的维度。3.异种数据和复杂数据 随着数据挖掘在商务、科学、医学和其他领域的作 14第三章系统分析与设计用越来越大，越来越需要能够处理异种属性的技术。4.数据的所有权与分布有时，需要分析的数据并非存放在一个站点，或归 属一个单位，而是地理上要布在属于多个机构的资源中。这就需要开发分布式数 据挖掘技术。分丰式数据挖掘算法面临的主要挑战包括：（1）如何降低执行分布 式计算所需的通信量？（2）如何有效地统一从多个资源得到的数据挖掘结果？（3）如何处理数据安全性的问题？5,非传统的分析当前的数据分析任务常常需要产生和评估数以千计的假 设，因此希望自动地产生和评估假设导致了一些数据挖掘技术的开发。此外，数 据挖掘所分析的数据集通常不是精心设计的实验的结果，并且它们通常代表数据 的时机性样本，而不是随机样本，这些数据集常常涉及非传统的数据类型和数据 分布3.4.2 数据挖掘步骤数据挖掘过程的步骤如图3-5示。图3-5数据挖掘过程的步骤Figure 3.5 P rocess of D M3.4.3 数据挖掘工具数据挖掘工具主要有：1、基于神经网络的工具由于对非线性数据的快速建模能力，基于神经网络的数据挖掘工具现在越来 越流行。其开采过程基本上将数据聚类，然后分类计算权值。神经网络很适合非 线性数据和含噪声数据，所以在体检数据库的分析和建模方面应用广泛。15华南理【大学硕士学位论文2、基于规则和决策树的工具大部分数据挖掘工具采用规则发现或决策树分类技术来发现数据模式和规 则，其核心是某种归纳算法。这类工具通常是对数据库的数据进行开采，生产规 则和决策树，然后对新数据进行分析和预测。这类工具的主要优点是，规则和决 策树都是可读的。3、基于模糊逻辑的工具其发现方法是应用模糊逻辑进行数据查询、排序等。该工具使用模糊概念和“最近”搜索技术的数据查询工具，它可以让用户指定目标，然后对数据库进行搜 索，找出接近目标的所有记录，并对结果进行评估。4、综合多方法工具不少数据挖掘工具采用了多种开采方法，这类工具一般规模较大，适于大型 数据库开发包括并行数据库开发。这类工具开采能力很强，但价格昂贵，并要花 很长时间进行学习。3.5 系统功能模块的划分系统功能模块的划分主要是针对功能层和表示层方面的应用来进行的。模块 即是软件系统的功能部件，在系统结构设计中，必须确定所有模块的功能，并把 模块安放在系统恰当位置上。在系统功能模块划分时，应使每个模块都具有特定的、明确的功能，否则不 能成为模块。在设计模块时应当尽量使模块的功能独立，因为功能独立的模块可 以降低开发、测试、维护的代价。当然，功能独立并不意味着模块是绝对孤立的，模块应当能够被集成为一个系统，模块之间是存在信息交流、相互配合的。在模 块设计时，不仅要考虑模块的功能，也要考虑模块与模块间的信息交流；既要考 虑模块内的信息隐藏，即让模块仅仅公开必须要让外界知道的东西，而隐藏其他 一切内容（接口技术就体现了信息隐藏这一原则，接口是模块的外部特征，是公 开的，而数据结构、算法、实现体等则是模块的内部特征，是隐藏的.）,又要考 虑模块的高内聚（内聚一个模块内部各万分之间相关联程序的度量），避免模块内 的低内聚，同时要考虑模块间的低耦合性，即减少模块间的相互依赖程度，减少 一个模块对另一个模块的函数调用数量，减少一个模块向另一个模块传递的数据 量，减少一个模块对另一模块的控制，降低模块间接口的复杂程度。16第工章系统分析与设计系统功能模块的划分要以数据流图为基础，按数据的处理过程来进行模块的 划分。系统的顶层模块主要有系统功能、数据录入、数据维护、数据查询、计划 及应用、报表分析、图表分析和辅助功能等八项。系统具体功能模块设置如图36 所示。华南理匚大学硕上学位论文数据维护船 船 总 体 物 量 修 改船 舶 计 划 节 点 修 改船 舶 实 际 节 点 修 改施 X 课 物 量 录 入爱 合 班 组 配施r.部门 本地 基本 表刷 新18第三章系统分析与设计2报表分析19华南理I:大学硕士学位论文9计划及应用I:时预算预测对比预算时及分解计划汇总查询计 划-J 实 动 对 比劳动力平衡分析在 册 人 数 录 入课计划节点录入生产计划计划曲线杳询计划曲线维护计 划 曲 线 生 成船舶预算L时录入课别预算匚时录入劳动力平衡表人数平衡曲线.E时直方图分段区域1时分析区 域 计 划 T 时分 段 计 划:r.时关 于帮 助 主 题辅助功能如何开始.1时计算器升级版本系统流程20第三章系统分析与设计图表分析劳动力平衡表人数平衡曲线工时直方图管加课r种别实动二数/系数机装课1种别实动L数/系数图3-6系统功能模块图Figure 3.6 P lan of System Module船装课工种别实动，数/系数3.6 数据安全数据的安全性是指数据不被非法使用、在意外事件中不被破坏或丢失，这是 存取控制和可恢复性的研究内容，存取控制的通常做法是为不同用户设置不同的 数据存取特权并设立视图机制，使得每个用户只能访问到允许他访问的数据，可 恢复性是指在意外事件（软件或硬件方面）破坏了当前数据库状态后，系统有能 力恢复数据库，使损失减少到最低限度。数据恢复采用的方法通常是建立日志和 21华南理大学硕士学位论文经常