智慧能源集团数字化管理平台项目建议书.doc

数字化管理平台项目建议书
目录：
数字化管理平台项目建议书 1
目录： 1
一、项目背景 2
二、需求理解 3
2.1 需求理解 3
三、方案设计 5
3.1 整体方案设计 7
3.3.1 整体架构 7
3.3.2 解决方案说明 8
3.3.3 需求应答 10
3.2 数据仓库 11
3.2.1 数据仓库架构 11
3.2.2 数据仓库产品说明 13
3.2.3 需求应答 25
3.3 数据整合与治理 27
3.3.1 解决方案架构 27
3.3.2 产品说明 28
3.3.3 需求应答 37
3.4 数据展现 41
3.4.1 数据展现架构 41
3.4.2 产品说明 43
3.4.3 需求应答 67
3.5 移动应用 77
3.5.1 移动应用架构 77
3.5.2 产品说明 78
3.5.3 需求应答 81
3.6 大数据平台 81
3.6.1 Hadoop平台 81
3.6.2 大数据存储 83
3.6.3 大数据采集 89
四、业务需求应答 93
4.1 采集业务数据类型 93
4.2 数据管理 94
4.3 业务透明化 95
4.4 业务主题场景分析 97
4.5 业务共享平台 97
五、集成说明 97
六、项目实施与交付 97
6.1总体思路 97
6.1.1数据基础 99
6.1.2KPI和报表分析体系 100
6.1.3系统规划与架构 103
6.1.4大数据系统管理机制 106
6.2本期项目范围和实施方法 107
6.2.1本期项目范围 107
6.2.2项目实施方法论 109
6.2.3项目管理 111
6.3系统各阶段交付件 123
6.4项目问题和风险 123
6.5问题管理和服务保障 125
6.6项目假设 127
七、项目成本与价值 128
八、案例 128

一、项目背景
随着全球能源互联网技术的发展，通过这些新的技术帮助风电制造企业实现传统业务转型，转变成为智慧能源整体解决方案提供商和服务提供商已成为行业的共同认识。
   “能源互联网”中，物联是基础，即用先进的传感器、控制和软件应用程序，将能源生产端、能源传输端、能源消费端的数以亿计的设备、机器、系统连接起来，形成了能源互联网的“物联基础”。大数据分析、机器学习和预测是能源互联网实现生命体特征的重要技术支撑：能源互联网通过整合运行数据、天气数据、气象数据、电网数据、电力市场数据等，进行大数据分析、负荷预测、发电预测、机器学习，打通并优化能源生产和能源消费端的运作效率，需求和供应将可以进行随时的动态调整。
      另外一方面，全球先进企业都在向全面数字化企业运营转型，具体包括了三个方面“业务数字化、管理数字化和产品数字化”，通过数字化转型可以帮助企业重构业务模式，重构业务流程，优化和提升管理水平，以便迎接未来的挑战。
       所以明阳数字化管理平台项目一方面通过对运营数据的分析来提升公司管理水平，更重要的是将来可实现对运营大数据的监控、分析以及数据挖掘，实现预测性的业务，从而奠定明阳智慧能源集团实现业务转型的技术基础平台。

二、需求理解
2.1 需求理解
明阳智慧能源集团自2005年成立以来，一直重视信息化工作，先后在企业内部管理、研发设计等领域引入不同管理软件，以满足业务的发展和管理需求。明阳智慧能源集团前后建成了：HR、PLM、HPC、SAP、OA、EAM、SCADA等信息系统。其中SAP系统，应用了PS、SD、PP、MM、QM、FI、CO、BCS、BW等9大模块，并开发了销售投标报价模块。SAP系统已经覆盖到明阳智慧能源集团所有制造基地。PLM(ENOVIA v6)系统已近实现了研发项目管理、流程管理、文档管理和问题管理等功能，并启用物料管理、BOM管理等，并实现与SAP无缝集成。完成智能风场管理EAM项目。自主研发了集控与SCADA系统实现了明阳在全国区域内已接入的风场总数、总装机容量、总装机台数，全国范围内风机运行情况和总发电量；以及每个风场的风机数量、当前风速和功率，当前功率和额定功率的比值；可以显示风电场在地图上的具体位置和周边道路、地形情况。
随着系统运行，明阳积累了大量的企业运行数据。这些数据已经成为支撑明阳业务创新和数字化转型的重要资产。通过数字化管理平台的建设利用好企业数据，实现需求、计划、生产、采购、库存、发运、吊装、维护维修等信息的拉通和信息的共享。同时，从现有运营数据的集中展现入手，辅助运营过程的日常管理，加强运营数据的分析与应用，建立明阳风电集团特有的运营管理数据模型，实现现有运营数据的监控、可视化、分析和挖掘，成为的运营管理决策的信息化平台。
对于明阳智慧能源集团数字化管理平台，SAP 和合作伙伴从以下几个维度进行设计建设：
KPI报表需求
1、展示公司月度/季度/年度计划
2、动态展现计划执行状况
3、KPI报表以及重要信息推送
数据分析模型：
1、风机出品预警模型
2、库存价值分析模型
3、风机健康指标模型
数据集成
1、与SAP应用的对接
2、与第三方数据库的对接
3、与开源平台的对接
4、与office 文档的对接
数据展现
1、传统PC端展现
2、移动端展现（Android/iOS平台）
3、Web端展现
三、方案设计
在当今企业处于数字化转型浪潮的大时代背景下，企业在探求从“产品和服务驱动”向“数据驱动”转变。明阳集团在完成打造企业核心运行平台建设之时深思熟虑着手建设该“明阳智慧能源大数据分析平台项目”，这是明阳智慧能源在大数据实践领域的首个大数据分析平台项目。其设计思想必将具备前瞻性、建设高度必将具有领先性、项目计划和实施必将具备稳妥性、项目成果必将是高价值的，并且利用成熟的技术产品和借鉴有经验的合作伙伴达到合理的投入。该项目必然是整体设计、分阶段实施、快速见效。
SAP及其合作伙伴在大数据分析平台建设方面已经具备很深的经验积累；SAP专注企业核心应用平台40年，是工业4.0的先驱实践者和领导者；如图3.1 SAP数字化核心与数字化转型所示，SAP描绘的在企业完成数字化核心以后一定需要走向数字化转型，也就是所谓的以数据驱动的企业；其中大数据和物联网是其关键一环。明阳集团正式处于这样一个时刻，借助大数据可以实现企业内外数据链路打通，迅速的实现数据变现。

图3.1 SAP数字化核心与数字化转型
在大数据产品和解决方案研发方面SAP也是紧跟企业对于大数据场景的实际需求，不断突破创新，同时又以新的技术引领着企业向大数据技术蓝海挺进。依托SAP HANA内存计算平台，SAP为企业大数据应用提供了理念革新、技术先进、方案完整的整体解决方案。如图3.2 大数据与物联网所示，SAP提供从事物到流程以数据驱动的大数据和物联网平台。

图3.2 大数据与物联网
在平台功能模块上：SAP大数据平台可以整体设计分阶段搭建、实施；在平台硬件架构上：SAP大数据平台可以支持横向扩展和向上扩展；能够支持超过PB级规模的结构化和非结构化数据，具有统一调度资源、快速布署、分布式计算和存储、动态扩展等特点。SAP大数据平台所有产品软件除了法律上的许可要求外，在实际使用过程中，不存在任何性能上和用户数上的限制。
3.1 整体方案设计
3.3.1 整体架构
SAP建议的明阳大数据整体架构设计采用分层实现，垂直数据治理与管理结构。如图3.3 明阳大数据平台整体架构所示，整体架构从数据源开始自下而上分成：数据源层；数据集成与存储层；数据建模层；数据分析服务层；数据应用创新服务层；服务门户层；数据治理和配置管理垂直贯通。

图3.3 明阳大数据平台整体架构
3.3.2 解决方案说明
数据源层涵盖明阳现有的所有业务类型数据，和外部数据。
生产运行领域自动化与信息化有：明阳自主研发的SCADA集中监控平台，IBM风场管理EAM系统。对于这部分数据，大数据平台既可以当做事件流处理，也可以作为传统静态数据批量抽取转换加载（ETL）。
经营管理领域信息系统有：SAP ERP系统，达索PLM系统；大数据平台可以通过SAP SLT实时同步SAP ERP数据，通过Data Service ETL集成PLM数据。
外部公共数据有：天气、气候，水文，地理信息，环境数据等；大数据平台对这部分处理主要通过Hadoop平台集中存储，通过HANA内存数据库统一建模访问。
数据集成与存储层是整个大数据平台核心。以SAP HANA内存计算平台作为核心，是采用ShareNothing的分布式系统架构；提供基于分布式文件系统的Hadoop数据存储服务；系统架构天生具备大规模并行处理能力和横向纵向扩展能力。大数据核心平台具有一次建设，分步骤扩展的能力；平台规模在扩展的同时在技术上不需要增加额外技术或产品。在海量数据存储方面采用数据温区分层设计，常用结构化数据作为热数据存储在内存中，通常的数据规模是TB级；历史结构化数据作为温数据存储在磁盘列式数据引擎中，数据规模10TB—100TB；非结构化半结构化数据或无法直接分析的数据作为冷数据，存储在Hadoop中规模可以达到PB级。数据访问统一由HANA内存平台实现。
数据建模层是基于数据存储层的虚拟层，利用SAP大数据平台的HANA内存中视图建模功能实现；在本方案中划分为两个数据模型区：风机、风场数据整合服务和经营管理数据集市。
风机风场数据整合服务包含：风资源数据模型，产品数据模型，风电场数据模型，机组运行数据模型等。
经营管理数据集市是面向企业经营管理的，涵盖：经营利润分析类，预算分析采购计划类，主生产计划类，主需求计划类，市场分析类，经营成本类，结算回款类，库存周转类，现场计划类，物流配送计划类，销售价格类等企业管理指标及报表。企业经营管理驾驶舱和数字董事会看板是这个模型集合的典型应用。
数据分析服务层：分析服务是利用大数据技术从数据中挖掘出利用价值，实现数据快速变现。这部分工作可以在大数据平台搭建完成后在后续阶段联合合作伙伴和SAP数据科学服务、客户专家团队联合开展。
数据应用创新服务：涵盖交付实施服务，智慧运维服务，远程预警服务，业主SaaS应用。
服务门户：提供集成与协作门户，涵盖厂商应用门户，风场应用门户，客户应用门户。
数据治理与配置管理：大数据平台提供垂直到每一层的元数据管理，数据质量管理，数据模型管理，数据配置管理，数据标准管理，数据安全管理。
3.3.3 需求应答
1、 提供分布式的系统架构，通过简便扩展服务器硬件资源来提升整体系统的并行计算能力。
回答：SAP 大数据平台天然的就是分布式系统架构；可以向上扩展或横向扩展服务器硬件资源来提供整体系统的并行计算能力。
2、 提供分布式的文件系统，通过简便扩展服务器存储空间来增加整个系统的存储容量和并行I/O性能，同时能高效处理海量数据(PB级)。
回答：SAP HANA大数据平台能够通过Vora融合Hadoop分布式文件系统；不存在IO性能瓶颈，能够处理海量数据。
3、 提供分布式内存计算能力，通过简便扩展服务器内存来增加整个系统的内存容量，提升整个系统的快速响应能力。
回答：SAP HANA只需要增加内存就可以增加系统的计算能力，线性提升系统的快速响应能力。
SAP 大数据平台核心优势总结：
1. 实时分析，实时预测： 业务数据实时同步；所有热点数据在内存中存储、在内存中计算，实现实时报表和实时分析；
2. 数据唯一，减少数据冗余： 在SAP HANA的分层架构中，各层数据不落地，减少数据冗余，减轻数据维护的难度，从技术上尽量避免出现数据不一致的风险；
3. 平台开放，逻辑灵活： SAP HANA支持多种数据源接入，整合了多种数据采集工具，针对不同的数据源类型提供不同的工具和手段；模型按层划分，逻辑清晰，架构稳定性非常好；
4. 跨平台访问，全数据覆盖： 在统一界面中实现对跨平台的数据访问，热点数据和历史数据无缝集成，大大降低了用户的使用门槛；
5. 数据权威，信息安全性高：核心数据和应用保持同步，可回溯可审计；
6. 多种样式的展现形式和访问的方法：可实现各类报表、交互式分析、即席查询、数据探索、仪表盘及移动应用等方式，满足不同人员方便、直观、可视化的分析需求；
3.2 数据仓库
3.2.1 数据仓库架构
本方案提供以SAP HANA为中心的可扩展数据仓库架构，是面向未来的数据管理平台，无缝支撑分析应用的数据仓库架构；也是支撑大数据和数据湖泊的一体化的架构。如图3.4 SAP HANA数据仓库平台所示。

如图3.4 SAP HANA数据仓库平台
满足标准的基于SQL及BW风格的数据仓库，实现…
• 满足未来需求：逻辑数据仓库；支持动态变化的系统布局支持云部署与混合部署；集成 所有数据类型及大数据技术；横向扩展，支持海量数据及数据湖泊。
• 超越其他数据仓库方案：最佳的与SAP解决方案开箱即用的集成–本地及云环境；HANA实时数据处理能力；通过 SAP HANA Vora 集成Hadoop；基于HANA的分析业务服务；针对HANA优化的可重用的业务内容。
• 无缝集成明阳新能源现有SAP ERP系统数据，和其他业务系统数据；以及能够为风场分机等物联网数据提供流数据集成。存储与处理外部环境数据。完整的建模服务，IOT集成与大数据预测分析。
3.2.2 数据仓库产品说明
数据仓库结构中的主要产品包括：SAP HANA内存数据仓库及大数据平台；SAP EIM数据集成与主数据管理（详细内容在3.3数据整合与治理部分介绍）；SAP BO 数据挖掘展现与可视化，SAP PA预测分析（3.4 数据展示部分说明）；大数据与数据湖泊（3.6.2大数据存储部分说明）；物联网流式数据集成（详细内容在3.6.3大数据采集部分说明）；
SAP 高性能分析应用（SAP High-Performance Analytic Appliance，简称HANA）是一套灵活、多用途、而且与数据源无关的基于内存计算的全新应用，通过整合硬件（由 SAP 的硬件合作伙伴: 华为，惠普, IBM, 富士通, 思科,戴尔等来提供）和优化的一套基于内存计算技术的应用。
SAP HANA内存计算平台核心是面向下一代的数据库、数据仓库技术，同时也是可扩展的大数据平台。其架构如图3.5 SAP HANA内存计算平台所示：

3.5 SAP HANA内存计算平台
SAP HANA基于全内存计算，采用ShareNothing架构，支持多服务节点并行计算，其认证过的HANA一体机硬件可以支持达到94个节点。支持全面的数据集成，阳明新能源现有考虑范围内的数据源都可以被支持；提供统一的海量数据存储与数据建模；支持任何设备的访问，包括移动化。SAP HANA特点有：
§ 高性能内存计算；
§ 软硬一体机解决方案；
§ MVCC大规模并发访问技术；
§ 行列组合计算技术，列数据压缩技术；
§ 数据并行分区技术；
§ 数据持久化保持与insert优化技术；
§ 基于视图建模；
§ 预测分析库；
§ 数据展现集成；
§ 文本分析技术；
§ 地理信息支持；
§ 数据分层与大数据支持；
§ 数据集成平台化组件，IoT Fundation，SDI，SLT。
以下内容是以上特性的介绍。
高性能内存计算：
传统数据库技术基于磁盘计算，通过index和cache技术进行性能优化。但是现代计算机技术特点是CPU大规模并行、内存大规模商用、磁盘是高性能计算的瓶颈。SAP HANA利用现代硬件技术架构，完全自主创新研发了全内存列计算数据库。如图3.6所示：

图3.6 SAP HANA基于现代计算机硬件架构
这是面向下一个15年设计的核心数据库和数据仓库产品。内存读写性能是磁盘的100万倍，SAP HANA的查询分析能力比传统数据库提升1000倍，几十亿级别记录全表分析查询秒级响应，使得交易型操作OLTP和分析型操作OLAP可以融合，真正实现企业对于实时业务和分析的要求，是企业数字化转型过程中不可或缺的核心平台。图3.7显示了HANA内部架构。

图3.7 HANA内部架构
本质上SAP HANA仍然是基于关系型的数据库系统（RDBMS）。所有数据库产品知识如ANSI92-SQL，Table，View，Procedure，Index（基本不需要了），Lock，User，Role，Session，Schema等对象都和原有数据库概念一致。并且磁盘仅仅用于数据持久化，使得重启、掉电以后数据永不丢失。明阳新能源采用HANA不存在技术门槛。
软硬一体机解决方案：
运行SAP HANA的硬件是都是经过SAP HANA认证的服务器，几乎所有主流的服务器厂家如：华为，Lenovo，Dell，Cisco，HP，日立，富士通等都有经SAP HANA认证的服务器，通常称其为SAP HANA一体机。如图 3.8 HANA 硬件架构所示。可以从以下网址查找所有认证过的HANA一体机，（ HANA还支持经过认证的存储架构服务器，以及Cloud IaaS 环境。SAP HANA服务器支持X86架构的Intel 智强处理器，SuSE Linux、RedHat Linux操作系统，IBM Power7 for linux 处理器也已通过认证；支持本地部署、VMWare虚拟化和Cloud部署。

图 3.8 HANA 硬件架构
MVCC大规模并发访问技术：
SAP HANA在并发访问和数据一致性保证上采用MVCC（Mutiple Version Consistency Contral多版本一致性控制）。读、写不阻塞读，采用行级锁控制事务，提高大规模并发用户访问能力； SAP HANA采用大规模并行CPU，每个core都可以独立处理单个列，使得大规模并行计算能力极大的提高，完全符合现代硬件的多路CPU和大规模内存计算技术。
行列组合计算技术，列数据压缩技术：
SAP HANA采用行和列两种方式组织数据结构，行表主要用于update、delete频繁的OLTP操作，列表主要用于分析型场景OLAP使用。并且SQL支持行、列表的关联查询。明阳大数据平台基本上全都采用列式模式计算。列计算采用可以直接访问的数据压缩技术，获得极大的数据压缩率。如图3.9数据压缩所示，SAP HANA 字典压缩原理。
图3.9 数据字典压缩
图3.10所示，SAP HANA ERP系统运行在HANA上和传统数据库相比数据可以达到5倍以上的数据压缩率，并且查询响应时间几十到上百倍提升。降低TCO。

图3.10 数据压缩比和查询响应时间
数据并行分区技术：
SAP HANA 实现了并行处理，通过集群分布式架构实现大数据平台的线性扩展，灵活应对企业业务的变化；如图3.11所示：把大数据量和计算量分散到多个处理器和内存进行并行处理。在需要进行性能扩展的时候，通过增加处理节点，就可以轻松实现集群性能的线性增长。企业随着业务的变化，可以灵活调整大数据平台核心的性能，支持海量数据 。

图3.11 HANA并行分区技术
数据持久化保持与insert优化技术；
SAP HANA是纯内存数据库，所有数据存储在内存中，磁盘中存在一份磁盘的镜像，用于数据持久化。未来弥补磁盘写入性能瓶颈，HANA设计了一套insert优化机制，采用SSD固态盘作为日志卷，所有数据先写入日志卷，异步合并到数据卷。如图3.12 HANA读写机制所示：

图3.12 HANA读写机制
1) 数据总是直接写进内存；
2) 更新内存数据的同时写入日志；
3) 数据定期写入磁盘并创建保存点；
4) 数据恢复时从磁盘和日志区读取记录。
基于视图建模；
SAP HANA直接在内存中基于虚拟视图建模。是先进、成熟的数据仓库建模平台；HANA模型可以直接被BO数据展现调用。如题3.13所示，HANA Studio 可作为建模工具；
• SAP HANA Studio 提供直接在内存中虚拟建模工具；
• 维度视图和计算视图实现的模型无数据冗余；
• HANA Studio还集成了BW建模工具；
• HANA建模是先进、成熟的建模工具。

图3.13 HANA Studio 建模
SAP HANA视图模型可以理解为CUBE，如图3.14所示。由于是利用内存视图建模，所以在性能上和分析维度上和传统CUBE相比有非常大的提升。属于技术质变层面的进步。

图3.14 HANA 视图建模
此外，SAP HANA 数据仓库还提供BW/4HANA 建模。如图3.15 BW/4 HANA 建模所示：

图3.15 BW/4 HANA 建模
• 快速灵活地基于数据仓库的所有层次出具报表
• 跨不同数据层虚拟组合数据
• 业务和服务水平驱动
• 自下而上与自上而上方法相结合——支持敏捷与灵活开发
预测分析库；
SAP HANA自带函数库：包含预测分析函数库（PAL），为大数据预测和分析提供强有力的支撑，如图3.16 HANA PAL库所示：
分发挥SAP HANA计算引擎的预测分析能力：
• 使用原生的建模工具即可进行高级的可视化设计
• 可导入符合PMML的模型并支持直接与 SAP BI 客户端工具进行交互式嵌入调用
• 嵌入第三方应用，为PDMS等应用提供实时预测分析能力

如图3.16 HANA PAL库所示
同时SAP HANA还提供R语言统计函数库：SAP HANA + R语言，利用网上丰富的大数据分析资源，为企业大数据分析应用提供更多思路。R与HANA的集成
• 可使用R的开放环境，提供多达5000个函数库用于内存计算
• R的函数通过高性能的内存计算来并行处理
• R的脚本可嵌入SQL语句共同完成HANA的数据模型
数据展现集成；
SAP HANA数据仓库平台无缝支持SAP BO所谓数据展示平台。具体说明在数据展示部分介绍。
文本分析技术；
SAP HANA支持非结构化的文字搜索与分析，帮助企业更好的挖掘信息金矿。构建在统一的，灵活的，健壮的数据平台基础之上的固有的文字搜索与分析能力，可针对结构化与非结构化内容。
可通过HANA的文字搜索与分析能力，来分析客户投诉，电话中心，维修，机器，事故等。
特性:
• 固有的全文搜索；
• 集成的文字分析能力；
• 实体及语义的抽取；
• 图形化的建模与搜索模型；
• 专用于构建搜索应用的图形化工具箱。

益处:
• 对SAP HANA中的非结构化内容进行梳理；
• 在统一的体系内整合OLAP 和OLTP 用例中的业务分析搜索以及文字搜索工作；
• 降低重复性的，延迟性的以及操作性的开销；
• 易于建模——已经构建于SAP HANA 的建模工具之内；
• 通过可复用的图形化构建模块，可以实现搜索型应用的快速开发。
地理信息支持；
SAP HANA空间数据处理为大数据分析和预测提供了新的创新能力；支持实时空间数据处理、空间数据分析优化、空间数据类型及函数，提供地理信息及服务。如图3.17 HANA空间数据支持所示：

图3.17 HANA空间数据支持
数据分层与大数据支持；
SAP HANA大数据平台支持海量存储与处理，采用数据温区分层设计。结构化分析热数据常驻内存，结构化历史数据定义为温数据存储在磁盘列式数据库，即HANA动态分层技术（HANA DT）；非结构化数据和冷数据存储在Hadoop中，从HANA 通过Vora基于spark框架或Smart Data Access访问。详细介绍在大数据存储部分。
数据集成平台化组件，IoT Fundation，SDI，SLT
SAP HANA数据仓库平台集成了数据整合工具；包含ETL批量抽取转换加载，SLT从SAP系统实时加载，从数据源CDC实时捕获事务SQL传输到数据仓库，以及风机风场传感数据物联网事件数据流式集成。ETL、SLT集成在3.3数据整合与治理部分说明；IoT在3.6.3大数据集成部分说明。
3.2.3 需求应答
1、 可扩展性：提供企业级的分析基础架构，支持多服务器并行处理功能，至少支持20个或以上的服务器节点。
回答：SAP HANA 数据仓库采用可扩展架构，支持多服务器并行处理，支持96个节点。
2、 提供高性能的数据仓库
回答：SAP HANA属于新一代高性能内存数据仓库，查询分析性能提升上千倍。
3、 大量并发：提供数以万计的用户并发访问超大规模的数据
回答：SAP HANA MVCC支持大规模并发OLAP访问；支持海量数据规模。
4、 快速响应：提供秒级的查询速度
回答：SAP HANA几十亿级别大表全表访问秒级响应。
5、 交互查询：允许用户提交任何类型的数据交互查询
回答：SAP HANA支持任何类型数据加护查询。
6、 快速加载：支持批量数据加载。
（满足。见3.3数据整合与治理部分回答）
7、 能进行数据压缩并显著降低存储空间，尽量降低硬件存储成本。
回答： SAP HANA能达到5-20倍的数据压缩。
8、 支持数据的多维建模分析，同时支持自顶向下和自底向上的建模方法。
回答：SAP HANA提供视图建模和BW建模两种建模方法。
9、 提供对元数据处理全过程的追踪，并能够提供由数据仓库所管理的所有实体的完整历史资料。
（满足。见3.3数据整合与治理部分回答）

10、 提供可视化的建模工具，支持统一建模语言（UML）图表。
回答： 满足。提供HANA Studio和NetWeaver BW 两种图形化建模；和PownerDesigner UML企业级建模工具。
11、 提供数据抽取（ETL）工具，所提供的ETL工具必须具有以下功能：
（满足。见3.3数据整合与治理部分回答）
12、 支持不同厂商的数据挖掘分析应用，包括但不限于：ASTER、SAS、COGNOS、SPSS等。
回答：HANA通过JDBC ODBC开放，不同厂商的数据挖掘工具度可以支持，同时平台也提供SAP PA数据挖掘工具，和PAL，R。
13、 提供高效的数据压缩功能，压缩比能达到十分之一或以上。
回答： SAP HANA能达到5-20倍的数据压缩。
14、 提供访问控制，不同用户访问不同主题的数据内容。
回答：支持角色，用户，完整的权限控制。
15、 提供数据安全保护机制，仅允许认证的用户访问相应权限范围内的数据。
回答：完整的数据安全机制。

3.3 数据整合与治理
3.3.1 解决方案架构
数据治理是指将数据作为组织资产而展开的一系列的具体化工作，是对数据的全生命周期管理。数据治理体系是指从组织架构、管理制度、操作规范、IT应用技术、绩效考核支持等多个维度对组织的数据模型、数据架构、数据质量、数据安全、数据生命周期等各方面进行全面的梳理、建设以及持续改进的体系。
数据治理体系包含两个方面，一是数据核心领域，二是数据保障机制。具体两者内容及相互关系可以参见下图：

在上图的数据核心领域中，本方案提供以SAP企业信息管理套件(Enterprise Information Management，简称EIM)为中心的数据治理架构，提供垂直到每一层的数据整合，数据质量管理，数据模型管理，主数据管理，元数据管理等。
整体产品功能架构如下图，涵盖了明阳数字化管理平台的整个信息治理闭环的链条，为数据仓库层、数据展现层、大数据平台等提供了基本的数据整合与治理服务。

3.3.2 产品说明
SAP EIM包含了多个产品的组合，本次项目中推荐使用的有：
-Data Services（DS）数据集成和数据质量管理
-Master Data Governance（MDG），主数据管理
-Information Steward（IS），元数据管理
三者共同构成整个数字化管理平台的数据治理服务层：

-SAP Data Services
Data Service是包含了数据集成和数据质量管理的工具。

提供数据的抽取、清洗、转换、加载等功能

-抽取
Data Services支持广泛的数据源和目标，包括：
支持主流数据库系统：包括HANA、Oracle、Microsoft SQL Server、IBM DB2、Sybase ASE、Sybase IQ
支持非关系型数据源：如各种文件格式、xml、MQ Series等
支持通用的数据库接口：如ODBC
支持企业应用系统：如SAP ERP，Oracle EBS，Peoplesoft，S等
支持大型主机系统
Data Services 在抽取数据时支持异构数据源之间的关联。
-清洗
提供数据剖析功能（data profile），进行数据属性分析，可以帮助描述数据的质量、结构信息。
可视化界面查看源和目标数据的质量、数据关系。
使用Validation转换，依据一组预定义的业务规则比较输入的数据，并在必要时采取任何纠正措施。
同时具备强大的数据质量监控工具，帮助我们监控各来源的数的有效程度，通过建立清洗包，可以帮助我们大幅提升各来源数据的有效程度
提供审核功能，可确保数据流将正确的数据加载到数据仓库中。
-转换
利用Data Services，用户可以执行多种数据转换功能。用户可以选择一系列功能强大、可扩展、可重复使用的数据转换组件，如父子结构的XML数据展平组件、行和列转换组件、渐变维组件、数据匹配和合并组件、变化数据捕捉组件及数据校验组件等，最大程度地提高开发人员的工作效率。
空值处理：可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。Data Services可以定义多种异常处理机制，其中包含对空值的判断和校验。
提供规范化数据格式支持：可实现字段格式约束定义，对于数据源中的时间、数值、字符等数据，提供对时间、数字、字符校验的函数，并可以灵活定义格式。
提供字段映射：映射源和目标字段之间的匹配；字段的拆分；多字段的混合运算。
记录间合并或计算；记录拆分；排序、统计，按行按列的分组聚合等功能。
Data Services提供丰富的lookup函数（lookup，lookup_seq，look_ext），可以实现复杂的lookup算法，例如根据数据范围lookup，数据拆分后lookup。
Data Services还提供数据替换功能，配合校验函数的使用，可以实现基于业务规则，进行无效数据、缺失数据的替换。
支持自动产生有效时间（Data_Generation），设计人员可以根据需要设定时间序列的增长间隔等相关属性。
提供自动主键生成功能，自动生成可自增长的主键。
提供层次数据展平的转换功能（Hierarchy_Flattern），将有自连接的表展开，以便将来的统计分析处理。
提供多套数据集合并（Merge）成一个数据集的功能。
提供历史数据操作保留的功能，例如源数据表中某一条记录被更新，在目标数据表中，保留原有记录，并增加一条新的记录以描述该记录的最新情况。
提供列到行（Pivot）以及行到列（Reverse Pivot）的转换。
提供表数据集合比较的功能（Table Comparison），并根据比较所得到的结果集进行相应操作。
还可以在转换流程中通过图形方式加入特定的SQL代码
Data Services还提供了操作映射功能（Map Operataion），即对源数据表的insert，delete以及update操作，根据业务需要映射成目标表的insert，delete以及update，此种映射并不是同等操作的映射，可以按需定义，例如：用户可以将源表的update映射成目标表的insert，源表的delete映射成update。
Data Services除了提供了预定义的函数和转换组件，还允许用户自定义各种转换规则、相关函数及一些程序；支持用户自定义函数或存储过程，提供强大的脚本功能，实现任何复杂的转换逻辑。
-加载
Data Services支持TB级数据加载，同时还可以捕获HANA 、Oracle、 SQL Server、 DB2等数据的增量信息，支持远程数据的抽取，通过批量加载提高性能。
Data Services提供专门的批量加载功能，例如：HANA、Oracle SQL Loader、DB2 loader、SYBASE IQ loader、Teradata loader等。

-SAP Master Data Governance
MDG包含了主数据管理解决方案，使整个明阳风电的主数据在统一的平台上进行集中的建模和管理。
-主数据管理是一项标准化的工作。是明阳集团实现集约化、标准化管理的基础。
-使得决策层面的报表准确率更高，颗粒度更细。也可以实现对数据的集中管控。
-是实现企业统一编码和规范的技术手段和系统保证。

-数据模型
在MDG中统一管理明阳数字化平台各个层面需要用到的主数据模型，例如财务、物料、客户供应商、设备资产等，也支持自定义模型。

-流程管理
在主数据平台进行主数据的集中维护，触发系统校验和审批流程，审批通过以后，把相关主数据的信息更新到其他系统中。

-数据质量
支持主数据的自动匹配、合并与查重等功能。
以查重为例，嵌入在每一个操作步骤中，系统会自动找出潜在的重复项，并且会根据相关的权重规则来计算相似度分数。

-SAP Information Steward
Information Steward提供完善的元数据管理和监控功能，从源到目标端对端为企业数据质量保驾护航。

对各类元数据的集成:

了解数据的来龙去脉：

提供数据的血缘分析：

3.3.3 需求应答
1、支持批量数据加载。
回答：SAP Data Services支持批量数据加载。

2、提供对元数据处理全过程的追踪，并能够提供由数据仓库所管理的所有实体的完整历史资料。
回答：SAP Information Steward可以显示数据经历的完整路径，了解数据来源的计算逻辑，展示数据之间的影响分析，提供数据的血缘分析。

3、提供数据抽取（ETL）工具，所提供的ETL工具必须具有以下功能。
回答：SAP Data Services作为ETL工具使用。
a.灵活性：能够在不同的时间段中进行数据获取、转换和装载。
回答：可以设定不同时间段的处理任务。

b.可重复性：支持失败的ETL任务行数据重新装载。
回答：用户可以直观的看到当前正在执行、已经执行的数据转换任务的情况，以及相应的历史任务记录，失败的任务可以重新装载。

c