大数据体系结构.ppt

大数据科学与工程系列大数据科学与工程系列 大数据体系结构大数据体系结构陈志成陈志成 中国科学院大学中国科学院大学 2014年06月主要内容主要内容一、大数据时代的新命题一、大数据时代的新命题二、大数据的体系结构二、大数据的体系结构三、大数据的关键技术三、大数据的关键技术四、物联网与云计算架构四、物联网与云计算架构五、知名企业大数据架构五、知名企业大数据架构六、大数据系统设计案例六、大数据系统设计案例u总结、交流、作业总结、交流、作业一、大数据时代的新命题一、大数据时代的新命题谷歌大数据中心：谷歌大数据中心：全球主要全球主要DC有有8个个大数据表象概念：百度数据规模大数据表象概念：百度数据规模大数据表象概念：对系统要求大数据表象概念：对系统要求大数据时代的新命题大数据时代的新命题:n数据在爆炸式增长数据在爆炸式增长互联网海量大数据互联网海量大数据物联网各类型数据物联网各类型数据n发数据处理能力要求提高发数据处理能力要求提高大规模数据存取方式大规模数据存取方式大数据并行技术能力大数据并行技术能力n数据间关联性分析加强数据间关联性分析加强社交网络关系社交网络关系多业务关联性多业务关联性 用户行为分析用户行为分析n网络数据的实时同步网络数据的实时同步一切营销都线下线上一切营销都线下线上多业务跨地域数据同步多业务跨地域数据同步n“数据结构化数据结构化”本身是最本身是最具挑战性的一个环节具挑战性的一个环节.n海量数据与快速处理是一海量数据与快速处理是一对悖论对悖论.信息社会需求：信息化信息社会需求：信息化-智能化智能化-现代化现代化农业社会工业社会信息社会人力工具 -镰刀 -锄头 动力工具 -机车 -机床智能工具-推理机-智能网 信息时代的大数据需求信息时代的大数据需求信息时代数据大爆炸，信息时代数据大爆炸，推动智能技术发展推动智能技术发展信息时代，软件编程模型发展信息时代，软件编程模型发展n“面向信息处理面向信息处理”的智能化编程模型，编程简化为数据配置与管理大数据技术架构大数据技术架构数据数据智能智能二、大数据的系统架构二、大数据的系统架构传统数据库技术架构传统数据库技术架构:nOracle数据库体系架构数据库体系架构大数据架构：分层架构大数据架构：分层架构u从从数数据据在在生生命命周周期期看看，大大数数据据从从数数据据源源经经过过分分析析挖挖掘掘到到最最终终获获得得价价值值需需要要经经过过5个环节，包括数据准备、数据存储与管理、计算处理、数据分析和知识展现。个环节，包括数据准备、数据存储与管理、计算处理、数据分析和知识展现。大数据的系统架构：整体系统架构大数据的系统架构：整体系统架构新一代编程语言大数据架构：整体逻辑功能架构大数据架构：整体逻辑功能架构大数据架构理解：搜索引擎大数据架构理解：搜索引擎大数据架构理解：网页内容抓取大数据架构理解：网页内容抓取大数据系统架构大数据系统架构HadoopuHadoop分布式系统组成分布式系统组成大数据系统架构大数据系统架构Hadoop在图中，在图中，Hadoop主要的功能组件有：主要的功能组件有：nHadoop Common:包含包含HDFS、MapReduce和其他项目公共内容；和其他项目公共内容；nHDFS：Hadoop分布式文件系统；分布式文件系统；nMapReduce：一个用于并行处理大数据集的软件框架。：一个用于并行处理大数据集的软件框架。Map 函数接受一组数据函数接受一组数据并将其转换为一个键并将其转换为一个键/值对列表，输入域中的每个元素对应一个键值对列表，输入域中的每个元素对应一个键/值对。值对。Reduce 函数接受函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一个键函数生成的列表，然后根据它们的键（为每个键生成一个键/值对）值对）缩小键缩小键/值对列表；值对列表；nHBase:类似类似Google BigTable的分布式的分布式NoSQL列数据库；列数据库；nHive：是基于：是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的张数据库表，并提供完整的sql查询功能，可以将查询功能，可以将sql语句转换为语句转换为MapReduce任任务进行运行；务进行运行；nZookeeper：分布式锁，提供类似：分布式锁，提供类似Google Chubby的功能；的功能；nAvro：新的数据序列化格式与传输工具，将逐步取代：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的原有的IPC机制；机制；nPig：大数据数据流分析平台，为用户提供多种接口；：大数据数据流分析平台，为用户提供多种接口；nSqoop：在：在HADOOP与传统的数据库间进行数据的传递。与传统的数据库间进行数据的传递。大数据系统架构大数据系统架构Hadoop：功能定位：功能定位1.大数据系统架构大数据系统架构Hadoop：层次对应：层次对应大数据：分布式计算架构大数据：分布式计算架构大数据架构大数据架构:MapReduce工作原理工作原理1大数据架构大数据架构:MapReduce工作原理工作原理2三、大数据的关键技术三、大数据的关键技术大数据关键技术到底有哪些？大数据关键技术到底有哪些？核心问题是：核心问题是：(计算、存储、分析计算、存储、分析)算法算法大数据：恐怖的大数据大数据：恐怖的大数据(生活示例生活示例)智能性：数据分析、自然语言理解智能性：数据分析、自然语言理解 逻辑推理逻辑推理(演示演示)艺术性：分形算法、视频动画艺术性：分形算法、视频动画(演示演示)大数据关键技术大数据关键技术1：大数据存储技术：大数据存储技术u数数据据的的海海量量化化和和快快增增长长特特征征、以以及及数数据据格格式式的的多多样样化化是是大大数数据据对对存存储储技技术术提提出出的的首首要要挑挑战战。要要求求底底层层硬硬件件架架构构和和文文件件系系统统在在性性价价比比上上要要大大大大高高于于传传统技术，并能够弹性扩展存储容量。统技术，并能够弹性扩展存储容量。大数据关键技术大数据关键技术2：并行计算能力：并行计算能力u大数据的分析挖掘是数据密集型计算，需要巨大的计算能力。u针对不同计算场景发展出特定分布式计算框架。Yahoo 提提出出的的S4 系系统统、Twitter 的的Storm,谷谷歌歌2010 年年公公布布的的Dremel系系统统，MapReduce内存化以提高实时性的内存化以提高实时性的Spark 框架框架.数据爆炸，知识贫乏数据爆炸，知识贫乏 苦恼:淹没在数据中;不能制定合适的决策!数据数据知识知识决策决策n模式模式n趋势趋势n事实事实n关系关系n模型模型n关联规则关联规则n序列序列n目标市场目标市场n资金分配资金分配n贸易选择贸易选择n在哪儿做广告在哪儿做广告n销售的地理位置销售的地理位置n金融金融n经济经济n政府政府nPOS.n人口统计人口统计n生命周期生命周期大数据关键技术大数据关键技术3：数据分析技术：数据分析技术u基基于于计计算算流流体体力力学学的的三三维维呈呈现现:如如用用能能场场所所3D场场景景及及CFD温温度度及及能能效效云场呈现如下图。云场呈现如下图。大数据关键技术大数据关键技术4：数据显示技术：数据显示技术大数据分析大数据分析u世界杯：英格兰世界杯：英格兰vs意大利意大利 1:2。数据热图。数据热图大数据关键技术大数据关键技术5：数据挖掘算法：数据挖掘算法代代特征特征数据挖掘算法数据挖掘算法集成集成分布计算分布计算模型模型数据模型数据模型第一代第一代数数据据挖挖掘掘作作为为一一个个独独立立的的应应用用支持一个或者支持一个或者多个算法多个算法 独立的系独立的系统统单个机单个机器器向量数据向量数据第二代第二代和和数数据据库库以以及及数据仓库集成数据仓库集成多多个个算算法法：能能够够挖挖掘掘一一次次不不能能放放进内存的数据进内存的数据数数据据管管理理系系统统，包包括括数数据据库库和和数数据据仓库仓库同质同质/局局部区域部区域的计算的计算机群集机群集有有些些系系统统支支持持对对象象、文文本本、和和连连续续的媒体数据的媒体数据第三代第三代和预言模型系和预言模型系统集成统集成 多个算法多个算法数数据据管管理理和和预预言言模模型型系系统统intranet/extranet网网络计算络计算支支持持半半结结构构化化 数数 据据 和和webweb数据数据第四代第四代和移动数据和移动数据/各种计算数据各种计算数据联合联合 多个算法多个算法数数据据管管理理、预预言言模模型型、移动系统移动系统移移动动和和各各种种计计算算设设备备普普遍遍存存在在的的计计算算模模型型Debt$40KQ QQ QQ QQ QII123456factor 1factor 2factor n神经网络神经网络 Neural NetworksNeural Networks聚类分析聚类分析 ClusteringClusteringOpenAccntAdd NewProductDecreaseUsage?Time序列分析序列分析 Sequence AnalysisSequence Analysis决策树决策树 Decision TreesDecision Trees 倾向性分析 客户保留 客户生命周期管理 目标市场 价格弹性分析 客户细分 市场细分 倾向性分析 客户保留 目标市场 欺诈检测关联分析关联分析 AssociationAssociation 市场组合分析 套装产品分析 目录设计 交叉销售大数据关键技术大数据关键技术5：数据挖掘算法：数据挖掘算法数据挖掘的主要方法分类（分类（Classification）聚类聚类(Clustering)相关规则相关规则(Association Rule)回归回归(Regression)其他其他知识发现系统需要一个前处理知识发现系统需要一个前处理过程过程数据抽取数据抽取数据清洗数据清洗数据选择数据选择数据转换数据转换知识发现系统是一个自动知识发现系统是一个自动/半自半自动过程动过程知识发现系统要有很好的性能知识发现系统要有很好的性能知识发现KDD系统特征数据挖掘主要方法：数据挖掘主要方法：ETLuETL Process Framework ETL工工 具具 有有：OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、AICloudETL、DataStage、DataSpider,等。等。ApplicationApplication&Operations&OperationsServicesServicesTransportTransportServicesServicesLoadLoadTransformTransformExtractExtractTarget adaptorsTarget adaptorsSource adaptorsSource adaptorsETL Data import/ETL Data import/Rule importRule importETL Data ExportETL Data ExportRuntimeRuntimeMata dataMata dataServicesServicesDesign Design managementmanagementMeta data Meta data Import/Import/exportexportMeta data Meta data managementmanagement四、物联网与云计算架构四、物联网与云计算架构互联网上的物联网：概念互联网上的物联网：概念互联网上的物联网：发展互联网上的物联网：发展u2009年年8月月7日日，温温家家宝宝视视察察中中科科院院嘉嘉兴兴无无线线传传感感网网工工程程中中心心无无锡锡研研发发分分中中心心，提提出出“在在传传感感网网发发展展中中，要要早早一一点点谋谋划划未未来来，早早一一点点攻攻破破核核心心技技术术”，明确要求尽快建立中国的传感信息中心，或叫，明确要求尽快建立中国的传感信息中心，或叫“感知中国感知中国”中心。中心。u2010年年2月月25日日,中中国国首首个个传传感感网网大大学学科科技技园园在在无无锡锡成成立立，北北京京邮邮电电大大学学无无锡感知技术与产业研究院是首家入驻大学科技园的高校科研机构。锡感知技术与产业研究院是首家入驻大学科技园的高校科研机构。u移移动动、电电信信、联联通通三三大大运运营营商商纷纷纷纷在在无无锡锡成成立立物物联联网网研研究究中中心心，以以无无锡锡为为首的国内大中城市争相建设智能城市，争取成为感知中国示范城市。首的国内大中城市争相建设智能城市，争取成为感知中国示范城市。u2010年年3月月2日日，上上海海物物联联网网中中心心在在上上海海嘉嘉定定揭揭牌牌，宣宣称称将将以以此此打打造造国国内内最最具具竞竞争争力力、具具有有国国际际影影响响的的物物联联网网技技术术研研发发基基地地，总总投投资资达达8亿亿元元。把把合合作作伙伴锁定为中国科学院上海微系统与信息技术研究所。伙伴锁定为中国科学院上海微系统与信息技术研究所。u2010年年3月月9日日，中中国国物物联联网网标标准准联联合合工工作作组组筹筹备备会会议议在在京京召召开开。3月月中中旬旬，浙浙江江省省成成立立了了物物联联网网产产业业规规划划编编制制小小组组，浙浙江江省省经经济济和和信信息息化化委委员员会会副副主主任任郑郑一一方方担担任任组组长长。杭杭州州市市已已经经联联合合浙浙江江省省工工业业经经济济研研究究所所启启动动物物联联网网产产业调研和发展规划编制工作，提出业调研和发展规划编制工作，提出“感知杭州感知杭州”的发展愿景。的发展愿景。物联网的体系架构物联网的体系架构物联网的体系架构物联网的体系架构物联网的体系架构物联网的体系架构物联网示范：智能家居大数据管理系统物联网示范：智能家居大数据管理系统物联网示范：动态跟踪管理，牧场大数据物联网示范：动态跟踪管理，牧场大数据物联网示范：医疗健康大数据物联网示范：医疗健康大数据 管理体系架构管理体系架构大中型医院大中型医院大中型医院大中型医院政企客户领导政企客户领导政企客户领导政企客户领导省领航平台省领航平台省领航平台省领航平台 基层医疗机构基层医疗机构基层医疗机构基层医疗机构短信接口短信接口平台功能平台功能健康管理服务健康管理服务健康管理服务健康管理服务紧紧急急呼呼叫叫一一键键通通运运动动能能量量检检测测终端功能终端功能血血压压/血血糖糖管管理理离退休干部离退休干部离退休干部离退休干部G GP PS S定定位位健健康康档档案案自自管管理理心心电电图图诊诊断断呈呈现现心心电电图图测测量量移移动动O OA A彩信接口彩信接口用用药药提提醒醒互互动动交交流流预预约约就就医医WAPWAP接口接口体体重重管管理理血血糖糖管管理理心心脏脏疾疾病病管管理理血血压压管管理理健康管理功能健康管理功能客户关怀功能客户关怀功能BSS/OSSBSS/OSSBSS/OSSBSS/OSS日日常常心心电电监监测测血血压压监监测测运运动动情情况况监监测测医疗服务功能医疗服务功能血血糖糖监监测测移移动动全全球球眼眼云计算演进：桌面云理解云计算演进：桌面云理解(NDNCCCN)(NDNCCCN)云计算架构：通用三层架构云计算架构：通用三层架构(IBM(IBM为例，加为例，加BPaaSBPaaS)IaaSIaaSPaaSPaaSSaaSSaaSBPaaSBPaaS云计算的不同服务层次和内容：云计算的不同服务层次和内容：云计算的应用案例：广州品高云计算的应用案例：广州品高IaaS云计算的统一数据中心云计算的统一数据中心Ciscos Cloud Computing ApproachCombining the unified data center and cloud intelligent networkNetwork Service becomes an essential element 五、知名企业大数据架构五、知名企业大数据架构又拍云存储架构又拍云存储架构大数据：大数据：IBM大数据方案大数据方案大数据分析实例：大数据分析实例：u北京邮电大学北京邮电大学“云海云海”移动互联网数据分析平台移动互联网数据分析平台1.大数据架构：曙光智慧交通系统架构大数据架构：曙光智慧交通系统架构1.大数据架构：大数据架构：IBM1.大数据架构：大数据架构：HP云监控大数据解决方案云监控大数据解决方案大数据架构大数据架构uIntel分布式分布式Hadoop架构架构大数据架构：微软大数据解决方案大数据架构：微软大数据解决方案u设设计计了了一一套套基基于于 Microsoft SQL Server 2012 和和 Microsoft Azure HDInsight 的端到端大数据解决方案。在的端到端大数据解决方案。在 HDInsight 上快速部署上快速部署 Hadoop 群集。群集。大数据平台架构大数据平台架构u引跑科技EngineOne平台大数据虚拟化架构：大数据虚拟化架构：VMWare BDEuvSphere Big Data Extensions（BDE）是VMware基于Serengeti开源技术的企业发行版，增强基础架构，更好地部署、运行和管理大数据负载，虚拟化应用。大数据虚拟化（BDE/Serengeti）的部署结构图大数据虚拟化架构：大数据虚拟化架构：VMWare BDESerengeti管理服务器的系统架构图大数据架构大数据架构uNetflix基于基于AWS的大数据平台，不用的大数据平台，不用HDFS而用而用amazon的的S3(美国最大的在线美国最大的在线DVD租赁商，租赁商，奈飞公司奈飞公司，提供在线影片租赁业务，提供在线影片租赁业务)Siri的技术实现架构的技术实现架构大数据大数据u购物网站的大数据分析系统购物网站的大数据分析系统大数据大数据u某银联机房某银联机房u大数据架构大数据架构大数据大数据:安全架构安全架构六、大数据系统设计案例分析六、大数据系统设计案例分析1.Web数据分析系统的软件验证模型数据分析系统的软件验证模型UML及其及其扩展机制展机制/QVTWeb领域模型域模型转换及代及代码生成生成研研究究Web领域建模工具原型域建模工具原型研研发(基于基于eclipse-modeling Ecore tools,GMF的的Web领域元建模及建模工具域元建模及建模工具)Web模型模型转化化与与代代码生成工具原型生成工具原型研研发（基于（基于mediniQVT及及 eclipse-modeling operational QVT EMF的模型的模型转化化与与代代码生成工具）生成工具）在具体在具体Web系系统开开发中的中的应用、用、验证与与比比较Web应用用实践践基于基于MDA的的Web领域模型域模型研研究究Web领域的域的CIM模型模型（基于（基于Ecore的的web领域域需求的元模型需求的元模型)Web领域的域的PIM模型模型（基于（基于Ecore的的web领域域独独立平台的元模型）立平台的元模型）Web领域的域的PSM模型模型Web领域域CIM到到PIM转换（基于（基于QVT的的CIM到到PIM转换）Web领域域PIM到到PSM转换（基于（基于QVT的的CIM到到PIM转换）Web领域域PSM到源代到源代码转换模型到元模型模型到元模型归纳转换技技术模型体系模型体系与与模型模型转换分析模型元模型分析模型元模型数据访问层元模型数据访问层元模型业务逻辑层元模型业务逻辑层元模型展现层元模型展现层元模型2.淘宝大数据架构淘宝大数据架构 淘宝大数据架构淘宝大数据架构大数据架构大数据架构:淘宝海量数据产品技术架构淘宝海量数据产品技术架构n按照数据的流向来划分，淘宝的数据产品的技术架构分为五层（自上而下），分按照数据的流向来划分，淘宝的数据产品的技术架构分为五层（自上而下），分别是数据源、计算层、存储层、查询层、产品层。别是数据源、计算层、存储层、查询层、产品层。大数据架构大数据架构:淘宝海量数据淘宝海量数据,搜索引擎架构搜索引擎架构大数据架构大数据架构:淘宝海量数据淘宝海量数据,网络服务架构网络服务架构3.大数据架构设计：智慧城市架构设计大数据架构设计：智慧城市架构设计u基于结合物联网、云计算、大数据的智慧城市系统架构基于结合物联网、云计算、大数据的智慧城市系统架构案例分析：案例分析：基于工业物联网基于工业物联网与大数据分析平与大数据分析平台的能源管理系台的能源管理系统统总体架构总体架构社会大生产无序社会大生产无序无控排放是环保死敌无控排放是环保死敌一次能源生产二次能源生产一次排放二次能源使用二次排放次生排放原煤油气矿精炼电热油焦矿当前热点雾霾污染问题根源来自于无序无控排放，现在公布的雾霾指数标示只是城市若干当前热点雾霾污染问题根源来自于无序无控排放，现在公布的雾霾指数标示只是城市若干个监测点的结果呈现，具体排放源头及排放关键因素是什么？基于国情大量燃煤，燃煤换个监测点的结果呈现，具体排放源头及排放关键因素是什么？基于国情大量燃煤，燃煤换能效率低排放高，二次排放占较大比例，二次能源消耗再产生大量次生排放。能效率低排放高，二次排放占较大比例，二次能源消耗再产生大量次生排放。煤煤煤电热焦煤电热焦电电热热焦焦油油气气所有排放环节均缺失精细在线监所有排放环节均缺失精细在线监测数据，无序无控恶性排放无缘测数据，无序无控恶性排放无缘节能增效，发展决定总体能耗继节能增效，发展决定总体能耗继续升高，缓解危局只能走节能减续升高，缓解危局只能走节能减排信息化助力工业节能改造道路排信息化助力工业节能改造道路节能减排的难点及瓶颈节节能能减减排管理排管理如何着手如何着手节节能能减减排措施排措施如何把控如何把控节节能能减减排效果排效果如何确如何确认认节能减排空间节能减排空间如何诊断如何诊断节能减排计量监测节能减排计量监测管理分析评估管理分析评估？节能减排是覆盖全社会所有生产消费过程的大系统工程，配套的能源排放在线计节能减排是覆盖全社会所有生产消费过程的大系统工程，配套的能源排放在线计量监测管理分析评估大数据信息化系统是其关键基础架构。目前存在四大难题量监测管理分析评估大数据信息化系统是其关键基础架构。目前存在四大难题1、节能规划部署、节能规划部署2、能耗诊断审计、能耗诊断审计3、节能手段实施过程控制、节能手段实施过程控制4、节能效益量化计算、节能效益量化计算、EPC分成认证上报分成认证上报电信运营商覆盖全国物联网及云计算体现优势 十二五期末年排放超千吨标煤的省级重点能耗单位原则上必须纳入政府节能减排监管十二五期末年排放超千吨标煤的省级重点能耗单位原则上必须纳入政府节能减排监管机构的监测量化管理，年排放超万吨标煤的国家级重点能耗单位必须自建企业级能源管理机构的监测量化管理，年排放超万吨标煤的国家级重点能耗单位必须自建企业级能源管理系统接入当地市级能源管理监控中心，市级汇聚到省级能源管理监控中心，省级接入中央系统接入当地市级能源管理监控中心，市级汇聚到省级能源管理监控中心，省级接入中央发改委全国能源管理监控中心平台，市省中央所汇集的排放原始数据向全社会开放。发改委全国能源管理监控中心平台，市省中央所汇集的排放原始数据向全社会开放。这样超级大数据系统需要极高的云计算网络存储资源，还要对各用能户建立多维度关这样超级大数据系统需要极高的云计算网络存储资源，还要对各用能户建立多维度关联能耗排放模型，对自控可靠的用能户以模型仿真模拟结果对相关用能设备实施反向开关联能耗排放模型，对自控可靠的用能户以模型仿真模拟结果对相关用能设备实施反向开关待机操作，实现用能设备动态能效优化，这样的操控实施理应掌控在国有待机操作，实现用能设备动态能效优化，这样的操控实施理应掌控在国有3大运营商手中大运营商手中解决瓶颈问题-其他问题迎刃而解国家综合国家综合能源管理能源管理平台平台A省数据省数据仓库及平仓库及平台台B省数据省数据仓库及平仓库及平台台某行业数某行业数据接口服据接口服务器务器前端数据前端数据采集物联采集物联网网关网网关前端辅助前端辅助数据接口数据接口服务器服务器前端数据前端数据采集物联采集物联网网关网网关前端辅助前端辅助数据接口数据接口服务器服务器前端数据前端数据采集物联采集物联网网关网网关前端辅助前端辅助数据接口数据接口服务器服务器物联网云计算大数据结合-关键技术途径 网管系统、动环系统负责运营商自身能耗数据采集及融合，政府发文强制重点能耗企网管系统、动环系统负责运营商自身能耗数据采集及融合，政府发文强制重点能耗企业采用标准化物联网采集网关及国标智能电表无线接入此系统、或企业已有系统按统一能业采用标准化物联网采集网关及国标智能电表无线接入此系统、或企业已有系统按统一能耗排放数据采集及接口标准规范专线转发接入此系统（只要挂表接入政府均有适当补贴），耗排放数据采集及接口标准规范专线转发接入此系统（只要挂表接入政府均有适当补贴），运营商收流量费及功能费，如用能户使用能源审计诊断功能可另收咨询费等，政府向运营运营商收流量费及功能费，如用能户使用能源审计诊断功能可另收咨询费等，政府向运营商付财政补贴、维护费、流量费及服务费购买服务，运营商还可收能耗排放源数据交易费商付财政补贴、维护费、流量费及服务费购买服务，运营商还可收能耗排放源数据交易费并向政府交管理费等。并向政府交管理费等。用能端能耗分量计量及影响因素感知采集辅助辅助辅助辅助设备设备设备设备能耗能耗能耗能耗主设备主设备主设备主设备能耗能耗能耗能耗照明照明照明照明能耗能耗能耗能耗办公设办公设办公设办公设备能耗备能耗备能耗备能耗室内室内室内室内外温外温外温外温湿度湿度湿度湿度振动振动振动振动压力压力压力压力等等等等地理地理地理地理装机装机装机装机空间空间空间空间建材建材建材建材环境环境环境环境等等等等物联网网关物联网网关物联网网关物联网网关电信运营商电信运营商电信运营商电信运营商综合能耗管理综合能耗管理综合能耗管理综合能耗管理大数据云平台大数据云平台大数据云平台大数据云平台m2m(m2m(包括包括包括包括3G/4G3G/4G、WLANWLAN、PTNPTN、IP)IP)表示可根据本用能单元的能耗模型仿真预表示可根据本用能单元的能耗模型仿真预表示可根据本用能单元的能耗模型仿真预表示可根据本用能单元的能耗模型仿真预表示可根据本用能单元的能耗模型仿真预表示可根据本用能单元的能耗模型仿真预测结果酌情进行辅助开测结果酌情进行辅助开测结果酌情进行辅助开测结果酌情进行辅助开测结果酌情进行辅助开测结果酌情进行辅助开/关关关关关关/待机待机待机待机待机待机/调节操作，调节操作，调节操作，调节操作，调节操作，调节操作，以管控相关用能设备使其能耗动态优化以管控相关用能设备使其能耗动态优化以管控相关用能设备使其能耗动态优化以管控相关用能设备使其能耗动态优化以管控相关用能设备使其能耗动态优化以管控相关用能设备使其能耗动态优化产量产量产量产量负荷负荷负荷负荷等等等等生产生产ERP系统系统能源管理大数据系统信息标准化能源管理大数据系统信息标准化动态数据静态数据静态数据l基本配置信息：名称、编号、归属地市、位置信息（GPS经纬度）、面积、总载频数等；l设备信息：标识码、名称、厂家、设备类型、规格型号、用途、入网时间、额定功率、额定负荷 等；l节能措施：技术名称、实施时间、描述等；l能耗数据：用能场所总耗电量、主设备耗电量、空调耗电量；l环境因素：室内外温湿度；l业务量：话务量、数据业务流量；AI量：电流、电压、温度、湿度、压力、流量、振动；DI量：告警信息；实现耗电量、PUE值、电费、告警的分时段、任意时段统计查询。能耗有效管理始于精准、全面、标准化的能耗排放数据计量。能源数据的多维度分析与呈现能源数据的多维度分析与呈现网上演示：http:/113.108.158.22:7070/EnergySystem ,总结、交流、作业总结、交流、作业小结：小结：大数据：大数据：系统结构：分层架构、总体架构、系统结构：分层架构、总体架构、HadoopHadoop、MapReduceMapReduce 关键技术：并行计算、存储处理、关键技术：并行计算、存储处理、ETLETL、多维显示、多维显示 相关领域：物联网、云计算、各应用领域相关领域：物联网、云计算、各应用领域讨讨 论：论：大数据系统架构很多，如果要你进行分类，你从哪些大数据系统架构很多，如果要你进行分类，你从哪些维度来划分为哪些类型的架构？维度来划分为哪些类型的架构？作业：作业：题目题目:下图是下图是“车联网车联网”系统，请理解，然后回答问题。系统，请理解，然后回答问题。作业：问题作业：问题 如上图是如上图是“车联网车联网”系统架构，请根据图并结合日常生活系统架构，请根据图并结合日常生活经验作答：经验作答：1.1.关于车联网系统，其包含哪些关于车联网系统，其包含哪些“数据数据”，这些数据从何而，这些数据从何而来，到何处去？来，到何处去？(画数据流图画数据流图)2.2.车联网系统中，有哪些场景下用到的数据可能很大，对系车联网系统中，有哪些场景下用到的数据可能很大，对系统的哪些环节有更高要求？你能设计一个车联网大数据的统的哪些环节有更高要求？你能设计一个车联网大数据的系统方案吗？系统方案吗？3.3.车联网系统中，可能用到哪些数据分析工具或算法，在哪车联网系统中，可能用到哪些数据分析工具或算法，在哪些场景下有用？些场景下有用？主要参考文献：主要参考文献：1.1.工业和信息化部电信研究院，中国工业和信息化部电信研究院，中国大数据白皮书大数据白皮书(2014)(2014)，20142014年年5 5月月.2.2.大数据的系统架构支持，林仕鼎，大数据的系统架构支持，林仕鼎，20132013年年4 4月月.3.3.物联网与智能计算，陈志成，物联网与智能计算，陈志成，20102010年年8 8月月.4.4.基于大数据的工业节能系统，北京易能境科技公司，基于大数据的工业节能系统，北京易能境科技公司，20142014年年5 5月月.5.5.软件工程领域建模，蒋严冰，北京大学软件学院，软件工程领域建模，蒋严冰，北京大学软件学院，20122012年年4 4月月.6.6.大数据文档，百度网站，大数据文档，百度网站，20142014年年5 5月月.心语共勉：学习、工作、生活的本质：心语共勉：学习、工作、生活的本质：One day,One thing,One person.One day,One thing,One person.One day,One thing,One person.One day,One thing,One person.Think it,do it,and Done it.Think it,do it,and Done it.Think it,do it,and Done it.Think it,do it,and Done it.谢谢大家！谢谢大家！