用大数据技术来提高学科建设-培养社会继续的应用型人才.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,用大数据技术来提升学科建设，培养社会继续应用型人才,倪军博士,3月27日,用大数据技术来提高学科建设-培养社会继续的应用型人才,第1页,演讲提要,大数据,项目宗旨,大数据试验平台与学科建设结合,项目进展,用大数据技术来提高学科建设-培养社会继续的应用型人才,第2页,数据尺度测量,Yottabyte(YB),10,24,Zettabye(ZB),10,21,Exabyte(EB),10,18,Petabyte(PB),10,15,Terabyte(TB),10,12,Gigabyte(GB),10,9,Megabyte(MB),10,6,Kilobyte(KB),10,3,当今,未来,过去,软盘,Zip,驱动硬盘,U,盘,USB-,硬盘,R,AID,or array,硬盘系列,用大数据技术来提高学科建设-培养社会继续的应用型人才,第3页,Scale Examples,2.5 Petabytes:人脑内存容量,13 Petabytes:每个美国人同时上网，每二分钟可下载容量,98 Petabytes:谷歌所能检索到网站容量,4.75 Exabytes:全世界总人口人类基因序列总和,422 Exabytes:全球所产生数据,1 Zettabyte:当前全世界数据存放总容量,1.8 Zettabytes:年全球所产生数据,资源:Popular Science and Katie Peek,用大数据技术来提高学科建设-培养社会继续的应用型人才,第4页,大数据预测,思科企业预测,资源：,Total Mobile Data Traffic will be Offloaded in,-CISCO Report,用大数据技术来提高学科建设-培养社会继续的应用型人才,第5页,到，每个月手机传递量为 11.2 Exabytes,资源：Cisco VNI Mobil Report,Cisco VNI Mobil Report,其中包含数据建立、操作和管理大型数据集和存放设施”依据,用大数据技术来提高学科建设-培养社会继续的应用型人才,第13页,大数据定义,定义,4,:,大数据指是新兴、针对巨大数据集信息技术，其中包含各种工具、流程和程序，用于搜集、管理、处理、分析和挖掘这些数据集,用大数据技术来提高学科建设-培养社会继续的应用型人才,第14页,大数据定义,这些定义共同点,:,数据中必须蕴藏信息、数据量巨大、数据结构复杂、数据量快速增加,常规数据处理和管理方法无法处理,大数据不但仅是指数据，它包容相关技术,用大数据技术来提高学科建设-培养社会继续的应用型人才,第15页,大数据定义,定义,:,大数据能够定义为前所未有、快速增加、结构复杂、含有信息价值庞大数据之集以及与其相关紧急而又特殊数据技术，使人们能够采取这些技术来获取、管理、处理、分配、分析和挖掘这些数据，其宗旨是为机构运作和决议提供服务。,用大数据技术来提高学科建设-培养社会继续的应用型人才,第16页,举例：医疗卫生也大数据由来,医疗仪器设备数值化,医疗实践从相对传统个人观察、主管经验判断走向标准化、和科学依据为基础医疗,医疗系统数字化和信息化,用大数据技术来提高学科建设-培养社会继续的应用型人才,第17页,举例：医疗卫生也大数据由来,采纳系统化电子医疗统计（,EHR,）技术和标准,(DICOM,HL7,IHE,等,),临床医学、转化医学、生物医学信息学、医疗信息学等领域加盟和新科技转化应用用大数据技术来提高学科建设-培养社会继续的应用型人才,第18页,医学科学数值化进程所引发数据剧增,资源,:,美国伯克利大学细细管理系统学院,0 C.E.,40,000 BCEcave paintings,bone tools,3500writing,paper 105,1450printing,1870,electricity,telephone,transistor 1947,computing 1950,1993,The Web,数字心脏病学,Electronic Medical Record,电子,-,医疗卫生遗传工程,数值放射学,1999,Late 1960s,Internet,P e t a b y t e s,数值病理学,用大数据技术来提高学科建设-培养社会继续的应用型人才,第19页,医疗卫生大数据起源,数字医疗服务、信息流程和管理普及应用,转化医学和生物医学所带来新知识、新结果，以及医学新探索和新发觉,社会网络和数字通讯高速发展,起源,:Big Data Analytics for Healthcare by Jimeng Sun and Chandan K.Reddy,Tutorial presentation at the SIAM International Conference on Data Mining,Austin,TX,；,Sarkar,Indra Neil.Biomedical informatics and translational medicine.,Journal of Translational Medicine,8.1():22.,用大数据技术来提高学科建设-培养社会继续的应用型人才,第20页,医疗卫生大数据起源,全尺度医疗服务,微观尺度性临床基因诊疗和基因治疗,生物信息学成就和发展,人体组织和器官尺度医学影像数字化和病理数字化进程和应用,医学影像信息学和病理信息学成熟和广泛应用,宏观大尺度下、基于社会网络医疗服务信息化和公共卫生健康信息化,医疗信息学和公共医疗卫生信息学,用大数据技术来提高学科建设-培养社会继续的应用型人才第21页,大数据定义,IBM最近汇报预测在之前大约有万亿个新设备连接到互联网：其中80数据将是非结构性，这一趋势将有利于推进数字数据增加，同时要求大力发展大规模数字分析技术,用大数据技术来提高学科建设-培养社会继续的应用型人才,第22页,大数据特征,归纳为四点，既,4H,或,4V,数据尺度和量级上非常巨大,Huge data,volume,在数据结构上含有混合多样性和复杂性,Hybrid,structure and,complexity format variety,用大数据技术来提高学科建设-培养社会继续的应用型人才,第23页,大数据特征,归纳为四点，既,4H,或,4V,在数据量快速扩展上含有 高速性、动态定、和实时性,High-speed and dynamic growth in both volume and dimensions,real-time streaming processing,在数据内涵中，存有巨大信息价值,Hidden information(comprise information of validity,or,veracity),用大数据技术来提高学科建设-培养社会继续的应用型人才,第24页,大数据特征,第一个特征,:,巨大数据量,前所未有数据量,数据量太大而无法用常规技术对其处理和分析,在数据存放、调配、管理等方面超越传统数据库管理技术,Source,：,Reading:Hilbert,Martin;Lpez,Priscila().The Worlds Technological Capacity to Store,Communicate,and Compute Information.Science 332(6025):6065.,用大数据技术来提高学科建设-培养社会继续的应用型人才,第25页,大数据特征,大数据增加技术原因：,信息技术（硬软件和网络技术）迅猛发展,无处不在信息资源、感知移动设备剧增,传感技术成熟应用,摄像机普及应用,射频识别器普及应用,无线传感器网络迅猛发展,数字建模和仿真计算（科学探索中除理论和试验之外第三种方法）用大数据技术来提高学科建设-培养社会继续的应用型人才,第26页,大数据特征,比如全球性海洋流动观察数据汇总和可视化,Source,：,NASAs movie:whyfiles.org/mining-data/,用大数据技术来提高学科建设-培养社会继续的应用型人才,第27页,大数据特征,第二个特征：数据结构多样和异构性,结构性数据：列式性数据，比如关系型数据,MS Access,Excel,SQL,表,惯用于数据统计和交易数据（,Record and Transaction,）,非结构性数据,:,关系型数据,文本（,Text,）：互联网语言，微博，聊天，短信,log,internet,tweets and chatting,text message,XML,（半结构化）,多媒体（,Multimedia,）：图像，视频，音频,image,video,audio,XML(semi-structured)etc.,用大数据技术来提高学科建设-培养社会继续的应用型人才,第28页,大数据特征,第二个特征：数据结构多样和异构性（继续）,大数据往往是不一样数据结构系统 混合组合或集成,比如非结构、半结构、结构,包含非结构性、半结构型、和结构型数据交通、合并、分解、融合等。,比如非结构短信和日志和结构型数据融合,医院诊疗汇报、病人病例、病人信息等等在大数据分析中关系,用大数据技术来提高学科建设-培养社会继续的应用型人才,第29页,大数据特征,第二个特征：数据结构多样和异构性（继续）,举例：医疗卫生和放射信息系统中大数据应用范例思索,兼容非结构型,DICOM,影像图片,PACS,系统数据和结构型病人病例数据之间大数据分析,基因治疗和遗传临床诊疗之间关系分析,非结构型基因序列和储存在电子医疗统计系统（,eHR,）中结构型病人统计文本之间大数据分析,非结构型病例诊疗试验分析汇报医院信息系统中病人统计档案数据分析,用大数据技术来提高学科建设-培养社会继续的应用型人才,第30页,大数据特征,第二个特征：数据结构多样和异构性（继续）,极难用当前数据库管理系统来管理,比如基于,SQL,关系型数据搜索极难用传统数据处理和应用系统来分析,用大数据技术来提高学科建设-培养社会继续的应用型人才,第31页,大数据特征,要求,1,:,需要研发一个特殊处理机制和平台，使得能够管理和处理不一样数据结构数据，比如,维基（,wiki,）、博客、网络日志、,起源于网络任何信息,要求,2:,需要适当地设计一个对应分析和挖掘流程机制和平台,这种平台必须建立在系统工程理念上,用大数据技术来提高学科建设-培养社会继续的应用型人才,第32页,大数据特征,系统工程技术理念,带来异常技术挑战,分布式大数据存放,基于,SQO,/,NoSQL,并存数据搜索,大数据表示和可视化,大数据分配和网络设计,大数据分析流程动态管理,大数据处理和分析,大数据信息挖掘和决议,Huge data volume,Hybrid data structure,Hidden information discovery,High-speed data growth,用大数据技术来提高学科建设-培养社会继续的应用型人才,第33页,大数据特征,第三个特征：数据结构多样和异构性,快速增加,数据流动态性,要求：,高性能数据计算系统,用大数据过滤、压缩、删除来处理,大数据堆积,采取大数据转化、移植、和改变技术,正确选择中央型和分布型计算机平行计算数据处理平台,实时性信息挖掘和智能决议,用大数据技术来提高学科建设-培养社会继续的应用型人才,第34页,大数据特征,第四个特征,含有信息价值,需要高性能数据统计和挖掘,采取智能计算技术,快速转化为决议依据、增强企业竞争力和产业,用大数据技术来提高学科建设-培养社会继续的应用型人才,第35页,大数据优势和效益,重新设计相关数据信息属性结构和行为，尤其是各类数据之间接口和关系，确保大数据信息应用扩展性,改造高性能数据处理和分析流程，方便直接为产业和服务业实时服务,建立崭新决议机制，有利于锐化组织运行与管理、和企业利益,用大数据技术来提高学科建设-培养社会继续的应用型人才,第36页,大数据应用范例,气象学,基因学和基因工程应用,神经科学,物理数学建模与仿真,生物技术,环境研究和改进,用大数据技术来提高学科建设-培养社会继续的应用型人才,第37页,大数据应用范例,网络搜索,财经,商务信息,生物医学与医疗健康,石油勘探,宇航和太空探索,用大数据技术来提高学科建设-培养社会继续的应用型人才,第38页,大数据应用范例,IBM,大数据和分析处理方案,个人银行管理和商业收益,起源：,尤其是临床转化医学应用。,用大数据技术来提高学科建设-培养社会继续的应用型人才,第40页,大数据应用范例,比如临床医学转化大数据,由美国国家癌症研究院主持、,Susan Holbeck,博士测试,5000,多对美国药品总局认可癌症药品对,60,各种细胞链反应。,一共进行了,30,万次试验，人们终于认识到每一个细胞链中每一个基因,RNA,表示式层次。,用大数据技术来提高学科建设-培养社会继续的应用型人才,第41页,大数据应用范例,临床医学转化大数据,取得巨大序列，蛋白质和微小,RNA,表示谱数据后，经过大数据挖掘，人们知道了一个细胞链往往会对一些良好组合做出反应，而对另一些组合不产生反应。,这么观察能够变成一个理性、含有针对性药品临床试验。,用大数据技术来提高学科建设-培养社会继续的应用型人才,第42页,大数据应用范例,临床医学转化大数据,让我们在看一段今年超算会议上由,Janis Landry-Lane,女士所作关于,IBM,在生命科学方面处理方案。,演讲主要围绕,IBM,大数据挖掘时怎样帮助他们用户来完成临床基因学方面大数据挖掘。,她演讲尤其提到用,IBM,大数据技术来设计数据获取，管理、处理和分析进程。,这种大数据技术能够直接应用到不一样领域,。,用大数据技术来提高学科建设-培养社会继续的应用型人才,第43页,大数据技术挑战当务之急,怎样存放大数据？,怎样处理非结构型数据？,怎样用现有计算设备来动态、并行处理大数据？,怎样研发新处理和分析方法来挖掘信息？,怎样把大数据，经过信息提炼，转化为决议机制？,用大数据技术来提高学科建设-培养社会继续的应用型人才,第44页,所需计算技术,充分利用现有计算设施,跟踪和积累信息技术和经历、掌握分布式计算技术,重视标准化和开源软件开发和流程设计,建立高性能分布式存放系统,尽快掌握大数据系统构架和流程设计、配置和安装集成、维护和服务等技能,用大数据技术来提高学科建设-培养社会继续的应用型人才,第45页,高校大数据项目 举例：,项目背景和宗旨,学院情况：,上海杉达学院（民办高校）信息学科已经有较长时间历史，但也有跟上信息技术快速发展迫切需要,以“大数据”技术为抓手，确立两个研究方向,:,大数据处理技术（云计算、并行处理、分布存放，高性能计算等）方向,，以此带动杉达学院传统信息技术及教学和科研上一个台阶，紧跟信息技术发展前沿。,大数据分析及其应用（在医学医疗卫生健康、商务和管理等领域数据挖掘及数据分析等），,以此发挥大数据技术队其它学科领域辐射作用，将大数据技术和上述其它学科领域相结合产生新学科发展生长点,用大数据技术来提高学科建设-培养社会继续的应用型人才,第46页,数据试验平台与学科建设结合,研究任务落实详细情况,（按三个明确阶段开展）,试验室平台建设,建立了大数据计算设施平台（分布式计算、云计算、高性能计算、,数据分析处理和挖掘、统计计算）,（第一阶段）,确定并展开大数据应用领域（建立了医疗卫生大数据库存平台，大约,80,万数据,（第二阶段）,基于,SPSS,健康卫生医疗大数据输入，格式转化，和显示系统,试验室机房：,IBM Flex,高性能大数据和高性能计算系统,用大数据技术来提高学科建设-培养社会继续的应用型人才,第47页,数据试验平台与学科建设结合,研究任务落实详细情况,（按三个明确阶段开展）,试验室平台建设,管理,/,登录,/,调度节点：,配置,1,台,x240,双路刀片服务器，作为管理、登录调度节点，,配置,64GB,内存，,2,颗,E5-2620 CPU(2.0GHz/6-core,），,8,块,1TB 7,近线,SAS,硬盘；,计算和数据分析节点：,8,台,Flex x240,双路刀片服务器，做为计算和数据分析节点，,配置,32GB,内存，,2,颗,E5-2620 CPU(2.0GHz/6-core,），,2,块,1TB 7,近线,SAS,硬盘；,管理网络和,InfiniBand,高速网络：,全部节点间经过,56Gb InfiniBand,高速网络连接，确保高速通讯和存放,I/O,，,管理网络采取,IBM,千兆以太网，负责集群管理和监控。,用大数据技术来提高学科建设-培养社会继续的应用型人才,第48页,数据试验平台与学科建设结合,用大数据技术来提高学科建设-培养社会继续的应用型人才,第49页,数据试验平台与学科建设结合,用大数据技术来提高学科建设-培养社会继续的应用型人才,第50页,数据试验平台与学科建设结合,用大数据技术来提高学科建设-培养社会继续的应用型人才,第51页,数据试验平台与学科建设结合,Connections,Storage area network(SAN)TCP/IPInfiniBand,Availability,Data migration,replicationand backup,Management,Centralizedmonitoringand automated file management,Databases,Application servers,Backup andarchive,File servers,用大数据技术来提高学科建设-培养社会继续的应用型人才,第52页,数据试验平台与学科建设结合,用大数据技术来提高学科建设-培养社会继续的应用型人才,第53页,数据试验平台与学科建设结合,建立一个公共健康信息系统大数据试验,平台,科研与教学兼顾,分布式模拟大数据存放,基于多核（,Multi-core,）,这个平台现有硬件系统设置，又有软件配套计算,用大数据技术来提高学科建设-培养社会继续的应用型人才,第54页,数据试验平台与学科建设结合,三方法：在所建立试验平台上探索和研究,大数据储存方法,大数据平行处理方法,大数据挖掘方法,用大数据技术来提高学科建设-培养社会继续的应用型人才,第55页,数据试验平台与学科建设结合,调研、汇总包含数据处理、分析、和数理统计在内、各类现有惯用计算方法和应用性软件,依据应用范围，整合一套较为完整、实际有效大数据处理和挖掘软件系统,为基层卫生信息系统建设提出参考价值和提议。,用大数据技术来提高学科建设-培养社会继续的应用型人才,第56页,数据试验平台与学科建设结合,三培养：,青年教师创新性科研能力培养,师资队伍学科建设能力培养,学生应用性技能培养,用大数据技术来提高学科建设-培养社会继续的应用型人才,第57页,数据试验平台与学科建设结合,采取分布式和集中式相结合大数据并行计算平台，侧重计算任务分配和数据域再分解相结合方法,在混合式操作环境下、共享和分布式内存相结合、各种多核处理器相结合计算模式,研发国际,HL7,DICOM,和其它,IT,标准接口规范方法,搜集、研发、整合各类数据处理分析、统计、挖掘方法技术和方法,用大数据技术来提高学科建设-培养社会继续的应用型人才,第58页,数据试验平台与学科建设结合,小采样和大数据之间关系性方法,各类数据之间格式转化、制作必要软件,数据分配非平衡处理方法,大数据统计计算方法,科研和教学相结合教学培养方法,用大数据技术来提高学科建设-培养社会继续的应用型人才,第59页,数据试验平台与学科建设结合,调研、分析需求、制订系统初步方案,设计和搭建计算平台,搜集大数据资源,实现基于高性能计算数据处理和挖掘可行性分析和试验,以若干应用为实例，研究适合用于公共健康数据挖掘算法及其实施方案,探索含有大数据分析能力应用性专门人才培养模式，制订培养方案，实施培养计划,整理试验数据，培养青年教师怎样开展科研，尤其重视科研与教学结合,培养青年教师写作国际论文能力,用大数据技术来提高学科建设-培养社会继续的应用型人才,第60页,数据试验平台与学科建设结合,A.,搭建面向基层公共健康信息管理与分析系统平台；实现基本层次、基于高性能计算数据处理和挖掘可行性研究,C.,培养相关应用性专门人才新模式,B.,医疗卫生健康数据二次开发实践，探索数据分析与挖掘新功效模式；实现基于高性能计算数据处理和挖掘应用性研究,卫生信息系统调研、国际数据资源调查、分析需求、制订系统（硬件和软件）初步方案,建立公共卫生信息分布式数据管理系统、建立中央式分析和基本层次高性能计算系统,开放式接口、可扩展性和安全性研究,卫生健康数据采集、调配，预处理、处理计算,卫生健康数据统计（,SAS,或,SPSS,）、挖掘和融合，中期验收,卫生健康数据融合、整合、系统兼容性研究,依据测试和验证结果，必要时对系统进行修正、改进和完善,采取小样原来模拟数据和系统可行性；,同时搜集和研发并行计算软件,国际标准数据调试计算模块数据分析及挖掘功效；调整应用性层次高性能计算系统,平台,对数据管理系统和计算分析系统进行修正，调试；研究计算任务分配和数据传递和可视,设计培训课程,(,数值计算、统计计算、并行计算、数据分析与挖掘等,),开设培训课程；学术论文,课题收尾工作（数据整合、课题汇报、论文准备、延伸课题预研等）,课题开始,中期验收,课题完成验收,.6,.6,.5,.10,.3,.10,.3,用大数据技术来提高学科建设-培养社会继续的应用型人才,第61页,数据试验平台与学科建设结合,研究任务落实详细情况,（按三个明确阶段开展）,连续进行有利于整个信息学科发展和内涵提升，也有利于促进其它学科产生新科研教学生长点,科研小组,D,科研小组,A,科研小组,B,科研小组,C,科研小组,E,试验室科研培训,用大数据技术来提高学科建设-培养社会继续的应用型人才,第62页,数据试验平台与学科建设结合,研究任务落实详细情况,（按三个明确阶段开展）,研究结果固化成课程形式，丰富和完善了信息学科课程体系,（第三个阶段）,将大数据技术融合到现有课程中，同时建设新教学课程,为学科建设奠定试验设施基础、研发平台、课程实践、教师培养，以及学生实习奠定了基础。,为青年教师培训大数据基础知识和技术,用大数据技术来提高学科建设-培养社会继续的应用型人才,第63页,数据试验平台与学科建设结合,试验室平台建设,带动科研项目开展,新课程建设,大数据计算设施平台,大数据资源和库存平台,100%,50%,30%,用大数据技术来提高学科建设-培养社会继续的应用型人才,第64页,数据试验平台与学科建设结合,科研经费管理,科研处、设备处、财务处、校方大力支持,科研经费规范表达在：,经费到位、需求设备申报、购置评定和审批,项目标资金分配，按校内评定分期拨款（,50%,）,财务规范化，帐务平衡,支撑条件落实，项目管理规范,本项目得到校方大力支持，校方提供,400,万，追加本项目标开支,本项目作为学校学科整体规划和建设一个主要组成，推进整个学校学科建设和教学课程改革、以及师资力量提升。,本项目从开题、中期检验、经费拨款、试验室场地落实、团体建设、人员配置等得到校方鼎力支持和详细落实。,用大数据技术来提高学科建设-培养社会继续的应用型人才,第65页,与青年教师团体建设结合,团体建设结合情况,项目团体取得阶段性结果,完成大数据试验平台搭建,（设计、评定、申报、购置、安装、调试）,大数据技术探索、资料搜集、系统设计、大数据结构,获取并建立,80,万大数据资源和数据库存（其中,包含,SEER,大数据等,团体着手学习和掌握大数据处理 技术，尤其是医疗信息数据分析和挖掘,搜集大数据成功应用范例,勉励并率领青年教师主动开展科研项目，建设新课程,用大数据技术来提高学科建设-培养社会继续的应用型人才,第66页,与青年教师团体建设结合,团体建设结合情况,项目团体取得阶段性结果,与,IBM,建立,大数据实训平台,，,广泛深入,展开一下,合作,项目,师资培训、教学平台共建、联合研究开发,精品课程共建,、,课程与技术传授、,学生,实习,3月11日,用大数据技术来提高学科建设-培养社会继续的应用型人才,第67页,与青年教师团体建设结合,团体建设结合情况,学科带头人培养、教学科研团体建设,在确立研究方向同时，也树立了对应学科带头人,倪军：负责大数据处理技术,陈瑛：负责大数据应用,率领,6,名青年教师：刘在英、沙洁、杨平、马晖男、,章鸣嬛,、朱琳玲,用大数据技术来提高学科建设-培养社会继续的应用型人才,第68页,与青年教师团体建设结合,团体建设结合情况,学科带头人培养、教学科研团体建设,每七天三召开团体学术会议，探讨和学习大数据技术、布置科研任务，汇报任务落实和进展计划,经过组织青年教师参加本项目实施全过程，培养了青年教师教学科研能力，促进师资队伍建设,用大数据技术来提高学科建设-培养社会继续的应用型人才,第69页,与青年教师团体建设结合,团体建设结合情况,学术交流情况,（校级学术交流）,在全校范围内,经过,科技专题讲座,，,为校管理干部和教师们进行了,大数据与云计算,解读，并就大数据背景下怎样推进我校学科专业发展作了探讨,3月20日,用大数据技术来提高学科建设-培养社会继续的应用型人才,第70页,与青年教师团体建设结合,团体建设结合情况,学术交流情况,（校级学术交流）,杉达学院嘉善校区，与基础部教师开展学术研讨,/10/16,用大数据技术来提高学科建设-培养社会继续的应用型人才,第71页,与青年教师团体建设结合,团体建设结合情况,学术交流情况,（国际交流）,：在杉达学院主办了第,7,届科学与工程网络计算国际会议，会议论文由国际,IEEE,计算机学会出版，论文全部,EI,检索。青年教师踊跃投稿，主动参加会议学术交流、并参加会议服务和编辑工作。,邀请美国佛蒙特大学计算机系首席教授，现任复旦大学计算机学院院长王晓阳博士作关于,“,大数据分析,”,学术汇报。,9月22日,用大数据技术来提高学科建设-培养社会继续的应用型人才,第72页,与青年教师团体建设结合,团体建设结合情况,团体组员参加程度,人数上：团体组员人数不停增加，技能不停提升,勉励开展与之相关辐射技术，直接为科研和教学服务,从学科内涵为基点，在大数据技术层和应用技术层基础上，寻求科研教学新伸长点,大数据项目宗旨,大数据高性能计算技术（平行计算）,数据获取处理分析挖掘,（数据结构和计算方法）,服务界面技术（云计算、分布式计算,医疗大数据数据库系统,商业信息大数据处理和挖掘（,The Organization for Economic Co-operation and Development,OECD),医疗大数据结构特征分析和挖掘,用大数据技术来提高学科建设-培养社会继续的应用型人才,第73页,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况,与学科整体规划、专业建设、结构布局等结合情况,整合大数据技术到整个信息科学与技术学院科研和教学体系中,把大数据内涵技术应用到不一样专业领域学科建设（科研和教学）中,用大数据技术来提高学科建设-培养社会继续的应用型人才,第74页,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况,与课程建设、教材建设、教学名师、精品课程、试验科研基地建设等结合情况,把该技术融合到其它课程建设，补充现有课程内容，提升课程教学质量,把大数据试验室建设成科研试验基地，,以大数据试验室为基地，展开各类应用领域研发，开发新学科领域和课程，比如,用大数据技术来提高学科建设-培养社会继续的应用型人才,第75页,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况,Hadoop/MapReduce,大数据处理非结构数据方案,Hadoop,是,Apache,软件基金会,管理开源软件平台,Hadoop,是在分布式服务器集群上存放海量数据并运行分布式分析应用一个方法,Hadoop,有两个主要部分：一个数据处理框架（,MapReduce,）和一个分布式数据存放文件系统（,HDFS,）。,通常会把输入数据集切分为若干独立数据块，由,map,任务（,task,）,以完全并行方式处理它们。框架会对,map,输出先进行排序，然后把结果输入给,reduce,任务,。通常作业输入和输出都会被存放在文件系统中。,整个框架负责任务调度和监控，以及重新执行已经失败任务。,用大数据技术来提高学科建设-培养社会继续的应用型人才,第76页,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况,Flex System+Platform Symphony-,大数据计算处理方案,IBM Platform Symphony,软件提供强大企业级管理，用于在可扩展共享网格上运行分布式应用程序和大数据分析。,它可加速数十个同时运行应用程序，以加紧实现结果并更加好地利用全部可用资源。,IBM Platform Symphony,软件可帮助您控制当前和未来技术计算系统中可用大量计算能力，以应对最艰巨和最复杂问题。,用大数据技术来提高学科建设-培养社会继续的应用型人才,第77页,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况,IBM Platform Computing,软件技术理念就是让客户能把成千上万台计算机看成一台来使用和管理。,为了到达这个目标，,IBM Platform Computing,采取了,3,层软件功效,第一层是,资源整合,，把企业全部服务器及操作系统软硬件整合成一个逻辑层，交给第二层资源分配来处理，,第二层是,资源分配,，是网络层次一个概念，把资源整合逻辑层依据应用使用、资源情况动态分配，大幅提升资源利用率，并同时满足用户服务标准。,第三层是,资源使用,，使用户经过,API,或,UI,界面或,APP,能够清楚明了地使用资源。假如是一个并行任务，用户能够经过一个中间件,API,调用资源，满足并行应用。,用大数据技术来提高学科建设-培养社会继续的应用型人才,第78页,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况,这三层逻辑抽象，就组成了完整,Platform Computing,软件应用层次，能够支持多用户、多应用、共享、动态平台，实现主流技术计算。,Symphony,是,Platform Computing,平台一个并行分析计算平台，从了解角度，与,WEB,服务器应用服务器类似，能够把,Symphony,看成是,Platform Computing,技术运算平台应用服务器，它包含针对低延迟、可靠性和资源共享进行优化,MapReduce,，还能够兼容,Apache Hadoop,，进行大数据分析。,用大数据技术来提高学科建设-培养社会继续的应用型人才,第79页,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况,怎样用Platform Symphony,做大数据分析,IBM Platform Symphony,是一个并行分析计算平台，能够支持各种类型计算密集型和数据密集型应用。从开发者角度来说，,Symphony,是一个能够成百上千倍提升利用速度，提供低延时、高并行度、高可靠性应用中间件。同时，还能够把,Symphony,看成是一个面向技术运算服务器。数据显示，,Symphony,远程并行服务延迟低至毫秒级，每秒钟能够同时开启,17000,个服务任务，每一个应用能够使用多达,10000,个核，每一个集群能够支持多达,40000,个核，能够实现多个任务、多个应用同时运行。,用大数据技术来提高学科建设-培养社会继续的应用型人才,第80页,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况,怎样用Platform Symphony做大数据分析,不仅如此，Symphony还可以同时支持计算密集型应用和数据密集型应用管理软件。随着分析工作负载计算与数据密集性不停增高，许多类型应用程序都要求快速分析使用内存中数据网格存放或分布式文件系统上大量数据。不一样于其他网格管了解决方案，Platform Symphony Advanced Edition(Symphony高级版)并不需要单独基础架构来支持这些数据密集型问题。它包含针对低延迟、可靠性和资源共享进行优化MapReduce，还可以兼容 Apache Hadoop。用户可以经过使用此功能在相同共享分布式基础架构上运行使用其他语言编写Hadoop和非Hadoop应用程序。此外，Platform Symphony多租户架构可以使其在单一共享式基础架构上部署多个 MapReduce 引擎,用大数据技术来提高学科建设-培养社会继续的应用型人才,第81页,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情况,怎样用,Platform Symphony,做大数据分析,就工作环境而言，,Platform Symphony,客户机和服务能够在不一样操作系统、语言和框架上实施，集群还可包含运行多个操作系统节点。,Platform Symphony,可在相同集群中管理各种不一样类型主机，并控制每个主机上运行应用程序服务。,用大数据技术来提高学科建设-培养社会继续的应用型人才,第82页,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情,Platform Symphony,支持,GPFS (General Parallel File System,）,-,大数据平行文件存放,IBM Platform Symphony,支持各种类型数据，开源,MapReduce,只支持开源,HDFS,（,The Hadoop Distributed File System,）,IBM Platform Symphony,支持包含,IBM GPFS,、,HDFS,、数据仓库以及其它数据起源和输出端,GPFS,是一个高性能，共享磁盘空间文件系统管理方案。,GPFS,利用于集群环境中，提供快速可靠数据访问。,经过,GPFS,，同一个集群中多个节点能够同时访问同一个共享文件。,IBM GPFS,提供快速数据访问以及简单且经济有效数据管理。,IBM GPFS,可帮助：,消除数据相关瓶颈，简化数据管理规模，实现全球协作,经济有效地管理完整数据生命周期,确保端到端数据可用性、可靠性和完整性,用大数据技术来提高学科建设-培养社会继续的应用型人才,第83页,与学校建设结合情况,与学科整体规划、专业建设、结构布局等结合情,况,Platform Symphony,支持,GPFS (General Parallel File System,）,-,大数据平行文件存放,GPFS,还能够提供在线存放管理、可扩展访问和集成生命周期管理工具,而且有能力管理,PB,级数据和数十亿文件,能够大大降低切换时间，减小客户应用不可用时间。,GPFS,能够帮助企业降低存放管理成本，并能降低数据重复和更有效使用离散存放组件，使之成为一个逻辑整体，使信息展现一个集中、高性能存放架构。,GPFS,还能够帮助改进服务器硬件利用率，从任何节点经过允许动态存放访问全部数据，,GPFS,多层次方法能够降低存放成本。,用大数据技术来提高学科建设-培养社会继续的应用型人才