大数据产品方案培训材料.pdf

2018新华三春雨行动渠道培训大数据2018.5 Internal 内参22020304新华三大数据建设背景01新华三大数据产品方案新华三大数据解决方案与案例Internal 内参33全面实施“国家大数据”战略2015年8月，国务院印发关于促进大数据发展的行动纲要2015年10月，“十三五”提出，“实施国家大数据战略，推进数据资源开放共享。”2017年，习近平在中共中央政治局第二次集体学习时强调加快建设数字中国Internal 内参44新华三大数据郑州分公司|战略布局2016年11月，与郑州市人民政府签署战略合作协议2017年3月，落地郑州成立新华三大数据有限公司计划3到5年，1000人研发，500家生态合作伙伴Internal 内参55新华三大数据的实力IDC：新华三大数据获得最具挑战力企业工信部：政务大数据获得“优秀大数据解决方案奖”信标委：大数据平台71项测试，用时最短、表现最优工信部：200节点大数据平台性能测试Internal 内参66大数据实践遇到的问题数据不通畅架构不适合数据不可用数据没价值系统相互独立数据分散管理数据孤岛数据标准不统一数据不完整数据质量低下缺乏数据展示分析手段有限数据无法产生价值可扩展性差处理的数据类型有限传统架构不满足大数据分析场景Internal 内参77用户ISV咨询机构平台提供厂商平台提供厂商用户ISV平台提供厂商大数据建设方法三段论处理技术升级数据资源整合数据价值挖掘没价值不通畅、不可用架构不适合Internal 内参88采集存/算加工服务应用数据数据通畅架构领先数据可用价值呈现大数据解决的问题Internal 内参9932018年：增长期12016年：探索期22017年：实践期大数据+AI场景化人工智能引擎云数融合架构探索行业应用大数据工具8大引擎一体机IT大数据大数据平台（DataEngine）HadoopMPP大数据产品演进路线Internal 内参10109大产品方案，提供数据采集、存储计算到应用开发、运营管理等数据全流程可视化服务9大引擎产品聚焦政务、公安、教育三大主航道，提供完整产品、应用解决方案。3大行业方案机器数据分析决策系统，提供网络流量分析与日志分析解决方案1个场景化方案新华三大数据定位Internal 内参1111课程小结新华三大数据定位建设方法三段论实践遇到的问题建设政策背景Internal 内参1212020304新华三大数据建设背景01新华三大数据产品方案新华三大数据解决方案与案例Internal 内参1313新华三大数据平台数据全流程数据源行业应用数据视觉引擎数据集成引擎存储计算引擎人工智能引擎行业建模引擎应用开发引擎商务智能引擎共享交换引擎服务运营引擎数据通畅架构领先数据可用价值呈现Internal 内参1414集群管理业务管理10GE交换机10GE 业务网络GE管理监控网络GE交换机软件集群基础设施交换网络管理节点大数据平台区大数据一体机 NaviData 5200/5100/5900 G3DataEngine大数据软件AI一体机AI平台区GPU 加速卡）AIEngineAI软件平台大数据应用创新应用区完整的软硬件一体化平台Internal 内参1515数据集成引擎采集PART Internal 内参1616需求描述业务系统独立，数据孤岛，数据难流动、难整合。缺乏对数据的统一管理，数据只能在较低层面发挥价值，难以凝聚起来在更高层面完成建模、深入挖掘和分析，无法给用户带来业务上的回报。01020403数据整合实现同异构数据源之间的数据采集、传输、处理、整合，打破数据孤岛。系统间迁移新旧系统替换时，常需要将旧系统的数据集成至新系统。数据同步为数据仓库业务增量数据提供多维度的定时同步功能。数据分析在不影响业务的同时，将业务数据实时同步至分析系统中，快速满足业务决策及BI系统。Internal 内参1717应用数据库大数据平台文本XML影音图像CSV日志数据源DI目标数据数据仓库大数据平台资源目录应用抽取分布式加载B/S架构转换数据集成引擎定义：数据集成即ETL，抽取、转换、加载。核心功能是采取分布式的方式将客户业务系统数据抽取到大数据平台。Internal 内参1818核心功能：Web可视化设计界面 可视化设计界面提供了数据模型设计、任务调度设计、运行监控管理等一体化的数据集成环境，何时何地都可以实现对ETL任务的部署和管理。Internal 内参1919应用场景：oracle-大数据平台Internal 内参2020存储计算引擎存/算PART Internal 内参2121存储计算引擎交互式SQL和可编程API数据采集ETL工具日志采集数据库连接存储计算引擎HadoopMPP产品定义：采用Hadoop+MPP的混搭架构，提供离线、流式、实时的计算框架、机器学习算法模型与分布式数据库，满足海量多类型数据的存储与分析。先进的融合架构Hadoop+MPP统一运维管理web化、精细化运维管理、向导式升级与扩容Internal 内参2222产品技术优势统一运维管理服务组件HA线性扩展稳定向导式部署与升级支持标准SQLWeb化操作与云平台融合便捷机器学习算法场景化模型自适应压缩算法智能多副本机制三权分立数据加密多租户隔离安全Internal 内参2323租户用户申请集群灵活部署，可部署在虚拟化、容器和物理机。支持Hadoop、Spark、Hbase、Storm集群；数据安全，集群运行在私有网络，租户强隔离，确保数据安全；自动运维，一键部署集群，全程自动化节点分配、服务部署、性能优化；动态伸缩，提供集群规模动态调整，一键弹性扩容、缩容；作业管理，提供作业管理，支持Jobs任务，可以直接执行数据分析作业；管理控制台，提供管理控制台，方便管理集群、监控报警，一目了然；使用集群OpenStackDataEngine大数据平台大数据平台KVM/CASContainerBare Metal自动易用可靠安全通过云平台按需申请大数据集群丰富的组件，Hive、Pig、Hbase、Hue等仪表盘式运维，完善的可视化监控视图完善的监控告警、日志管理可基于物理机部署，硬件资源保障支持HA，服务高可用完善的用户、角色、租户管控，三员分立支持用户行为、日志审计一键安全检查大数据云化服务Internal 内参2424应用开发引擎加工PART Internal 内参2525开发测试数据挖掘600+编程语言不完全统计大数据开发涉及数以万计的手册/工具81+开源底层处理软件200+机器学习算法库Internal 内参2626应用开发引擎数据探索工厂快速学会机器学习算法建模开放者实验室快速学会使用Hadoop应用构建工厂快速学会开发大数据应用产品定义：服务于教育行业，为客户提供一站式大数据应用开发和数据挖掘的平台，方便快速构建大数据应用开发环境，降低大数据开发门槛，提升创新应用开发的能力。Internal 内参2727定位：大数据科研创新平台ADE应用开发引擎DataEngine大数据平台应用开发者数据分析师应用构建工厂 数据挖掘模型构建 模型交叉验证 全流程引导 特征分析、图挖掘、深度学习等算法库数据探索工厂 程序Jar导出、部署 Job任务调度、监控 Web service生成 应用漏洞扫描、管理应用部署管理 快速构建开发工程 智能推荐组件架构 框架代码，减少编码量 调优、开发文档等知识库在线资源更新 开发基础实验 大数据基础实验 算法实验（机器学习和深度学习）小型应用开发开发者实验室Internal 内参2828商务智能引擎可视化服务PART Internal 内参2929商务智能引擎（BI）产品定义：比Excel还简单的，一款整合结构化数据，通过托拉拽、不需要写SQL的方式，快速实现数据可视化分析的工具。简单易用不需要写SQL完成数据可视化托拉拽动动鼠标实现数据多维度分析Internal 内参3030助力企业科学决策 根据企业销售数据、订单数据、采购数据等，实时、快速分析出企业经营状况，构建领导驾驶舱，助力企业科学决策。Internal 内参3131一个场景化方案机器数据分析决策系统PART Internal 内参3232网络存在的问题应用服务保障应用流量浅层分析无法分析应用服务质量无法分析应用的用户体验网络流量流量分布不均流量突发，无法预测粗犷式流量分析流量管控调度人工干预事后故障处理机制无法实现网络资源灵活调度Internal 内参3333机器数据分析决策系统智能管控子系统SDN流量采集子系统（流量分析一体机）数据分析子系统（大数据集群）机器数据分析决策系统机器/应用等日志数据Netstream/Netflow全流量镜像数据数据源Internal 内参3434网络流量大数据日志分析大数据I.流量精准分析和预测II.重点应用保障III.流量智能调度I.多源日志采集与解析II.日志全文检索III.可视化分析与智能告警两大核心模块 通过大数据手段对设备产生的流量、日志、配置文件等机器数据进行分析，实现应用的智能保障、全网流量的智能调度与网络服务质量的评价。Internal 内参3535课程小结商务智能引擎服务应用开发引擎加工存储计算引擎存/算数据集成引擎采机器数据分析决策系统Internal 内参3636020304新华三大数据建设背景01新华三大数据产品方案新华三大数据解决方案与案例Internal 内参3737完整的政务大数据解决方案政务共享交换体系建设方案案例：河南省政务大数据 广东畅通工程政务信息资源整合共享平台政务云+大数据平台建设方案案例：巴中政务云 云南党建云政务云 电子政务网+网流分析大数据建设方案案例：中山党政网络升级改造电子政务网Internal 内参3838河南省政务服务平台大数据平台二期项目需求方案及价值落实国家、省级相关政策的需要。提高“放管服”改革成效、打破信息孤岛。提升政府治理能力。助力河南大数据综合试验区建设的需要。2库（人口、法人）、2体系（资源目录体系、共享交换体系）、1标准（标准规范体系）、1环境（大数据处理环境）构建河南省统一的公共数据基础平台，实现政务大数据的统一。完成64省厅18地市10直属县的的资源目录和共享平台建设实现跨地区、跨部门、跨层级政务信息资源共享与业务协同。实现数据多跑路，群众少跑腿Internal 内参3939完整的公安大数据解决方案公安警务云大数据方案案例：天津公安云 河北公安云科信4G分光项目大数据平台方案案例：沧州市局4G分光项目技侦雪亮工程网络流量大数据方案综治办Internal 内参4040部署架构解决方案情况给客户的价值 一朵云：构建天津公安警务云 两个中心：构建云数据中心，大数据资源中心 分层解耦：云数据中心基础设施资源与应用平台层松耦合，实现分成解耦。统一服务：大数据作为云计算的服务之一，通过云平台申请，调用，实现账户统一。统一运维：云与非云环境的统一运维，大数据和云计算环境统一运维。方案亮点：云数融合，云平台作为统一对外提供服务的平台，云平台和大数据平台用户体系融合，实现单点登录，管理页面融合，使用者仿佛使用一个平台。利用云计算和大数据技术，建设弹性，共享的云服务资源，为上层业务提提供弹性资源，实现海量数据资源挖掘，分析，处理。新华三负责基础设备层，平台服务层，打造云基础设施，向上提供云服务，大数据集群服务。天津公安警务云大数据平台Internal 内参4141完整的教育大数据解决方案大数据中心方案：产品、数据治理 70+教育应用案例：西安电子科技大学 北京航天航空大学智慧校园教学诊断与改进方案：产品、数据治理 数据填报系统案例：许昌职业技术学院高职诊断与改进大数据人才培养方案：产品、教育应用 大数据实训室案例：华东政法大学 重庆第二师范人才培养Internal 内参4242西安电子科技大学智慧校园大数据H3C携手西安电子科技大学，构建服务于全校师生管理的大数据应用系统。实现了学生画像、领导驾驶舱、学业预警、沉迷游戏预警、双一流建设等大数据相关应用，帮助客户进行教学和学生管理Internal 内参4343新华三大数据最佳实践政府其他公安高校河南省电子政务服务平台大数据平台工商总局企业信用信息系统公示平台安徽省国家税务局大数据采集与存储平台国家地震台网地震波形大数据分析系统全国交通协同治理与高效出行大数据公共服务平台重庆市质量技术监督局综合数据平台云南省党建云系统邳州市政务大数据中心广东政务数据分析信用河南汉中综合治税青岛政务云大数据广西环保厅贵州省信用宿迁地税局咸阳智慧城市某部委网络流量大数据分析与管控系统天津公安云计算大数据服务平台台州公安大数据资源服务平台西藏自治区公安厅信息资源服务平泰州海陵区公安警务大数据布控预警平台郑州市公安东莞卡口图像天津公安湖北省公安河北省公安厅河北省安全厅兰州交警综合制堵西安电子科技大学智慧校园系统重庆第二师范学院大数据实验中心山东师范大学大数据统一平台天津财经大学大数据实训室清华大学西北工业大学中国人民大学中国海洋大学南昌大学北京航空航天大学中山大学华东政法大学河北工业大学广州大学重庆交通大学安徽省农村信用联合社全行统一大数据资源平台人民银行网联邯郸钢铁浙江烟草内蒙古体彩Internal 内参4444行业场景化合作方案的资源库新华三大数据应用商店2.0H3C已包含政府、金融、公安、制造等50+细分行业TOP ISV大数据解决方案实现天津公安、安徽国税等16个重大合作方案市场突破新华三大数据生态合作部积累一年，吸收150+优秀合作方案进入应用商店Internal 内参4545应用商店ISV价值方案应用需求销售项目咨询需求交付需求互补产品场景方案交付能力应用机会客户业务需求将合作伙伴应用方案能力与H3C销售资源的对接平台H3C大数据的应用商店定位Internal 内参4646行业行业方案名称方案名称子目录子目录解决方案简介解决方案简介适用场景及对口客户适用场景及对口客户01 方案一实现部-省-市三级公安资源联动和共享，并符合“管用分离”的现状，同时包含基于公安大数据的战法应用科信的公安资源服务平台02 方案二帮助公安对掌握的各类数据资源进行汇聚整合、标准处理、深度挖掘，快速形成满足公安实战需求的各种应用模型，提供安全可控的信息资源服务。1、用户需要一个统一整合的大数据平台，通过海量数据集中处理，数据分析，从而为行业提供供分析决策；2、原始业务系统建设割裂严重，数据海量，且异构化、多样化和复杂化严重，需要通过数据整合，标准化处理，实现数据共享；3、建立行业内部纵向、横向的信息资源服务体系02 警务云方案-1、提升对警务IT基础设施集约化、一体化的支撑能力 2、构筑跨网打通、融合共享的警务信息集成体系，提高数据治理水平 3、强化大数据技术的融合发展，深化警务信息资源的全网综合开发能力，打造一体化应用新模式 4、打造全方位立体化的警务信息安全保障体系 1、为省级单位、重点地市的公安科信部门提供云计算、大数据综合解决方案，破解警种壁垒、业务条块所产生的海量数据管理难、数据跨网融合难、数据汇集开发难、应用发展成果差等问题；2、为部分地市、区县，提供一种轻质的警务云解决方案，重点破解跨网、跨域资源的共享接入，缓解由数据资源不足、体量不大所带来的应用成效差的问题，让用户不但可以用到异地数据，还能用好异地数据；3、解决重点省级单位大数据技术的发展需要（深化应用、创新实战），一方面提升了信息资源一线实战的服务能力，另一方面提供了全局资源（跨网络、跨警种）的综合开发，最后构建了全网资源的一体化、分布式协作应用模式。03 车辆卡口方案-分析卡口图片中的车脸图像特征。实现对车辆品牌、型号的自动识别。人车大数据分析系统01 方案一基于政务大数据平台，可构建基础数据库、业务主题库、开发相关数据应用系统和大数据示范应用，对政府各类业务系统提供强大的数据支撑。M市大数据平台建梳理全市几十个部门政务信息资源目录，建设了数据交换集成平台、数据共享开放平台，数据治理监控平台、大数据服务门户、大户数据开放门户等大数据平台管理框架，并基于大数据平台构建人口库、法人库、电子证照库、诚信库及应用建设。通过资源目录体系的建设，为该市各部门的业务协同、联合监管、政务服务提供支撑；通过数据汇聚及挖掘，实现多业务场景的数据多维分析和预测，为领导决策提供支撑；此外通过数据开放门户，实现M市多个部门的数据向社会开放。02 方案二充分运用法治思维信息化手段建设政务服网平台，以职权法定、责一致、简政放权便民高效公开透明原则，统筹省市县乡村五级政府十项权力事，规范阳光下运行，打造网上办事政务超市，推动法治政府、廉洁服务建设各省市级政府03 方案三主要包含政务领域内“最多跑一次”方案和政府数据中心四大库和共享交换系统的建设政府、各厅局委办 01 方案一运用互联网技术，整合了各类扶贫动态数据，提高了精准扶贫的工作效率。贫困主体的建档立卡信息搜集、帮扶干部结对管理、各类统计报销的输出打印、帮扶干部扶贫过程的监督管理、脱贫成效的对比。扶贫办02 方案二“精准扶贫大数据业务系统”利用云计算、大数据和移动互联技术，建成省市县乡村五级互联互通的扶贫网络和大数据平台。实现了扶贫对象动态管理、扶贫措施监管落实、数据分析结果应用、扶贫成效分析评估、绩效考核奖惩有据的工作闭环机制。扶贫办03 方案三通过对本辖区内贫困人口的摸底，逐一分析致贫原因，根据不同条件、不同情况具体分析、分类施策，按照“六个精准”的要求想办法，出实招，真见效。扶贫办01 财税大数据解决方案-主要实现财政和税务数据中对 涉税信息进行分析处理、加工，实现纳税欠款信息、纳税信用等级评定等信息指标的多维度分析，要求可按企业类型、时间、税种等指标进行综合分析财政厅、税务局01 方案一汇集了01、02、04三块，一个整合胶片各省市级国、地税信息中心02 方案二支撑多项创新税务智慧应用，并推动税务业务数据分析团队建设与人才培养，为税务系统实现智能化管理和服务提供坚实的大数据支持全国的所有国地税客户，包含总局、省局及市局（地级市，个别县级市，比如广州的佛山、苏州昆山、泉州晋江等经济特别好的）国税客户处室：信息中心、征管科技处、纳税服务处 地税客户处室：信息技术处（信息中心）、征管处（征管科技处）、纳税服务处03 税务（地税）大数据解决方案-全面采集窗口服务、金三系统、网上办税、自助办税机等渠道的办税数据，借助大数据思维和分析技术，理解纳税人的服务需求，预测办税服务的发展趋势，优化办税服务资源配置，提升办税业务能力税务局01 城市综合制堵解决方案-深化交通大数据的综合应用，为治堵管理、决策和评价提供服务1、堵点定位系统 2、堵因分析系统 3、治堵措施建议及评估 4、拥堵预报系统 5、公众服务系统02 城市智慧停车解决方案-根据城区的综合交通情况，针对停车一系列问题，提出静态交通整体解决方案，主要围绕增量建设和存量 经营两大核心内容。智慧停车经03 交通物流大数据方案-针对道路运输管理涉及到的出租车、旅游大巴、长途班线、驾培行业、普通货运及危险品运输的行政执法、审批管理等业务，通过大数据融合的方式进行监督管理。运输管理局、交管局、01 中小学教育服务系统-普教行业大数据解决方案 采集学生考试数据，课后作业和考试数据进行分析统计，出具综合诊断报告和分析报告普教中小学；区、市教委、电教馆02 校园运营大数据解决方案-智慧运营，轻松教育高校、职校03 大数据实验管理平台-大数据实验平台以实验教学为核心，提供丰富、便捷的资源管理和教学管理功能，满足不同层次、不同阶段的大数据实验需求，助力培养具备综合素质的应用型人才。高校、职校04 校情大数据分析平台-务实的高校大数据实施服务商，充分感知、柔性调度、智慧服务、科学决策 高校05 平安校园大数据解决方案-01 方案一建设一个能够连接区域内所有医疗机构、平台系统以及个人终端进行信息集成与交换，实现医疗信息的标准化、结构化，大数据中心管理化。它可帮助政府完成各项有效的监管工作和政策落地执行，帮助医疗机构引导患者建立正确的就医观，亦可以帮助医疗执业者将服务延续到机构外领域，提高医院服务质量与创造收入，又满足患者不用到医院，即可获得医生服务，最终使分级诊疗的战略以更加人性化的方式落地。公众健康管理门户 政府服务 区域互联网医院 基层公共卫生服务02 方案二开创区域医疗新模式，建设县乡村一体化卫生信息平台基层医疗机构、卫计委等03 方案三医疗健康大数据，实现从描述到预测的跨越，通过预测分析来改变患者护理和治疗的面貌医疗机构02 大数据慢性病管理信息系统-大数据慢性病管理信息系统主要实现区域范围内慢性病患者尽早发现、及时登记、有效管理的良性互动。区域医疗机构 基层医疗卫生机构 卫生计生管理部门03 中医药健康大数据解决方案-1、中医药现代文献大数据发现平台：基于现代文献文本挖掘，辅助医生自动总结、发现、比较各种病人的适用疗法等潜在规律知识。2、中医四诊信息客观化采集平台:基于图像模式识别技术，对采集的人脸图片进行中医大数据分析，实现人脸舌色、面色、光泽等中医望诊所需特征的客观化提取，并进一步提供诊断建模功能，帮助中医望诊研究。客户细分：中医、中西医结合方向的科研工作者、团队、机构 1、公有云场景：向学生、医生、科室提供数据挖掘应用、分析科研数据集 2、私有云场景：与医疗数据中心结合，开采大数据黄金 04 临床科研大数据解决方案-通过简单的工具、快捷的数据计算，让更多的医疗人员可以接触数据、感受科研。基于大数据临床科研，快速完成问题验证并生成统计结果，提升科研成果转化效率。医院业务科室主任医生、院长05 食药监大数据解决方案-大数据食药监管平台基于食药监局基础数据与顶层设计，应用大数据、云计算、移动互联网和智能终端等新一代互联网技术，实现数据存储与证据追溯、视频监控与语音对讲、投诉举报与处理、现场直击与应急指挥、日常监管与网格化管理等功能，在提高食品药品监管和社会共治水平的同时，有效提高了食品药品安全水平。食品药品监督局06 医疗质量监控管理平台-长城网科医疗质量监控管理平台，以院内业务数据为基础进行数据分析和应用，包括日常统计学评价指标统计分析、等级评审管理、不良事件上报管理等模块，为医院等级评审提供过程管理和数据支持。目标客户群：三甲医院（三甲复审，日常质量安全管理）二甲升三甲医院（准备创三甲）当前产品版本覆盖的医院类型：综合医院、妇幼医院、大型专科医院、中医院 项目关联部门：质控科、三甲办、病案/统计科、医务科、信息科07 医院大数据方案-融合医院医疗系统数据，实现系统间数据交互共享，利用信息化手段提升医院政务管理、监管及医疗服务水平，辅助解决医院常见的医患热点问题。医院01 公安05 教育03 税务03 税务大数据解决方案01 地市级公安资源服务平台方案01 政务大数据解决方案02 精准扶贫大数据解决方案02 政府04 交通06 医疗01 区域医疗服务平台解决方案应用商店2.0版方案目录，收录联合方案116个Internal 内参4747课程小结教育公安政务应用商店Confidential 秘密4848新华三集团Thanks！