大数据核心技术与应用.doc

附件25：高职电子信息大类大数据技术与应用赛项技能竞赛规程、评分原则及选手须知一、竞赛内容赛项名称：大数据技术与应用赛项内容：以大数据技术与应用为核心内容，重点考察参赛选手在Hadoop平台环境下，对于大规模并行数据解决以及内存计算技术应用能力。详细涉及：1. 掌握Hadoop平台环境布置与基本配备，理解基于大数据计算平台常用应用；2综合运用numpy、pandas、matplotlib、scikit 模块和MapReduce技术、分布式存储系统HDFS、分布式计算框架MapReduce/Yarn、数据仓库Hive、Python等开发语言工具和技术，匹配和连接数据源，实现大数据采集，提取、清洗、转换、分析、挖掘操作，产生分析成果，并且实现可视化呈现。3根据项目应用需求和分析成果，完毕数据分析报告编写。二、竞赛方式本赛项为团队赛，每支参赛队由3名参赛选手构成。三、竞赛时量竞赛时间4小时，竞赛持续进行。四、名次拟定办法名次拟定办法原则上按照竞赛总成绩从高分到低分排序确立选手名次。总成绩相似时，完毕时间较短者名次列前；成绩和完毕时间均相似时，操作过程较规范者名次列前。五、评分原则与评分细则1评分原则本赛项总分为100分，采用分项计分制（表1）。表1 考核环节及评分原则考核环节考核知识点和技能点分值Hadoop平台安装布置Hadoop平台安装布置和基本配备。15HDFS惯用操作命令（查询文献类别、上传、删除文献、查询HDFS基本记录信息）。Hadoop集群性能调优。数据抓取规则文献数据和关系型数据库数据抓取以及数据同步（同Hadoop/Hive数据同步）。30掌握Hive数据仓库导入、导出以及同Hadoop数据文献转换，实现Hive数据管理惯用命令。可以通过Python编程，使用streaming和MapReduce机制实现数据抓取。数据清洗、整顿、计算和表达基于MapReduceHDFS文献系统文献数据数据查询、整顿和计算。20结合Hadoop大数据平台有关技术实现对数据分析和呈现。应用Python编程工具，实现给定数据源采集，提取、清洗、转换、分析、挖掘操作，产生分析成果，并且实现可视化呈现。综合分析综合应用数据抓取、清洗、整顿、计算和表达等有关知识及技术，使用Python编程工具，实现对提供数据源分析、呈现，依照呈现成果得出结论，并对结论进行分析，形成分析报告。30团队分工明确合理、操作规范、文明竞赛5共计1002评分细则竞赛成绩评估实行“裁判长合权负责制”，负责组织评分裁判进行成绩评估。评分裁判负责对参赛队伍（选手）比赛作品、比赛体现按赛项评分原则进行评估。成绩评估依照竞赛考核目的、内容对参赛队或选手在竞赛过程中体现和最后成果做出评价。本赛项评分办法为现场评分和成果评分，现场评分为5分，由现场裁判依照参赛队操作规范以及综合体现状况进行评分；成果评分为95分，根据赛项评价原则，对参赛选手提交竞赛成果进行评分。六、赛点提供设施设备仪器清单1竞赛设备涉及硬件环境（表2）和软件环境（表3）。表2 竞赛硬件环境设备类别数量设备用途基本配备服务器1台。内嵌大数据实训管理系统，提供大数据竞赛。PC服务器 客户端每支参赛队伍3台。竞赛选手比赛使用。性能相称于2.0GHZ解决器，4G以上内存，显示屏规定1024*768以上依照参赛团队数量，配备10%备份机器。表3 竞赛软件环境设备类别软件类别软件名称服务端竞赛系统运营操作系统Centos7.0客户端桌面操作系统Windows7虚拟环境Virtualbox 5.1虚拟操作系统Ubuntu 14.04 LTS 大数据平台软件Hadoop 2.7.1开发语言Python2.7.12数据分析工具Pandas 0.9.12Python集成开发环境pycharm-community-.3.2浏览器Chrome/firefox文档编辑器Office 及以上版本2竞赛技术平台比赛技术平台：北京四合天地大数据实训管理系统。学生可以“随时、随处”在一套系统中进行各种类型大数据有关内容训练及比赛，并且可以在线进行操作系统级真机模仿训练测试、充分体验和掌握大数据有关技能。教师（裁判）可以以便组织和安排大数据实训（竞赛），并且可以实时理解学生训练及竞赛状态。训练、竞赛完毕后，教师（裁判）可以查看每位学生测评报告，并且理解各个学生对大数据有关知识点和操作技能掌握状况。3办公物品参赛选手U盘、签字笔；裁判用时钟、计算器、铅笔、钢笔、橡皮、订书机、打印机等其她物品。七、选手须知（一）选手自带工具清单选手不容许携带任何工具。（二）重要技术规程及规定涉及竞赛项目基本原则（表4）和软件开发原则（表5）。表4 竞赛项目基本原则标 准内 容GB/T 11457-信息技术、软件工程术语 GB8566-88计算机软件开发规范GB/T 12991-信息技术数据库语言SQL第1某些：框架0567-T-469信息技术云数据存储和管理第1某些：总则0568-T-469信息技术云数据存储和管理第2某些：基于对象云存储应用接口GB/T 21025-XML使用指南GB/T 9-信息安全技术数据库管理系统安全评估准则已发布GB/T 20273-信息安全技术数据库管理系统安全技术规定0383-T-469信息技术安全技术信息安全管理体系实行指南表5 软件开发原则标 准内 容GB/T 8566 -信息技术 软件生存周期过程 GB/T 15853 -1995软件支持环境 GB/T 14079 -1993软件维护指南GB/T 17544-1998信息技术 软件包 质量规定和测试（三）选手注意事项1参赛选手应严格遵守赛场规章、操作规程和工艺准则，保证人身及设备安全，接受裁判员监督和警示，文明竞赛。2参赛选手应按照规定期间到达赛场，凭身份证（或户口簿）、学生证（或学籍证明），以及统一发放参赛证，完毕入场检录、抽签拟定竞赛工位号，不得迟到和早退。3参赛选手进入赛场前，须将身份证、学生证交由检录人员统一保管，不得带入场内。参赛证始终佩戴，以备检查。4参赛选手凭竞赛工位号进入赛场，不容许携带任何书籍和其她纸质资料，竞赛统一提供草稿纸。不容许携带任何电子设备及通信工具和存储设备（如U盘），竞赛统一提供计算机以及应用软件。5参赛选手应在规定期间段进入赛场，认真核对竞赛工位号，在指定位置就座。6参赛选手入场后，赛场工作人员与参赛选手共同确认操作条件及设备状况，填写有关确认文献，并由参赛队长确认签字（签竞赛工位号）。7参赛选手在收到开赛信息前不得提前启动操作。在竞赛过程中，确因计算机软件或硬件故障，致使操作无法继续，经裁判长确认，予以启用备用计算机。8参赛选手需及时保存工作记录。对于因各种因素导致数据丢失，由参赛选手自行负责。9参赛队所提交答卷采用竞赛工位号进行标记，不得浮现地名、校名、姓名、参赛证编号等信息，否则取消竞赛成绩。10竞赛过程中，因严重操作失误或安全事故不能进行比赛（例如因人为操作因素发生短路导致赛场断电、导致设备不能正常工作），现场裁判员有权中断该队比赛。11参赛期间，选手持续工作，餐饮等由赛场统一提供。午饭不离场，食品、饮水等由赛场统一提供。选手休息、就餐和如厕时间均计算在比赛时间内。12在参赛期间，选手应注意保持工作环境及设备摆放符合公司生产“5S”（即整顿、整顿、清扫、清洁和素养）原则，如果过于脏乱，裁判长有权酌情处置。 13在比赛中如遇非人为因素导致设备故障，经裁判确认后，可向裁判长申请补足排除故障时间。14.参赛队提前结束比赛，应向现场裁判举手示意，由裁判员记录竞赛终结时间。竞赛终结后，不得再进行任何与竞赛关于操作。15竞赛操作结束后，参赛选手需要依照任务书规定，将有关成果文献拷贝至U盘，填写结束比赛有关确认文献，并由现场裁判和参赛队长共同签字确认竞赛有关确认文献及U盘内容（签竞赛工位号）。因参赛选手未能按规定，将相应文档等上传到平台指定位置及U盘，竞赛成绩计为零分。16竞赛时间结束，选手应全体起立，结束操作。将资料和工具整洁摆放在操作平台上，经工作人员清点后可离开赛场，离开赛场时不得带走任何资料。17参赛选手不得因各种因素提前离开赛场。如确因不可抗因素需要离开赛场，须向现场裁判员举手示意，经裁判员允许并完毕记录后，方可离开。18凡在竞赛期间内提前离开选手，不得返回赛场。19在竞赛期间，未经赛项组委会批准，参赛选手不得接受其她单位和个人进行与竞赛内容有关采访。参赛选手不得将竞赛有关信息擅自发布。20符合下列情形之一参赛选手，经裁判组裁定后中断其竞赛:（1）不服从裁判员/监考员管理、扰乱赛场秩序、干扰其她参赛选手比赛，裁判员应提出警告，二次警告后无效，或情节特别严重，导致竞赛中断，经裁判长确认，中断比赛，并取消竞赛资格和竞赛成绩。（2）竞赛过程中，由于选手人为导致计算机、仪器设备及工具等严重损坏，负责补偿其损失，并由裁判长裁定其竞赛结束与否、与否保存竞赛资格、与否合计其有效竞赛成绩。（3）竞赛过程中，产生重大安全事故、或有产生重大安全事故隐患，经裁判员提示没有采用办法，裁判员可暂停其竞赛，由裁判长裁定其竞赛结束，保存竞赛资格和有效竞赛成绩。