2021年江苏省高等职业院校技能大赛大数据技术与应用赛项竞赛规程.docx

江苏省高等职业院校技能大赛
大数据技术与应用赛项竞赛规程

一、赛项名称
大数据技术与应用
二、竞赛目
本赛项设立，是为适应大数据开发应用产业对高素质技术技能型人才职业需求，赛项选用典型大数据应用业务分析应用场景，重点检查参赛选手掌握大数据业务分析办法和数据分析能力、运用大数据平台及有关工具软件解决详细业务问题能力，激发学生对大数据知识和技术学习兴趣，提高学生职业素养和职业技能，展示职教改革成果及参赛师生良好精神风貌。
通过举办本赛项，可以搭建校企合伙平台，提高高职电子信息类及有关专业毕业生能力素质，满足公司用人需求，增进校企合伙协同育人，对接产业发展，实现行业资源、公司资源与教学资源有机融合，使高职院校在专业建设、课程建设、人才培养方案和人才培养模式等方面，跟踪社会发展最新需要，缩小人才培养与行业需求差距，引领职业院校专业建设与课程改革。
三、竞赛内容
赛项以大数据技术与应用为核心内容和工作基本，重点考察参赛选手在Hadoop平台环境下，对于大规模并行数据解决以及内存计算技术应用能力。详细涉及：
1. 掌握Hadoop平台环境布置与基本配备，理解基于大数据计算平台常用应用；
2.综合运用numpy、pandas、matplotlib、scikit 模块和MapReduce技术、分布式存储系统HDFS、分布式计算框架MapReduce/Yarn、数据仓库Hive、Python等开发语言工具和技术，匹配和连接数据源，实现大数据采集，提取、清洗、转换、分析、挖掘操作，产生分析成果，并且实现可视化呈现。
3.根据项目应用需求和分析成果，完毕数据分析报告编写。
4.竞赛时间4小时，竞赛持续进行。
竞赛内容构成如下：
考核环节
考核知识点和技能点
Hadoop平台
安装布置
Hadoop平台安装布置和基本配备。
HDFS惯用操作命令（查询文献类别、上传、删除文献、查询HDFS基本记录信息）。
Hadoop集群性能调优。
数据抓取
规则文献数据和关系型数据库数据抓取以及数据同步（同Hadoop/Hive数据同步）。
掌握Hive数据仓库导入、导出以及同Hadoop数据文献转换，实现Hive数据管理惯用命令。
可以通过Python编程，使用streaming和MapReduce机制实现数据抓取。
数据清洗、整顿、计算和表达
基于MapReduceHDFS文献系统文献数据数据查询、整顿和计算。
结合Hadoop大数据平台有关技术实现对数据分析和呈现。
应用Python编程工具，实现给定数据源采集，提取、清洗、转换、分析、挖掘操作，产生分析成果，并且实现可视化呈现。
综合分析
综合应用数据抓取、清洗、整顿、计算和表达等有关知识及技术，使用Python编程工具，实现对提供数据源分析、呈现，依照呈现成果得出结论并对结论进行分析，形成分析报告。
竞赛各阶段分值权重和时间分布如下：
序号
竞赛时间
分值权重
Hadoop平台安装布置
240分钟
权重15%
数据抓取
权重30%
数据清洗、整顿、计算和表达
权重20%
综合分析
权重30%
团队分工明确合理、操作规范、文明竞赛
权重5%
四、竞赛方式
本赛项为团队赛。每支参赛队由1名领队，3名选手（其中队长1名），2名指引教师构成。
五、竞赛规则
（一）竞赛工位通过抽签决定。
（二）竞赛所需硬件设备、系统软件和辅助工具由赛项组委会统一准备，参赛选手不得自带硬件设备、软件、移动存储、辅助工具、移动通信等进入竞赛现场
（三）参赛队自行决定选手分工、工作程序和时间安排。
（四）所有参赛选手都必要携带参赛证件进行检录。参赛证件不包括身份证和学生证。
（五）参赛队在赛前10分钟进入竞赛工位并领取竞赛任务，竞赛正式开始后方可展开有关工作。参赛选手迟到超过竞赛时间一半不得入场。
（六）竞赛过程中，选手须严格遵守操作规程，保证人身及设备安全，并接受裁判员监督和警示。如遇到设备或软件等故障，参赛选手应当举手示意；现场裁判应及时予以解决。如确因计算机软件或硬件故障，致使操作无法继续，由现场裁判协同技术支持人员共同解决。
（七）若因选手因素导致设备故障或损坏，无法继续竞赛，由现场裁判报告裁判长。裁判长有权决定中断该队竞赛；若因非参赛选手个人因素导致设备故障，由裁判长视详细状况做出裁决。
（八）竞赛结束或提前完毕后，参赛队要确认已成功提交所有竞赛文档，由参赛队队长签字（签工位号）确认，参赛队在确认后不得再进行任何操作。
（九）竞赛结束或提前完毕后，参赛队要确认已成功提交所有竞赛文档，由参赛队队长签字（签工位号）确认，参赛队在确认后不得再进行任何操作，经现场裁判确认后方可离开赛场
（十）成绩评估评分办法分为现场评分和成果评分，经裁判长、监督人员签字确认后予以发布。
（十一）竞赛过程不安排现场观摩。
（十二）其他未尽事宜，将在赛前向各领队做详细阐明。
七、竞赛环境
1.竞赛场地。竞赛场地分为竞赛现场、裁判员休息区、指引教师休息区、服务区。其中，竞赛现场又划分为：检录区、场内竞赛区、技术支持区。以上区域应保证良好采光、照明和通风；
2.竞赛设备。场内竞赛区按照参赛队数量准备比赛所需软硬件平台，为参赛队提供统一竞赛设备和备用设备。选手无需自带任何工具及附件。
3.竞赛工位。竞赛现场各个工作区配备单相220V/3A以上交流电源。每个比赛工位上标明编号。
4.技术支持区。为技术支持人员提供固定工位、电源保障。
5.服务区。提供医疗等服务保障。
6.竞赛场地应符合消防安全规定，应急照明设施状态合格，赛场明显位置张贴紧急疏散图，赛场出入口专人负责。现场暂时用电满足《施工现场暂时用电安全技术规范》JGJ46-规定。
八、技术规范
竞赛项目基本原则（见表2）和软件开发原则（见表3）如下：
（一）基本原则
标 准
内 容
GB/T 11457-
信息技术、软件工程术语
GB8566-88
计算机软件开发规范
GB/T 12991-
信息技术数据库语言SQL第1某些：框架
0567-T-469
信息技术云数据存储和管理第1某些：总则
0568-T-469
信息技术云数据存储和管理第2某些：基于对象云存储应用接口
GB/T 21025-
XML使用指南
GB/T 9-
信息安全技术数据库管理系统安全评估准则 已发布
GB/T 20273-
信息安全技术数据库管理系统安全技术规定
0383-T-469
信息技术安全技术信息安全管理体系实行指南
（二）软件开发原则
标 准
内 容
GB/T 8566 -
信息技术 软件生存周期过程
GB/T 15853 -1995
软件支持环境
GB/T 14079 -1993
软件维护指南
GB/T 17544-1998
信息技术 软件包 质量规定和测试
九、技术平台
（一）竞赛设备
设备类别
数量
设备用途
基本配备
服务器
1台。
内嵌大数据实训管理系统，提供大数据竞赛。
PC服务器
客户端
每支参赛队伍3台。
竞赛选手比赛使用
性能相称于2.0GHZ解决器，4G以上内存，显示屏规定1024*768以上
依照参赛团队数量，配备10%备份机器。
（二）软件环境
设备类别
软件类别
软件名称
服务端
竞赛系统运营操作系统
Centos7.0
客户端
桌面操作系统
Windows7
虚拟环境
Virtualbox 5.1
虚拟操作系统
Ubuntu 14.04 LTS
大数据平台软件
Hadoop 2.7.1
开发语言
Python2.7.12
数据分析工具
Pandas 0.9.12
Python集成开发环境
pycharm-community-.3.2
浏览器
Chrome/firefox
文档编辑器
Office 及以上版本
（三）竞赛技术平台
比赛技术平台：《北京四合天地大数据实训管理系统》。
十、成绩评估
评分原则
考核环节
考核知识点和技能点
分值
Hadoop平台安装布置
Hadoop平台安装布置和基本配备。
15
HDFS惯用操作命令（查询文献类别、上传、删除文献、查询HDFS基本记录信息）。
Hadoop集群性能调优。
数据抓取
规则文献数据和关系型数据库数据抓取以及数据同步（同Hadoop/Hive数据同步）。
30
掌握Hive数据仓库导入、导出以及同Hadoop数据文献转换，实现Hive数据管理惯用命令。
可以通过Python编程，使用streaming和MapReduce机制实现数据抓取。
数据清洗、整顿、计算和表达
基于MapReduceHDFS文献系统文献数据数据查询、整顿和计算。
20
结合Hadoop大数据平台有关技术实现对数据分析和呈现。
应用Python编程工具，实现给定数据源采集，提取、清洗、转换、分析、挖掘操作，产生分析成果，并且实现可视化呈现。
综合分析
综合应用数据抓取、清洗、整顿、计算和表达等有关知识及技术，使用Python编程工具，实现对提供数据源分析、呈现，依照呈现成果得出结论，并对结论进行分析，形成分析报告。
30
团队分工明确合理、操作规范、文明竞赛
5
（二）评分方式
1． 竞赛成绩评估实行“裁判长负责制”，负责组织评分裁判进行成绩评估。
2． 评分裁判：负责对参赛队伍（选手）比赛作品、比赛体现按赛项评分原则进行评估。
3． 成绩评估是依照竞赛考核目的、内容对参赛队或选手在竞赛过程中体现和最后成果做出评价。本赛项评分办法为现场评分和成果评分，现场评分：现场裁判依照参赛队操作规范以及综合体现状况进行评分；成果评分：根据赛项评价原则，对参赛选手提交竞赛成果进行评分。
所有评分表、成绩汇总表备案以供核查，最后成绩由裁判长进行审核确认并上报赛项组委会。
4． 成绩发布办法
竞赛成绩经复核无误后，经裁判长审核签字后发布。
十一、申诉与仲裁
（一）申诉
1.参赛队对不符合竞赛规定设备、工具、软件，有失公正评判、奖励，以及对工作人员违规行为等，均可提出申诉。
2.申诉应在竞赛结束后1小时内提出，超过时效不予受理。申诉时，应按照规定程序由参赛队领队向赛项仲裁工作组递交书面申诉报告。报告应对申诉事件现象、发生时间、涉及到人员、申诉根据与理由等进行充分、实事求是论述。事实根据不充分、仅凭主观臆断申诉将不予受理。申诉报告须有申诉参赛选手、领队签名。
3.赛项仲裁工作组收到申诉报告后，应依照申诉事由进行审查，3小时内书面告知申诉方，告知申诉解决成果。
4.申诉人不得采用过激行为刁难、袭击工作人员，否则视为放弃申诉。
（二）仲裁
赛项设仲裁工作组接受由代表队领队提出对裁判成果等方面问题申诉。赛项仲裁工作组在接到申诉后2小时内组织复议，并及时反馈复议成果。仲裁工作组仲裁成果为最后成果。