《大数据技术导论课程设计》教学大纲.docx

大数据技术导论课程设计
Experiment of Introduction of Big Data Technology
一、课程基本情况教学周数：2周
学 分：2学分开课学期：第6学期
课程性质：选修先修课程：大数据技术导论
适用专业：信息工程教材：自编。
开课单位：电子与信息工程学院信息工程系二、实验课程的教学目标和任务
大数据技术导论课程设计，面向本科生提供了 SPARK大数据开发的实验平台。实验教学 目标是使学生更好地理解课堂上讲授的理论知识，掌握一定的SPARK大数据平台的编程和管 理能力。通过实验教学，增强学生对SPARK大数据平台的认识。加深理解和掌握SPARK大 数据平台相关原理和操作。提高学生对大数据分析和大数据程序设计，并可针对自己面临的 大数据问题找到可行的解决方案。
三、实验课程的内容和要求
序号
工程名称
所需 学时
内容提要
工程要求
实验类型
必开
选开

实验一
Hadoop配置与
WordCount
4
Hadoop的配置，并分析WordCount代 码，了解数据的输入输出，Map-Reduce 机制以及基本的分布式编程思想

验证
实验二
Spark配置与
WordCount
4
Spark的配置，并分析基于Spark的 WordCount代码，了解数据的输入输出， Spark RDD变换机制
7

验证
实验三
数据去重
4
对数据文件中的数据进行去重，以掌握 数据的输入输出和Spark RDD的变换 与行为。
q

验证
实验四
MLib 编程（1）
4
利用Spark的MLib编写SVM分类算
法，并进行实验

设计
实验五
MLib 编程(2)
4
利用Spark的MLib编写K-means聚类

7
设计

算法，并进行实验

实验六
Spark综合实验
(1)
4
基于Spark的ALS算法设计并编写一个
推荐系统，分析该推荐系统的性能

综合
实验七
Spark综合实验
(2)
4
基于Spark的K-Means算法设计并编写
一个网络流量异常检测系统

综合
实验八
Spark综合实验
(3)
4
设计一个Spark大数据图像分类器，基 于Bag of Visual Word算法思想，获得 图像的特征描述，并最终用SVM分类 器进行图像分类

综合
四、课程考核
学生在规定时间内完成操作和实验报告，占总成绩的20%o五、参考书目
1、《学习 Spark(影印版)》东南大学出版社；Holden Karau, Andy Konwinski, Patrick Wendell, Matei Zaharia, 2015 年 8 月 1 日，第 1 版;2、《Spark高级数据分析(影印版)》东南大学出版社;Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills, 2015 年 9 月 1 日，第 1 版；