《大数据技术导论课程设计》教学大纲.docx

大数据技术导论课程设计Experiment of Introduction of Big Data Technology一、课程基本情况教学周数：2周学 分：2学分开课学期：第6学期课程性质：选修先修课程：大数据技术导论适用专业：信息工程教材：自编。开课单位：电子与信息工程学院信息工程系二、实验课程的教学目标和任务大数据技术导论课程设计，面向本科生提供了 SPARK大数据开发的实验平台。实验教学 目标是使学生更好地理解课堂上讲授的理论知识，掌握一定的SPARK大数据平台的编程和管 理能力。通过实验教学，增强学生对SPARK大数据平台的认识。加深理解和掌握SPARK大 数据平台相关原理和操作。提高学生对大数据分析和大数据程序设计，并可针对自己面临的 大数据问题找到可行的解决方案。三、实验课程的内容和要求序号工程名称所需 学时内容提要工程要求实验类型必开选开实验一Hadoop配置与WordCount4Hadoop的配置，并分析WordCount代 码，了解数据的输入输出，Map-Reduce 机制以及基本的分布式编程思想验证实验二Spark配置与WordCount4Spark的配置，并分析基于Spark的 WordCount代码，了解数据的输入输出， Spark RDD变换机制7验证实验三数据去重4对数据文件中的数据进行去重，以掌握 数据的输入输出和Spark RDD的变换 与行为。q验证实验四MLib 编程（1）4利用Spark的MLib编写SVM分类算法，并进行实验设计实验五MLib 编程(2)4利用Spark的MLib编写K-means聚类7设计算法，并进行实验实验六Spark综合实验(1)4基于Spark的ALS算法设计并编写一个推荐系统，分析该推荐系统的性能综合实验七Spark综合实验(2)4基于Spark的K-Means算法设计并编写一个网络流量异常检测系统综合实验八Spark综合实验(3)4设计一个Spark大数据图像分类器，基 于Bag of Visual Word算法思想，获得 图像的特征描述，并最终用SVM分类 器进行图像分类综合四、课程考核学生在规定时间内完成操作和实验报告，占总成绩的20%o五、参考书目1、学习 Spark(影印版)东南大学出版社；Holden Karau, Andy Konwinski, Patrick Wendell, Matei Zaharia, 2015 年 8 月 1 日，第 1 版;2、Spark高级数据分析(影印版)东南大学出版社;Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills, 2015 年 9 月 1 日，第 1 版；