大数据处理如何培养学生的能力.doc

大数据处理教学大纲（软件学院）课程代码 课程名称大数据处理Big Data Processing课程性质大数据处理是软件工程专业的专业选修课，采用研讨和双语的教学方式学分/学时2学分 / 48学时，其中：授课24学时，讨论24学时开课学期三（2）开课单位软件学院适用专业软件工程教学语言演示文稿采用英文，讲解和讨论用中文先修课程程序设计语言，算法设计后续课程无教材及参考书在课程过程中指定阅读相关文献、教学PPT课程简介目前，我们所面对的一个严重挑战，是如何有效地处理规模越来越大、来势越来越猛的“数据海啸”，又称“大数据”（Big Data）。这样的数据借助互联网的快速传递无所不在：从各种科学研究基地，到重多政府机构，还有各大商业企业公司。举世界上最大社会网Facebook（脸谱）为例，现在每天有超过70 Terabytes (x1012 Bytes) 经过压缩后的新数据需要存储，管理和分析。这个数据规模还在增加。主流的商业和开源数据库系统，包括并行数据库系统，在规模上、性能上、和费用上无法对付日益增大的海量数据了。大数据时代的到来不可阻挡。这主要是由于数据存贮在空间和时间上已发生了本质的变化。在空间上，数据可以在廉价的磁盘上通过网络系统的支持无限的存放。在时间上，先进的存贮和搜索技术使访问数据的延迟大大降低了。大数据为人类社会的各行各业带来了一次以数据为基础的探索、发现和创新的机遇。大数据处理有以下几个特点：（1）处理的平台一定是大规模和可扩展的分布式系统；（2）处理数据的软件构架是MapReduce 为基础的。（3）需要各种有效的存储技术和调度算法的支持。 本研讨课程针对大数据应用背景，介绍典型的大数据处理流程和算法，以及存储、查询、安全等方面的技术讨论。考核方式采用期末报告+期中报告+平时成绩的考核方式，三者分别最终成绩的占50%、40%和10%。实验教学无专业培养能力1 具有较好的人文社会科学素养、较强的社会责任感和良好的工程职业道德；2 掌握扎实的工程基础知识和计算机专业的基本理论知识，了解软件工程技术专业的前沿发展现状和趋势；3 具有较强的计算思维能力、算法设计与分析能力、程序设计能力、计算机应用系统的认知、分析、设计和应用的能力；4 掌握文献检索、资料查询及运用现代信息技术获取相关信息的基本方法；5 具有一定的组织管理能力、较强的表达能力和人际交往能力以及在团队中发挥作用的能力；6 具有适应发展的能力以及对终身学习的正确认识和学习能力；具有国际视野和跨文化的交流、竞争与合作能力。课程培养学生的能力1、 介绍分布式算法的特点、典型的分布式算法、Map/Reduce方法、频繁项计算等方法，使得学生掌握基本的分布计算处理方法，了解前沿技术和发展趋势；（能力2、4和6）2、 讨论分布计算系统的安全性问题以及典型的数据管理问题，涉及安全、伦理和管理等领域的知识；（能力1、4）3、 讨论课的内容需要学生在自行查阅相关文献的基础上，形成书面报告，并在讨论过程中，借助PPT，展示给大家；（能力4、5、6）4、 讨论内容之一是由学生运用学习到的方法，对自己感兴趣的对象进行分析，需要在计算机系统上实现并演示；（能力2、3、4）无论在授课过程中，还是在讨论过程中，学生需要事先准备提问问题，教师有意识地引导学生讨论（能力4、5、6）。教学内容与学时分配第一次（3学时）：Introduction/Map-Reduce，概述分布计算系统、主要组成和新技术，介绍Map/Reduce方法。使得学生对分布计算领域有初步的了解。第二次（3学时）：Map/Reduce。介绍该方法的实际应用案例，分析常用的设计方法和基本技巧。使得学生能够设计简单的基于Map/Reduce方法的系统。第三次（3学时）：Finding Similar Sets。介绍典型及常用的相似度的基本算法，使得学生基本掌握比较给定数据集的相似度方法。第四次（3学时）：Finding Similar Sets。进一步介绍不同的相似度定义、计算方法和适用范围，拓展学生对相似度概念的认识。第五次-第八次（12学时）：在指定范围内选题，每名学生报告25分钟，并提交期中报告。第九次（3学时）：Burst/Page Rank。介绍分布计算中的不确定性问题，以及该问题如何影响计算结果。介绍Page Rank算法。第十次（3学时）：Page Rank。介绍Page Rank的优化算法。使得学生了解和初步掌握网页排序方法以及影响排序结果的因素。第十一次（3学时）：Frequent Item Sets。介绍购物篮等典型算法。第十二次-第十六次（12学时）：Black Swan/Uncertainty。进一步介绍不确定性问题，并介绍相关的解决方案。使得学生在了解不确定问题的基础上，在解决实际问题时，能够考虑和在一定程度上解决问题。教学方法课程采用授课和讨论相间进行的方式。在授课过程中，突出新技术和新方法的特点，引导学生了解和掌握新知识。在讨论过程中，第一次采用指定题目的方式，使得学生在自行查阅课外文献的基础上，了解技术与应用之间的关系，提升学习积极性；第二次则采用学生申报题目，再由教师确认的方式，使得学生能够运用所学到的知识，动手实现一段程序，加深对知识的掌握。培养学生分析问题和解决问题的能力，以及组织、表达和书面文字能力。制定人及发布时间