《大数据分析》课程教学大纲.docx

《大数据分析》课程教学大纲
课程英文名称：Survey Programming课程编号：HZ190650
课程类别：个性化培养平台课程性质：选修课
学分：2学时：32 （其中：讲课学时：32实验学时：0上机学时：0）
适用专业：测绘工程开课部门：环境与资源学院测绘与地理信息工程系
先修课程：空间数据库基础、数据结构与算法（C语言）、网络编程技术基础B、大学计算机A、程序设计基础（C语言）
后续课程：测绘工程专业毕业设计（论文）等一、课程目标
通过本课程的学习，使学生具备以下知识和能力：
1 .能够将数学、自然科学与工程科学的基本理论运用相联系，运用大数据的 相关理论和工具处理和分析复杂测绘工程存在的问题。
2 .在设计开发的过程中，结合工程管理与经济决策方法，将大数据的相关处 理方法正确应用在测绘实践工程管理中。
二、课程目标与毕业要求的对应关系
课程目标
指标点
毕业要求
课程目标1
2.1能够将数学、自然科学与工程科 学的基本理论运用到识别、分析复杂 测绘工程存在的问题；
2.问题分析：能够应用数学、自然科学和工程科学的基本原理 与方法，识别、表达、分析复杂测绘工程问题，并通过文献研 究寻求其解决方案，以获得有效结论。
课程目标2
11.2具有工程经理应具备的规划、组 织、协调及管理等基础素质，能在多 学科环境下，在设计开发的过程中， 运用工程管理与经济决策方法；
11.工程管理：掌握测绘工程管理知识与决策方法，并将其在 多学科环境中正确应用在测绘实践工程管理中
三、课程目标与教学内容和教学方法的对应关系
单
元
大数据分析
教学内容
教学方法
课程目标
教学环节
训练环节
1
大数据的基本理论
授课4学时

课程目标1
2
爬虫知识概述
授课8学时
作业1:安装python3,熟悉开发环境
课程目标1
3
数据库设计原理与 基本方法
授课4学时
作业2：创立数据库、创立数据表并往 表中插入记录
课程目标1
4
数据可视化的概念 与工具
授课6学时
作业3：练习绘制各种绘制图形
课程目标2
5
数据存储的基本概 念
授课2学时

课程目标2
6
数据清洗
授课2学时
作业4:使用Excle进行数据有效性分 析
课程目标2
7
数据格式与编码技 术
授课6学时

课程目标2
、课程的主要内容及基本要求
Ui
（一）理论教学局部第一单元大数据（4学时，支撑课程目标1）
［知识点］大数据的定义、大数据的原理、大数据的开展历程、大数据的特征、大数据的战 略意义、大数据的产业链 ［重点］
大数据的特征、大数据的战略意义 ［难点］大数据的特征、大数据的战略意义
［基本要求］1、识记：大数据的定义、大数据的原理、大数据的特征
2、领会：大数据的开展历程、大数据的战略意义、大数据的产业链第二单元爬虫与大数据（8学时，支撑课程目标1）
［知识点］爬虫的基本概念、爬虫的作用、爬虫的运行机制、Python3的安装与开发环境、
Python3的各种数据类型及各种数据类型的相互转换、网页结构、爬虫的运行原 理、爬虫的实现方法、Python3中的爬虫模块［重点］
爬虫的原理、Python3的安装与开发环境、熟练书写并运行Python3程序、熟练 书写并运行Python3程序、各种数据类型的掌握及相互转换、urllib模块的应用、 Requests的应用、网页结构
［难点］
爬虫的原理、Python3的安装与开发环境、熟练书写并运行Python3程序、熟练 书写并运行Python3程序、各种数据类型的掌握及相互转换、urllib模块的应用、 Requests的应用、网页结构
［基本要求］
1、识记：爬虫的基本概念、爬虫的作用、各种数据类型及各种数据类型的相互 转换、网页结构
2、领会：Python3的书写风格、爬虫的运行原理3、简单应用：书写并运行Python3、安装Requests库
4、综合应用：使用Requests爬取网页内容第三单元数据库连接与查询（4学时，支撑课程目标1）
［知识点］
数据库模型、MySql的安装、MySql的基本操作、Python中连接MySql数据库 的基本原理及方法。
［重点］MySql的基本操作、Python中连接与操作MySql数据库的基本方法
［难点］MySql的基本操作、Python中连接与操作MySql数据库的基本方法
［基本要求］1、识记：数据库模型
2、领会：MySql数据库的基本操作3、简单应用：创立数据库、创立数据表并往表中插入记录
4、综合应用：新建数据库，并建立数据表，使用Python进行数据库管理第四单元数据可视化基础与应用（6学时，支撑课程目标2）
［知识点］
数据可视化的概念、数据可视化的开展、数据可视化的方法与应用、数据可视化 的图表、numpy基础、matplotlib库的导入、matplotlib库可视化方法及可视化实 现、使用precharts绘制图形［重点］
数据可视化的方法、数据可视化的应用、numpy中的数学基础、matplotlib库的 实现、数据可视化的应用、使用precharts绘制图形
［难点］
数据可视化的方法、数据可视化的应用、numpy中的数学基础、matplotlib库的 实现、matplotlib库的可视化方法、使用precharts绘制图形
［基本要求］1＞识记：数据可视化的方法、numpy中的数学基础
2、领会：数据可视化的应用、数据可视化的应用3、简单应用：使用matplotlib库各种图形、使用precharts绘制图形
4、综合应用：练习绘制各种绘制图形第五单元大数据存储与清洗（4学时，支撑课程目标2）
［知识点］
数据存储的类型、数据存储的方式、数据存储的核心技术、数据清洗的基本概念、 数据清洗的主要工具、数据标准化技术与实现［重点］
数据存储的方式与核心技术、数据清洗的工具［难点］
数据存储的方式与核心技术、数据清洗的工具［基本要求］
1、识记：数据存储的类型、数据存储的方式、数据存储的核心技术。
2、领会：数据存储
3、简单应用：下载并安装OpenRefine与Kettle4、综合应用：使用Excle进行数据有效性分析，并清除重复的数据
第六单元数据格式与编码技术（6学时，支撑课程目标2）［知识点］
文件格式、数据类型、字符编码、Kettle的工作流程与应用、数据抽取的定义、 数据抽取的方法、数据抽取的工具、pandas数据分析与清洗
［重点］字符编码、Kettle的各种用法、Kettle数据抽取方法、pandas数据分析
［难点］字符编码、Kettle的各种用法、Kettle数据抽取方法、pandas数据分析
［基本要求］1、识记：文件格式、数据类型、字符编码
2、领会：数据抽取的定义、数据抽取的方法3、简单应用：字符编码的各种用法
4、综合应用：Kettle数据清洗与转换的用法［学时分配］
知识单元
理论学时
第一单元大数据
大数据概述、大数据的意义、大数据的产业链分析
4
第二单元爬虫与大数据
爬虫概述、python介绍、爬虫的相关知识、利用爬虫抓取网页内容
8
第三单元数据库连接与查询
数据库、MySQL数据库、使用Python操作MySQL数据库
4
第四单元数据可视化基础与应用
数据可视化、matp loti ib可视化基础、pyecharts可视化应用
6
第五单元大数据存储与清洗
大数据存储、数据清洗、数据标准化
4
第六单元数据格式与编码技术
文件格式、数据类型与编码、数据清洗与转换工具的使用
6
合 计
32
五、教学方法与手段
本课程是一门技术含量高、实践环节较强的专业选修课，因此授课过程中要 求精讲多练，打好基础，加强实践，重在培养学生的空间想象力及实际动手能力， 建议授课以多媒体为主，辅之以程序演示、课后作业等，理论与案例相结合的手 段进行教学。
六、考核要求、方式与成绩评定考核要求：需覆盖大纲中各知识单元全部教学内容，理解讲授内容，掌握基 本内容，能够独立或合作完成每次作业。
考核形式：考查成绩评定：课程考核选择百分制模式，课题报告与平时作业相结合。课程考 核总评成绩由两局部构成，具体计算为总评成绩课题报告x50%+作业训练成绩x
50% o

评价环节
评估课程目标
对应毕业要求
平时成绩（100分）
作业1
课程目标1
2.1 （20 分）
作业2
课程目标1
2. 1 （20 分）
作业3
课程目标2
11.2 （40 分）
作业4
课程目标2
11.2 （40 分）
课题报告（100分）
课题报告
课程目标1、2、
2. 1、11.2
平时成绩由提交作业成果与作业说明文档的评定，作业会随教学进度屡次上 交评分，每次评分在作业总成绩中所占比重由授课教师根据作业量和难度确定， 评分参考标准如下表：
作业成绩评定标准七、选用教材、讲义和主要参考书
考核内容
90-100 分
75-89 分
60-74 分
低于60分
按时提交作业 （权重0.1）
按时完成并提交。
按时提交，但作业提 交不全。
补交作业，作业齐全。
补交作业，且作 业资料不齐
成果质量
（权重0.5）
程序编写完成，运 行结果正确，界面 美观，代码冗余低， 人机交互友好，有 创新。
程序编写完成，运行 结果正确，代码少量 冗余。
程序编写完成，正常 运行，代码冗余明显。
程序编写未完 成，无法正常运 行，代码冗余明 显。
作业说明文档 （权重0.4）
文档思路清晰，结 构合理，表述完整， 实事求是，有思考， 有特色。
文档思路清晰，表述 完整，有思考，实事 求是。
文档表述完整，思路 较乱，无问题思考， 有少量抄袭现象。
文档思路不清， 表述不完整，抄 袭明显。
1 .建议教材
《大数据分析：Python爬虫、数据清洗和数据可视化》，黄源等，清华大学出版 社，2019年12月.推荐参考书
《大数据技术原理与应用》，林子雨，人民邮电出版社，2017年1月《大数据编程技术、实验和案例教程》，林子雨，清华大学出版社，2017年7月
《大数据实训案例——电信用户行为分析》，林子雨，人民邮电出版社，2019年 5月八、大纲说明
该大纲根据2019版测绘工程专业培养方案制定。