1、
2025年高职(大数据技术)数据清洗实务综合测试题
(考试时间:90分钟 满分100分)
班级______ 姓名______
第 I 卷(选择题 共30分)
本卷共10小题,每小题3分。在每小题给出的四个选项中,只有一项是符合题目要求的。
1. 以下哪种数据类型不属于大数据技术中常见需要清洗的类型?
A. 缺失值较多的数据
B. 格式不统一的数据
C. 完全正确的数据
D. 重复的数据
2. 对于数据清洗中的数据标准化处理,以下说法正确的是?
A. 只能对数值型数据进行标准化
B. 标准化会改变数据的实际含义
C. 标准化是为了让不同来
2、源的数据具有可比性
D. 标准化就是将数据都变为0和1
3. 在清洗文本数据时,去除多余空格属于哪种操作?
A. 数据转换
B. 数据清理
C. 数据集成
D. 数据归约
4. 当数据中存在噪声数据时,通常采用的处理方法不包括?
A. 均值填充
B. 聚类分析
C. 回归分析
D. 直接删除
5. 对于日期格式的数据清洗,主要目的不包括?
A. 确保日期格式统一
B. 检查日期的合理性
C. 将日期转换为字符串
D. 处理无效日期
6. 数据清洗过程中,识别重复记录主要依靠?
A. 数据的排列顺序
B. 数据的数值大小
C. 数据的特征组合
D. 数据
3、的来源
7. 以下哪种情况不属于数据清洗中需要处理的异常值?
A. 明显偏离其他数据的极大值
B. 与其他数据接近的数值
C. 明显偏离其他数据的极小值
D. 不符合业务逻辑的数值
8. 在清洗数据时,对于错误的编码数据,应采取的措施是?
A. 直接删除
B. 重新编码
C. 忽略不管
D. 随机修改
9. 数据清洗的第一步通常是?
A. 数据集成
B. 数据探索
C. 数据转换
D. 数据清理
10. 对于大数据量的数据清洗,以下哪种方式效率较低?
A. 分布式处理
B. 并行计算
C. 在单机上逐行处理
D. 利用专门的数据清洗工具
第 II
4、 卷(非选择题 共70分)
11. (10分)简述数据清洗的主要步骤及其目的。
12. (15分)在清洗数值型数据时,遇到缺失值和异常值分别有哪些常见的处理方法?
13. (15分)假设你拿到一批包含用户信息的数据,其中有部分用户的出生日期格式不统一,如“1990.10.05”、“1990/10/05”、“1990 - 10 - 05”等,且存在一些无效日期如“2050 - 15 - 20”。请描述你会如何进行日期格式的清洗和无效日期的处理。
14. (15分)材料:有一份电商销售数据,包含订单号、商品名称、购买时间、购买金额等字段。其中部分商品名称存在乱码,购买时间格式不
5、一致,购买金额有个别数据明显异常。
问题:针对这份材料中的数据问题,分别阐述你会采取哪些清洗措施。
15. (15分)材料:某公司的员工信息表,包含员工编号、姓名、性别、入职时间(格式不统一)、部门等信息。发现有部分员工姓名存在错别字,入职时间格式混乱,如“2023.5.1”、“2023/5/1”、“2023 - 5 - 1”等,还有一些入职时间明显不合理,如“2050 - 10 - 15”。
问题:请说明如何对这份员工信息表进行清洗,以提高数据质量。
答案:
1. C
2. C
3. B
4. A
5. C
6. C
7. B
8. B
9. B
10.
6、C
11. 数据清洗主要步骤及目的:首先是数据探索,了解数据的结构、类型、分布等,为后续清洗提供依据;然后进行数据清理,去除噪声数据、重复数据等;接着是数据转换,如标准化、编码转换等,使数据具有一致性和可比性;最后是数据验证,确保清洗后的数据符合业务要求。
12. 缺失值处理方法:均值填充,用该列数据的平均值填充缺失值;中位数填充,用中位数填充;使用固定值填充;利用回归分析等方法预测填充。异常值处理方法:基于统计分析方法,如设置合理的上下限,超出范围视为异常值;采用聚类分析,远离聚类中心的视为异常值;直接删除异常值,但可能损失数据信息。
13. 对于日期格式清洗,首先统一格式为“YYYY
7、 - MM - DD”。遍历数据,使用正则表达式等方法识别不同格式的日期并进行转换。对于无效日期,可以根据业务规则进行处理,如将明显不合理的日期(如月份大于12或日期大于该月最大天数)替换为缺失值或特定的无效标识。
14. 对于商品名称乱码,尝试使用字符编码转换工具,如UTF - 8等,看能否正确显示。若不行,根据乱码特征推测可能的编码方式进行转换。对于购买时间格式不一致,统一为标准格式,如“YYYY - MM - DD HH:MM:SS”。对于购买金额异常数据,通过统计分析,如计算均值、标准差,设置合理阈值来判断异常,可使用均值填充或删除异常值。
15. 对于员工姓名错别字,可通过人工核对或使用词库匹配等方式进行修正。对于入职时间格式混乱,统一为“YYYY - MM - DD”格式。对于不合理的入职时间,按照业务规则进行处理,如替换为缺失值或特定的无效标识。最后进行数据验证,确保数据准确无误且符合公司对于员工信息管理的要求。