《大数据平台搭建与配置管理》期中试题试卷及答案.docx

大数据平台搭建与配置管理大数据平台搭建与配置管理期中试题期中试题（闭卷A）题 号一二三四五六七八九十成绩满 分30202030100得 分【本套试卷共有4大题，计66小题】一、选择题（20题，每题1.5分，共30分）1、Client端上传文件的时候下列正确的是（）。A. 数据经过NameNode传给DataNodeB.Client只上传数据到一台DataNodeC. Client端将文件切分为Block，依次上传D.NameNode负责Block复制工作2、HDFS的NameNode负责管理文件系统的命名空间，将所有的文件和文件夹的元数据保存在一个文件系统树中，这些信息也会在硬盘上保存成一下文件（）。A. 日志B. 命名空间镜像C. 两者都是D.以上都不是3、MapReduce框架提供了一种序列化键/值对的方法，支持这种序列化的类能够在Map和Reduce过程中充当键或值，以下说法错误的是？（）A. 实现Writable接口的类是值B. 实现WritableComparable接口的类可以是值或键C. Hadoop的基本类型Text并不实现WritableComparable接口D. 键和值的数据类型可以超出Hadoop自身支持的基本类型4、对MapReduce的体系结构，以下说法不正确的是（）A. 分布式编程架构B. 以数据为中心，更看重吞吐率C. 分而治之的思想D. 将一个任务合并成多个子任务5、在创建Linux分区时，一定要创建（）两个分区。A. FAT/NTFSB. FAT/SWAPC. NTFS/SWAPD. SWAP/根分区6、下面哪个命令是用来定义shell的全局变量（）。A. exportfsB. aliasC. exportsD. export7、ZooKeeper可以实现（）。A. 高吞吐量和低延迟数量B. 高吞吐量和高延迟数量C. 低吞吐量和低延迟数量D. 低吞吐量和高延迟数量8、分布式应用正在运行的一组系统称为（）。A. 集群B. 分布式系统C. 单元D. 组9、查询速度的提升是以额外的（）为代价的。A. 创建索引B. 创建索引和存储索引C. 删除索引D. 存储索引10、Hive的元数据不能够存储在哪些位置？（）A. mysqlB. derbyC. oracleD. 文本文件11、HBase依赖（）提供消息通信机制。A. ZookeeperB. ChubbyC. RPCD. Socket12、LSM含义是？（）A. 日志结构合并树B. 二叉树C. 平衡二叉树D. 长平衡二叉树13、HFile数据格式中的Data字段用于（）。A. 存储实际的KeyValue数据B. 存储数据的起点C. 指定字段的长度D. 存储数据块的起点14、下列不属于Stream Grouping方式的是（）。A. ShuffleGroupingB. AllGroupingC. FieldsGroupingD. newGrouping15、Storm会在集群内分配对应并行度个数的（）来同时执行这一组件。A.哈希值B. ThriftC. task线程D. Worker进程16、Storm可以用来实时处理新数据和（）。A. 删除数据库B. 更新数据库C. 删除节点D. 更新表17、MapReduce编程模型，键值对的key必须实现哪个接口？（）。A. WritableComparableB. ComparableC. WritableD. LongWritable18、HBase数据库的BlockCache缓存的数据块中，哪一项不一定能提高效率（）。A. ROOT-表 B. .META.表C. HFile indexD. 普通的数据块19、HBase的Region组成中，必须要有以下哪一项（）。A. StoreFileB. MemStoreC. MetaStoreD. HFile 20、设计分布式数据仓库hive的数据表时，为取样更高效，一般可以对表中的连续字段进行什么操作（）。A. 分桶 B. 分区C. 索引D. 分表二、填空题（20题，每题1分，共10分）21、Spouts会从外部读取流数据并持续发出 。22、当Spout或者Bolt发送元组时，它会把元组发送到每个订阅了该 的Bolt上进行处理。23、Storm采用了 来作为分布式协调组件。24、HBase分布式模式最好需要 个节点。25、LSM结构的数据首先存储在 。26、HBase 中 Hmaster 负责监控 的生命周期。27、Hive远程服务通过 方式访问Hive。28、Hive不支持 的更新。29、Hive非常适合于对那些只在文本末尾添加数据的大型数据集进行 。30、分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅、 、命名服务、分布式协调/通知、 、 、分布式锁和分布式队列等功能。31、注册成临时节点后，再服务端出问题时，节点会自动的从zookeeper上 。32、ZooKeeper提供了一项基本服务是 。33、计算过程高度抽象到两个函数 和 。34、每一个小数据都可以完全 地进行处理。35、大规模数据集的处理包括 两个核心环节。36、ResourceManager默认的WebUI访问端口号为： 。37、Hadoop集群搭建中常用的4个配置文件为： 、hdfs-site.xml、mapred-site.xml、 。38、HA产生的背景是 。39、网络管理两个重要任务分别是： 和 。40、 命令是删除文件命令。三、判断题，正确填“T”，错误填“F”（20题，每题1分，共20分）41、Hadoop 支持数据的随机读写（）。42、NameNode 负责管理元数据信息metadata，client 端每次读写请求，它都会从磁盘中读取或会写入 metadata 信息并反馈给 client 端（）。43、MapReduce 的 input split 一定是一个 block（）。44、链式MapReduce计算中，对任意一个MapReduce作业，Map和Reduce阶段可以有无限个Mapper，但Reducer只能有一个（）。45、HBase对于空（NULL）的列，不需要占用存储空间。（）。46、MapReduce适于PB级别以上的海量数据在线处理（）。47、MapReduce计算过程中，相同的key默认会被发送到同一个reduce task处理（）。48、HBase可以有列，可以没有列族（column family）（）。49、/tmp目录主要用于存储程序运行时生成的临时文件（）。50、Linux系统以文本文件的形式保存大备份系统日志，如lastlog（）。51、Hadoop是Java开发的，所以MapReduce只支持Java语言编写（）。52、NameNode负责管理metadata，client端每次读写请求，它都会从磁盘中读取或者会写入metadata信息并反馈给client端（）。53、MapReduce程序可以直接读取HBase内存储的数据内容。（）54、所有消息交换都是通过MapReduce框架自身去实现的。（）55、更新ZooKeeper操作是非阻塞式的。（）56、在分布式锁服务中，就是通过对集群进行Master选举，来解决分布式系统中的单点故障。（）57、分区的主要好处是加快查询速度。（）58、Hive创建内部表时，会将数据移动到数据仓库指向的路径。（）。59、MapReduce程序可以直接读取HBase内存储的数据内容。（）60、使用Shell命令insert对HBase中的一张表进行数据添加操作。（）四、简答题（6题，每题5分，共30分）61、简述HBase的主要技术特点。答：62、HBase有哪些类型的访问接口？答： 63、是否所有的MapReduce程序都需要经过Map和Reduce这两个过程？如果不是，请举例说明。答：64、请描述HDFS HA架构组成组建及其具体功能。答：65、hadoop节点动态上线下线怎么操作?答：66、HAnamenode是如何工作的？答：大数据平台搭建与配置管理期中标答期中标答A（闭卷）题 号一二三四五六七八九十成绩满 分30202030100得 分一、选择题（20题，每题1.5分，共30分）1-5：CCCDD6-10：DAABD11-15：AAADC16-20：BADBA二、填空题（20题，每题1分，共20分）21、Tuple22、Stream23、Zookeeper24、325、内存中26、RegionServer 27、JDBC28、级别29、批处理30、负载均衡 集群管理 Master选举31、删除32、分布式锁33、Map Reduce34、并行35、分布式存储和分布式计算36、808837、core-site.xml yarn-site.xml38、为了解决单NN那可能会出现宕机导致集群不可用或数据丢失的问题39、监控 控制40、rm三、判断题（20题，每题1分，共20分）41-45：FFFTT46-50：FFFTF51-55：FFTTT56-60：TTTTF四、简答题（6题，每题5分，共60分）61、答：（1）列式存储（2）表数据是稀疏的多维映射表（3）读写的严格一致性（4）提供很高的数据读写速度（5）良好的线性可扩展性（6）提供海量数据（7）数据会自动分片（8）对于数据故障，hbase是有自动的失效检测和恢复能力。（9）提供了方便的与HDFS和MAPREDUCE集成的能力62、答：HBase提供了Native Java API,HBase Shell，Thrift Gateway, REST GateWay,Pig,Hive等访问接口。63、答：不是。略64、答：在一个典型的HA集群中，一般设置两个名称节点，其中一个名称节点处于“活跃”状态，另一个处于“待命”状态。处于活跃状态的名称节点负责对外处理所有客户端的请求，而处于待命状态的名称节点则作为备用节点，保存了足够多的系统元数据，当名称节点提供了“热备份”，一旦活跃名称节点出现故障，就可以立即切换到待命名称节点，不会影响到系统的正常对外服务。65、答：1）节点上线操作：当要新上线数据节点的时候，需要把数据节点的名字追加在 dfs.hosts 文件中（1）关闭新增节点的防火墙（2）在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname（3）在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname（4）在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作（5）在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 hostname,（6）在其他节点上执行刷新操作：hdfs dfsadmin -refreshNodes（7）在 NameNode 节点上，更改 slaves 文件，将要上线的数据节点 hostname 追加到 slaves 文件中（8）启动 DataNode 节点（9）查看 NameNode 的监控页面看是否有新增加的节点2）节点下线操作：（1）修改/conf/hdfs-site.xml 文件（2）确定需要下线的机器，dfs.osts.exclude 文件中配置好需要下架的机器，这个是阻止下架的机器去连接 NameNode。（3）配置完成之后进行配置的刷新操作./bin/hadoop dfsadmin -refreshNodes,这个操作的作用是在后台进行 block 块的移动。（4）当执行三的命令完成之后，需要下架的机器就可以关闭了，可以查看现在集群上连接的节点，正在执行 Decommission，会显示：Decommission Status : Decommission in progress 执行完毕后，会显示：Decommission Status :Decommissioned（5）机器下线完毕，将他们从excludes 文件中移除。66、答：ZKFailoverController主要职责1）健康监测：周期性的向它监控的NN发送健康探测命令，从而来确定某个NameNode是否处于健康状态，如果机器宕机，心跳失败，那么zkfc就会标记它处于一个不健康的状态。2）会话管理：如果NN是健康的，zkfc就会在zookeeper中保持一个打开的会话，如果NameNode同时还是Active状态的，那么zkfc还会在Zookeeper中占有一个类型为短暂类型的znode，当这个NN挂掉时，这个znode将会被删除，然后备用的NN，将会得到这把锁，升级为主NN，同时标记状态为Active。3）当宕机的NN新启动时，它会再次注册zookeper，发现已经有znode锁了，便会自动变为Standby状态，如此往复循环，保证高可靠，需要注意，目前仅仅支持最多配置2个NN。4）master选举：如上所述，通过在zookeeper中维持一个短暂类型的znode，来实现抢占式的锁机制，从而判断那个NameNode为Active状态第 10 页 共 10 页