数据工程师培训题库(四).doc

星环信息科技（上海）有限公司【说明】a) 客观题30题，每题2分，总计60分b) 主观题4题，每题10分，总计40分c) 满分100分。【不定项选择题（每题2分共60分）】1、 下列与HDFS有关的说法正确的是（ ）AHDFS DataNode节点上的磁盘需要做RAID1，用来保证数据的可靠性BHDFS可以在磁盘之间通过balance操作，平衡磁盘之间的负载情况CHDFS建议DataNode之间的数据盘个数、容量大小不一致，以体现HDFS的负载均衡能力D规划HDFS集群时，建议Active NameNode和Standby NameNode分配在不同的机架上 2、 以下哪个服务作为HDFS高可靠协调服务的共享存储？（ ）A. ZooKeeperB. JournalNodesC. NameNodeD. ZKFailoverController3、 在集群中配置HDFS的副本数为3，设置数据块大小为128M，此时我们上传一份64M的数据文件，该数据文件占用HDFS空间大小为（ ）A . 64MB . 128MC . 384MD . 192M4、 在Yarn服务中，不包含以下哪种角色（ ）A . ResourceManagerB . NodeManagerC . ApplicationMasterD . Contianer5、 ResourceManager是YARN的主要组成部分，有关其功能描述不正确的是（ ）A . 它直接将集群所拥有的资源按需分配给运行在YARN上的应用程序B . 它负责将集群中的所有资源进行统一管理和分配C . 它接受各个节点的资源汇报信息D . 它把资源按照策略分配给各应用TDH数据平台认证工程师试题姓名：_ 分数：_6、 当前用户提交了一个wordcount词频统计的任务，最后任务执行失败，可能的原因有哪些（ ）A . 当前集群中没有足够的资源，不足以满足当前wordcount任务的需求B . 执行该任务的用户没有权限访问HDFS上的数据文件C . 用户在执行任务之前在HDFS相应的目录下创建了提交任务时指定的输出目录D . 以上原因都有可能7、 以下关于外表和托管表描述正确的是（ ）A、外表的数据存储在本地，托管表的数据存储在hdfs上B、删除托管表只会删除Inceptor上的元数据不会删除数据文件，删除外表两者都会被删除C、删除外表只会删除Inceptor上的元数据不会删除数据文件，删除托管表两者都会被删除D、删除托管表或外表，incepotr上的元数据和数据文件都会被删除8、 SQL运行中如果出现maptask数据特别多，执行时间又很短时可以通过小文件合并来进行优化，以下是合并参数有（ ）A. SET ngmr.partition.automerge = TRUE;B. SET ngmr.partition.mergesize = n;C. SET ngmr.partition.mergesize.mb = m;D. SET mapred.reduce.tasks = N;9、 以下关于inceptor日志信息描述正确的有（ ）A. Inceptor server日志存放于各节点的/var/log/inceptorsqlx/hive-server.logB. 可以通过inceptor server 4040查看SQL错误日志C. Excutor日志存放于excutor节点的/var/log/inceptorsqlx/spark-excutor.logD ExcutorGC日志存放于excutor节点的/var/log/inceptorsqlx/spark-excutor.gc.log10、 tableA 有10G的数据，tableB有100G的数据，两个表通过共有的id列做关联查询name列，以下方式可以优化计算效率的是（ ）A. select /*+MAPJOIN(a)*/ a.name,b.name from tableA a join tableB b on a.id=b.idB. select /*+MAPJOIN(b)*/ a.name,b.name from tableA a join tableB b on a.id=b.idC. 建表时将tableA 和 tableB 根据id字段分相同数量的桶D. 建表时将tableA 和 tableB 根据name字段分相同数量的桶11、 以下属于HMaster功能的是（ ）A 为Region Server 分配regionB 存储数据元信息C 对region进行compact操作D 管理用户对table的增删改查操作12、 Hyperbase与Inceptor的关系，描述正确的是（ ）A 两者不可或缺，Inceptor保证Hyperbase的服务的正常运行B 两者没有任何关系C Inceptor可以访问HyperbaseD 两者相辅相成13、 下列创建全局索引的语句，正确的是（ ）A add_index t1, index_name, COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=trueB add_global_index t1, index_name, COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=trueC add_fulltext_index t1, index_name, COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=trueD create_global_index t1, index_name, COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true14、 以下对流处理计算框架描述不正确的是（ ）A Spark Streaming是基于微批（batch）对数据进行处理的B Apache Storm是基于时间（event）对数据进行处理的C Transwarp StreamSQL可基于微批或事件对数据进行处理D 以上说法都不对15、 某交通部门通过使用流监控全市过往24小时各个卡口数据，要求每分钟更新一次，原始流为org_stream，以下实现正确的是（ ）A. CREATE STREAMWINDOW traffic_stream AS SELECT * FROM original_stream STREAM w1 AS (length 1 minute slide 24 hour);B. CREATE STREAM traffic_stream AS SELECT * FROM original_stream STREAMWINDOW w1 AS (length 1 minute slide 24 hour);C. CREATE STREAM traffic_stream AS SELECT * FROM original_stream STREAMWINDOW w1 AS (length 24 hour slide 1 minute);D. CREATE STREAM traffic_stream AS SELECT * FROM original_stream AS (length 24 second slide 1 minute);16、 Zookeeper服务描述正确的为（ ）A . Zookeeper中每一个server互为leader。B . Zookeeper中只有一个leader，并通过备份机制产生。C . Zookeeper中不存在leader,所有server共同提供服务。D . Zookeeper通过选举机制确定leader，有且仅有一个。17、 通过Hue修改HDFS目录或文件的权限可以通过以下哪些方式实现（ ）A Hdfs相应的权限B 通过Hue超级用户hue登录C 以hdfs用户登录D 以上都可以18、 通过Oozie使用ssh，必须满足以下条件（ ）A 以root用户登录各个节点B Oozie用户可以免密钥登录 C Oozie用户必须要有bash权限D . 所访问必须是集群的节点19、 有关使用sqoop抽取数据的原理的描述不正确的是（ ）A . sqoop在抽取数据的时候可以指定map的个数，map的个数决定在hdfs生成的数据文件的个数B . sqoop抽取数据是个多节点并行抽取的过程，因此map的个数设置的越多性能越好C . sqoop任务的切分是根据split字段的（最大值-最小值）/map数D . sqoop抽取数据的时候需要保证执行当前用户有权限执行相应的操作20、 在使用sqoop连接关系型数据时，下面哪个命令可以查看关系型数据库中有哪些表？（ ）A. sqoop list-databases -username root -password 111111 -connect jdbc:mysql:/192.168.164.25:3306/B. sqoop list-databases -username root -P -connect jdbc:mysql:/192.168.164.25:3306/C. sqoop list-databases -username root -password-file file:/root/.pwd -connect jdbc:mysql:/192.168.164.25:3306/D. sqoop list-tables -username root -password 111111 -connect jdbc:mysql:/192.168.164.25:3306/test21、 要将采集的日志数据作为kafka的数据源，则flume sink需要设置为下列哪项参数（ ）A . hdfsB . kafkaC . org.apache.flume.sink.kafka.KafkaSinkD . topicname22、 下列是关于flume和sqoop对比的描述，不正确的是（ ）A . flume主要用来采集日志而sqoop主要用来做数据迁移B . flume主要采集流式数据而sqoop主要用来迁移规范化数据C . flume和sqoop都是分布式处理任务D . flume主要用于采集多数据源小数据而sqoop用来迁移单数据源数据23、 有关Elasticsearch描述有误的一项是（ ）A 它会利用多播形式发现节点。B 主节点(master node) 通过选举方式产生。C 主节点(master node)进行集群的管理，只负责集群节点添加和删除。D 主节点会去读集群状态信息，必要的时候进行恢复工作。24、 下面措施中，不能保证kafka数据可靠性的是（ ）A . kafka会将所有消息持久化到硬盘中保证其数据可靠性B . kafka通过Topic Partition设置Replication来保证其数据可靠性C . kafka通过设置消息重发机制保证其数据可靠性D . kafka无法保证数据可靠性25、 TDH提供哪几种认证模式？（ ）A 所有服务使用简单认证模式所有服务都无需认证即可互相访问B 所有服务都启用Kerberos认证，用户要提供Kerberos principal和密码（或者keytab）来访问各个服务C 所有服务都启用Kerberos同时Inceptor启用LDAP认证D 所有服务都启用LDAP认证26、 开启LDAP后，应该使用哪个命令连接Inceptor（ ）A. transwarp -t -h $ip。B. beeline -u jdbc:hive2:/$ip:10000 -n $username -p $password。C. beeline -u jdbc:hive2:/$ip:10000/default;principal=hive/node1TDH。D. beeline -u jdbc:hive2:/$ip:10000/default;principal=user1TDH。27、 Inceptor server服务无法启动时，该如何查看日志是（ ）A 查看TDH manager所在节点/var/log/inceptorsql*/目录下的hive-server2.log日志B 查看Inceptor server所在节点/var/log/inceptorsql*/目录下的hive-server2.log日志C 查看Resource Manager所在节点/var/log/Yarn*/目录下的yarn-yarn-resourcemanager-poc-node1.log日志D 查看任意节点/var/log/inceptorsql*/目录下的hive-server2.log日志28、 现有一批数据需要进行清洗，要求对其中null通过update转换为0，删除重复的记录，添加部分新的记录，则该表应该设计为（ ）A. Tex表B. Orc表C. Orc事务表D. Holodesk表29、 现有一个表数据要存储在hyperbase上，并创建全文索引，原表数据10GB，HDFS配置为3副本，hyperbase压缩比例按1:3计算，索引数据量为20GB，ES副本数为1，ES压缩比按1:3计算，则该表需要多大的存储空间存储（ ）A. 16.67GBB. 23.33GBC. 30GBD. 70GB30、 下面哪些工作不属于集群预安装工作（ ）A . 为集群中每个节点的安装操作系统B . 选一个节点作为管理节点，修改其 /etc/hosts文件C . 安装Transwarp Manager管理界面D . 配置集群安全模式【客观简答题（每题10分，共40分）】1、请描述HDFS的高可用性实现机制：答：2、请列举出平台支持的5种存储格式/引擎的表，并详细描述各自的存储特点、使用场景、支持的操作以及是否支持分区分桶。答：Text表：ORC表：事务表：HoloDesk表：Hyperbase表：3、 请描述一个100GB文件写入Hyperbase表的整个过程（使用bulkload方式实现）4、写出以下场景下的优化思路（1）、假设在Inceptor上执行任务，发现Map Task数量多、执行时间短，应采取哪种措施来提升性能？（2）、请简述在Inceptor中大表与大表做join、大表与小表做join时分别有哪些优化手段