大数据万字长文面试题汇总(附答案解析)

1.1Hadoop选择题

1.1.1Hdfs

1.下面哪个程序负责HDFS数据存储?

a)NameNode

b)Jobtracker

c)Datanode

d)secondaryNameNode

e)tasktracker

2.HDfS中的block默认保存几份?

a)3份

b)2份

c)1份

d)不确定

3.下列哪个程序通常与NameNode在一个节点启动?

a)SecondaryNameNode

b)DataNode

c)TaskTracker

d)Jobtracker

注:

分析:

hadoop的集群是基于master/slave模式,namenode和jobtracker属于master,datanode和tasktracker属于slave,master只有一个,而slave有多个。SecondaryNameNode内存需求和NameNode在一个数量级上,所以通常secondaryNameNode(运行在单独的物理机器上)和NameNode运行在不同的机器上。

JobTracker和TaskTracker

JobTracker对应于NameNode

TaskTracker对应于DataNode

DataNode和NameNode是针对数据存放来而言的

JobTracker和TaskTracker是对于MapReduce执行而言的

mapreduce中几个主要概念,mapreduce整体上可以分为这么几条执行线索:

jobclient,JobTracker与TaskTracker。

1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs,并把路径提交到Jobtracker,然后由JobTracker创建每一个Task(即MapTask和ReduceTask)并将它们分发到各个TaskTracker服务中去执行

2、JobTracker是一个master服务,软件启动之后JobTracker接收Job,负责调度Job的每一个子任务task运行于TaskTracker上,并监控它们,如果发现有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。

3、TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信,接收作业,并负责直接执行每一个任务。TaskTracker都需要运行在HDFS的DataNode上

4.HDFS默认BlockSize

a)32MB

b)64MB

c)128MB

注:旧版本是64MB

5.Client端上传文件的时候下列哪项正确

a)数据经过NameNode传递给DataNode

b)Client端将文件切分为Block,依次上传

c)Client只上传数据到一台DataNode,然后由NameNode负责Block复制工作

分析:

Client向NameNode发起文件写入的请求。

NameNode根据文件大小和文件块配置情况,返回给Client它所管理部分DataNode的信息。

Client将文件划分为多个Block,根据DataNode的地址信息,按顺序写入到每一个DataNode块中。

6.下面与HDFS类似的框架是?C

ANTFS

BFAT32

CGFS

DEXT3

7.的

8.的

1.1.2集群管理

1.下列哪项通常是集群的最主要瓶颈

a)CPU

b)网络

c)磁盘IO

d)内存

解析:

由于大数据面临海量数据,读写数据都需要io,然后还要冗余数据,hadoop一般备3份数据,所以IO就会打折扣。

2.关于SecondaryNameNode哪项是正确的?

a)它是NameNode的热备

b)它对内存没有要求

c)它的目的是帮助NameNode合并编辑日志,减少NameNode启动时间

d)SecondaryNameNode应与NameNode部署到一个节点

3.下列哪项可以作为集群的管理?

a)Puppetb)Pdshc)ClouderaManagerd)Zookeeper

分析:

A:puppetpuppet是一种Linux、Unix、windows平台的集中配置管理系统

B:pdsh可以实现在在多台机器上执行相同的命令

详细参考:集群管理小工具介绍-pdsh

C:可以参考ClouderaManager四大功能【翻译】

首先这里给管理下一个定义:部署、配置、调试、监控,属于管理

4.配置机架感知的下面哪项正确

a)如果一个机架出问题,不会影响数据读写

b)写入数据的时候会写到不同机架的DataNode中

c)MapReduce会根据机架获取离自己比较近的网络数据

5.下列哪个是Hadoop运行的模式

a)单机版b)伪分布式c)分布式

6.Cloudera提供哪几种安装CDH的方法

a)Clouderamanagerb)Tarballc)Yumd)Rpm

7.的

8.Dd

9.的

10.的

1.2Hbase选择题

1.2.1Hbase基础

ATheGoogleFileSystem

BMapReduce

CBigTable

DChubby

2.下面对HBase的描述哪些是正确的?B、C、D

A不是开源的

B是面向列的

C是分布式的

D是一种NoSQL数据库

3.HBase依靠()存储底层数据A

AHDFS

BHadoop

CMemory

DMapReduce

4.HBase依赖()提供消息通信机制A

AZookeeper

BChubby

CRPC

DSocket

5.HBase依赖()提供强大的计算能力D

AZookeeper

BChubby

CRPC

DMapReduce

6.MapReduce与HBase的关系,哪些描述是正确的?B、C

A两者不可或缺,MapReduce是HBase可以正常运行的保证

B两者不是强关联关系,没有MapReduce,HBase可以正常运行

CMapReduce可以直接访问HBase

D它们之间没有任何关系

7.下面哪些选项正确描述了HBase的特性?A、B、C、D

A高可靠性

B高性能

C面向列

D可伸缩

8.下面哪些概念是HBase框架中使用的?A、C

AHDFS

BGridFS

CZookeeper

DEXT3

9.D

1.2.2Hbase核心

1.LSM含义是?A

A日志结构合并树

B二叉树

C平衡二叉树

D长平衡二叉树

2.下面对LSM结构描述正确的是?A、C

A顺序存储

B直接写硬盘

C需要将数据Flush到磁盘

D是一种搜索平衡树

3.LSM更能保证哪种操作的性能?B

A读

B写

C随机读

D合并

4.LSM的读操作和写操作是独立的?A

A是。

B否。

CLSM并不区分读和写

DLSM中读写是同一种操作

5.LSM结构的数据首先存储在()。B

A硬盘上

B内存中

C磁盘阵列中

D闪存中

6.HFile数据格式中的Data字段用于()。A

A存储实际的KeyValue数据

B存储数据的起点

C指定字段的长度

D存储数据块的起点

7.HFile数据格式中的MetaIndex字段用于()。D

AMeta块的长度

BMeta块的结束点

CMeta块数据内容

DMeta块的起始点

8.HFile数据格式中的Magic字段用于()。A

A存储随机数,防止数据损坏

B存储数据的起点

C存储数据块的起点

D指定字段的长度

9.HFile数据格式中的KeyValue数据格式,下列选项描述正确的是()。A、D

A是byte[]数组

B没有固定的结构

C数据的大小是定长的

D有固定的结构

10.HFile数据格式中的KeyValue数据格式中Value部分是()。C

A拥有复杂结构的字符串

B字符串

C二进制数据

D压缩数据

11.D

1.2.3HBase高级应用介绍

1.HBase中的批量加载底层使用()实现。A

AMapReduce

BHive

CCoprocessor

DBloomFilter

2.HBase性能优化包含下面的哪些选项?A、B、C、D

A读优化

B写优化

C配置优化

DJVM优化

3.Rowkey设计的原则,下列哪些选项的描述是正确的?A、B、C

A尽量保证越短越好

B可以使用汉字

C可以使用字符串

D本身是无序的

4.HBase构建二级索引的实现方式有哪些?A、B

AMapReduce

BCoprocessor

CBloomFilter

DFilter

5.关于HBase二级索引的描述,哪些是正确的?A、B

A核心是倒排表

B二级索引概念是对应Rowkey这个“一级”索引

C二级索引使用平衡二叉树

D二级索引使用LSM结构

6.下列关于BloomFilter的描述正确的是?A、C

A是一个很长的二进制向量和一系列随机映射函数

B没有误算率

C有一定的误算率

D可以在BloomFilter中删除元素

7.D

1.2.4HBase安装、部署、启动

1.HBase官方版本可以安装在什么操作系统上?A、B、C

ACentOS

BUbuntu

CRedHat

DWindows

2.HBase虚拟分布式模式需要()个节点?A

A1

B2

C3

D最少3个

3.HBase分布式模式最好需要()个节点?C

A1

B2

C3

D最少

4.下列哪些选项是安装HBase前所必须安装的?A、B

A操作系统

BJDK

CShellScript

DJavaCode

5.解压.结尾的HBase压缩包使用的Linux命令是?A

Atar-zxvf

Btar-zx

Ctar-s

Dtar-nf

6.D

7.D

1.3Zookeeper选择题

1.3.1Zookeeper基础

1.下面与Zookeeper类似的框架是?D

AProtobuf

BJava

CKafka

DChubby

2.的

3.D

4.D

5.D

6.D

7.D

8.D

9.d

版权声明:本站所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,不声明或保证其内容的正确性,如发现本站有涉嫌抄袭侵权/违法违规的内容。请举报,一经查实,本站将立刻删除。

相关推荐