Hadoop调优

 

Linux调优

1.net.core.somaxconn参数
hadoop的core-site.xml中的ipc.server.listen.queue.size参数

2.关闭swap

 

Namenode调优

dfs.namenode.handler.count(hdfs-site.xml)

10

工作线程池大小,设置该值的一般原则是将其设置为集群大小的自然对数乘以20,即20ln(N)

dfs.hosts(mapred-site.xml)

 

通过一个含有DataNode主机名列表的文件,来确认允许连接并加入集群的DataNode

 

Datanode调优

dfs.datanode.failed.volumes.tolerated(hdfs-site.xml)

0

定义整个DataNode声明失败前允许多少个硬盘出现故障

dfs.datanode.du.reserved(hdfs-site.xml)

0

定义了每个dfs.data.dir所定义的硬盘空间需要保留的大小。建议每个硬盘都为map任务保留最少10GB的空间

dfs.datanode.max.locked.memory(hdfs-site.xml)

0

决定了一个DataNode将要用来被做HDFS缓存的内存的最大值

io.file.buffer.size(core-site.xml)

4KB

Sequence file在读写时可以使用缓存的大小,一般设为64K

 

集中化缓存管理

 

 

YARN调优

资源分配:Slave节点配置

资源分配:Container的内存需求

Container Heap Size

配置资源分配和进程大小属性

内存监控

使YARN跟操作系统资源分配一致

您可以选择一种方式赞助本站