resourcemanager

Yarn之ResourceManager詳細分析筆記(一)待續 2015-10-14




    		    Yarn之ResourceManager詳細分析筆記(一)待續
一.概述 本文将介绍ResourceManager在Yarn中的功能作用,从更细的粒度分析RM内部组成的各个组件功能和他们相互的交互方式. 二.ResourceManager的交互协议与基本职能 1.ResourceManager交互协议 在整个Yarn框架中主要涉及到7个协议,分别是ApplicationClientProtocol.MRClientProtocol.Cont

Hadoop2的ResourceManager高可用配置 2015-10-14

Hadoop 2.2没怎么关注过,太新,bug太多.2.4出来以后关注了一些东西,比如2.4里面直接带了ResourceManager的高可用,这点比较吸引人.之前2.2没注意有没有,貌似是没有,然后CDH自己出了一个解决方案,这次2.4的更新直接自己带了,还不错,这样就全了,Namenode有HA和Federation,RM也有了HA,而且也可以通过ZKFC自动做故障切换.大概从2.4开始,Hadoop就可以往生产环境逐渐切换了. 直接记录配置 RM HA 的最小需求和配置项.跟NN的HA一样,RM的H
一周排行