hadoop3 新功能yarn service初探

原创 2018-06-29 11:26 阅读(290)次
最近浏览最新版的hadoop 3.1.0,发现一个有趣的东西,YARN service。看来hadoop的团队也意识到mapreduce的没落,转而发展自己的强项了,甚至还结合了docker。 YARN service 由几个重要的部分组成 Service Framework (ApplicationMaster) on YARN 本质上这是一个ApplicationMaster,他负责根据用户提供的服务定义,从ResourceManager请求containers,并根据placement 策略启动容器。另外他需要做繁重的任务: 1. 解析并执行服务定义和配置 2. 管理容器的生命周期,如自...

hadoop2 yarn的流程(转)

转载 2018-06-08 00:53 阅读(144)次
最近复习hadoop,在CSDN上看了一篇介绍yarn的,很清晰,转载过来自己留着复习看 原地址:https://blog.csdn.net/zmx729618/article/details/73321316 .1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。1.2 Y...

hadoop问题处理——namenode失去和datanode连接的问题

原创 2018-04-20 11:52 阅读(347)次
hadoop已经用了好多年,在现在的公司也一直是用hdfs来存放并计算日志。 原始数据持续写入hdfs,也周期性的读取hdfs数据(mapreduce后的结果)。 但有个问题困扰我很久,最近发现了原因: 2018-04-20 11:25:07,114 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still in need of 3 to reach 3. For more information, please enable D...