博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop 2.X -- YARN
阅读量:6859 次
发布时间:2019-06-26

本文共 1018 字,大约阅读时间需要 3 分钟。

hot3.png

YARN最初设计是为了解决Hadoop中MapReduce计算框架中的资源管理问题,但现在它已经是一个更加通用的资源管理系统,可以把MapReduce计算框架作为一个应用程序运行在YARN系统之上,通过YARN来管理资源。

如果你的应用程序也需要借助YARN的资源管理功能,你也可以实现YARN提供的API,将应用程序运行于YARN之上,资源分配与回收统一交给YARN去管理,可以大大简化资源管理功能的开发。

当前,也有很多应用程序已经可以构建于YARN之上,如Storm、Spark等计算框架。

YARN Client提交Application到ResourceManager,它会首先创建一个Application上下文件对象,并设置ApplicationMaster必需的资源请求信息,然后提交到ResourceManager。YARN Client也可以与RM通信,获取到一个已经提交并运行的Application的状态信息等,具体详见后面ApplicationClientProtocol协议的分析说明

ResourceManager是YARN集群的Master,负责管理整个集群的资源和资源分配。

ResourceManager作为集群资源的管理和调度的角色,如果存在单点故障,则整个集群的资源都无法使用。

NodeManager是集群中实际拥有实际资源的工作节点,主要负责启动应用所需的容器,监控资源的使用情况并将之汇报给调度器。Client提交Job以后,会将组成Job的多个Task调度到对应的NodeManager上进行执行。

ApplicationsManager:负责接收作业,协商获取第一个容器用于执行ApplicationMaster和提供重启失败ApplicationMaster container的服务。

ApplicationMaster:负责同调度器协商以获取合适的容器,并跟踪这些容器的状态和监控其进度。

Container:容器中封装了机器资源,如内存,CPU, 磁盘,网络等,每个任务会被分配一个容器,该任务只能在该容器中执行,并使用该容器封装的资源。

02002706_5WQe.gif

10002743_eZ80.png

参考资料:

[0]  MapReduce NextGen aka YARN aka MRv2

[1] Hadoop YARN架构设计要点

转载于:https://my.oschina.net/darionyaphet/blog/423672

你可能感兴趣的文章
界面之下:还原真实的 MVC、MVP、MVVM 模式
查看>>
《OOD启思录》—本书中引用到的其他图书
查看>>
网站建设前要注意这些网站设计误区可能会毁了网站
查看>>
《乐高EV3机器人搭建与编程》一1.2 LEGO系列产品
查看>>
《HTML、CSS、JavaScript 网页制作从入门到精通》——6.3 表格的边框
查看>>
《Spring攻略(第2版)》——1.9 用依赖检查属性
查看>>
并发集合(七)创建并发随机数
查看>>
论文导读:面向卷积神经网络的卷积核冗余消除策略
查看>>
当下流行架构中的一些技术思考
查看>>
Hadoop学习第四天之hadoop命令操作(上)
查看>>
走进阿里云:做云数据、大计算的No.1
查看>>
Gradle 基础
查看>>
listview优化(中)
查看>>
当安全遇上AI 阿里聚安全算法挑战赛完美收官
查看>>
怪”博士闵万里:用人工智能,解决吃饭出行问题
查看>>
ES6 + Webpack + React + Babel 如何在低版本浏览器上愉快的玩耍(下)
查看>>
日志服务(原SLS)新功能发布(8)--日志服务Web Tracking功能
查看>>
kvm虚拟化学习笔记(十三)之kvm虚拟机磁盘文件读取小结
查看>>
kvm虚拟化学习笔记(四)之kvm虚拟机日常管理与配置
查看>>
SlideView 图片滑动(扩展/收缩)展示效果
查看>>