博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
标题:DKhadoop大数据处理平台监控数据介绍
阅读量:6268 次
发布时间:2019-06-22

本文共 1261 字,大约阅读时间需要 4 分钟。

标题:DKhadoop大数据处理平台监控数据介绍

2018年国内大数据公司50强榜单排名已经公布了出来,大快以黑马之姿闯入50强,并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》,继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。
DKhadoop大数据处理平台架构的安装相关文章已经分享过,详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完,关于大快大数据处理平台监控参数的介绍就完整了。

1、Yarn监控界面

(1) 执行失败的应用程序

clipboard.png

监控 yarn资源管理中总执行失败的应用程序数量

纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(2)已提交的应用程序

clipboard.png

监控 yarn资源管理中已提交的应用程序数量

纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟

(3)正在运行的应用程序

clipboard.png

监控 yarn资源管理中正在运行的应用程序数量

纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(4) 等待执行的应用程序

clipboard.png

监控 yarn资源管理中等待执行的应用程序数量

纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟

(5)已完成的应用程序

clipboard.png

监控 yarn资源管理中已完成的应用程序数量

纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
(6)被kill的应用程序

clipboard.png

监控 yarn资源管理中被杀死的应用程序数量

纵轴表示应用程序数量,单位个
横轴表示时间,单位分钟
2、Spark监控界面
注意:(spark 运行任务后才有监控数据)
(1) 最大可使用内存

clipboard.png

监控 Spark 集群中最大可使用的内存

纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(2)已使用的内存

clipboard.png

监控 Spark 集群中已经使用的内存

纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(3)剩余内存

clipboard.png

监控 Spark 集群中剩余的内存

纵轴表示内存容量,单位(MB)
横轴表示时间,单位分钟
(4)Spark中任务数量

clipboard.png

监控 Spark 集群中任务数量

纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(5)Spark中正在运行的任务数量

clipboard.png

监控 Spark中正在运行的任务数量

纵轴表示内存容量,单位MB
横轴表示时间,单位分钟
(6)正在运行的stage数量

clipboard.png

监控 Spark集群中正在运行的stage数量

纵轴表示stage数量,单位个
横轴表示时间,单位分钟

(7)失败的stage数量

clipboard.png

监控 Spark集群中运行失败的stage数量

纵轴表示stage数量,单位个
横轴表示时间,单位分钟
(8)准备就绪的stage数量

clipboard.png

监控 Spark集群中准备就绪的stage数量

纵轴表示stage数量,单位个
横轴表示时间,单位分钟
备注:
(横轴的时间表示采集时间,一般是1分钟一次)

转载地址:http://pkvpa.baihongyu.com/

你可能感兴趣的文章
JAVA IO BIO NIO AIO
查看>>
input checkbox 复选框大小修改
查看>>
网吧维护工具
查看>>
BOOT.INI文件参数
查看>>
vmstat详解
查看>>
新年第一镖
查看>>
unbtu使用笔记
查看>>
MaxCompute 学习计划(一)
查看>>
OEA 中 WPF 树型表格虚拟化设计方案
查看>>
Android程序开发初级教程(一) 开始 Hello Android
查看>>
使用Gradle打RPM包
查看>>
“我意识到”的意义
查看>>
淘宝天猫上新辅助工具-新品填表
查看>>
再学 GDI+[43]: 文本输出 - 获取已安装的字体列表
查看>>
nginx反向代理
查看>>
操作系统真实的虚拟内存是什么样的(一)
查看>>
hadoop、hbase、zookeeper集群搭建
查看>>
python中一切皆对象------类的基础(五)
查看>>
modprobe
查看>>
android中用ExpandableListView实现三级扩展列表
查看>>