0
点赞
收藏
分享

微信扫一扫

如何使用Cloudera Manager监控服务

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。


Fayson的github:

​​https://github.com/fayson/cdhproject​​


提示:代码块部分可以左右滑动查看噢


1.文档编写目的



Cloudera Manager的服务监控功能可监控在集群上运行的服务和角色实例的几十项服务运行状况及性能指标,具体的监控方式有如下:


1.以交互式图表的方式显示服务监控和性能数据


2.配置服务阈值监控指标


3.生成与系统和服务运行状况以及关键日志条目的事件,并使其可用户搜索和警报


4.完整记录与服务相关的操作及配置的更改


  • 内容概述

1.监控服务状态

2.查看服务状态

3.查看服务实例详细信息

4.运行角色的诊断命令

5.定期采集角色堆栈

6.查看正在运行和最近执行的命令


  • 测试环境

1.CM和CDH版本为5.13.1


2.监控服务状态



登录Cloudera Manager从服务界面,我们可以查看服务在集群中的运行状态,管理集群中服务和角色,添加服务,获取有Cloudera Manager生成的客户端配置,使Hadoop客户端用户能够访问集群中的服务。


1.登录Cloudera Manager主页后显示如下图


如何使用Cloudera Manager监控服务_hdfs


通过主页可以总体观察各个集群下服务的运行状态及集群的部分性能监控数据。


2.查看或下载集群中服务的客户端配置


如何使用Cloudera Manager监控服务_堆栈_02


点击“View ClientConfiguration URLs”或“查看客户端配置URL”


如何使用Cloudera Manager监控服务_堆栈_03


3.查看进入维护状态的服务


注意:服务进入维护模式后,该服务及其角色产生的告警信息将会被抑制。


如何使用Cloudera Manager监控服务_堆栈_04


点击”视图维护模式状态”按钮,显示集群所有在维护状态的服务


如何使用Cloudera Manager监控服务_cloudera_05


显示集群中处于维护状态的服务列表


如何使用Cloudera Manager监控服务_cloudera_06


3.查看服务状态



1.查看服务的实例状态,这里以HDFS服务为例


进入HDFS服务的入口


如何使用Cloudera Manager监控服务_堆栈_07



如何使用Cloudera Manager监控服务_堆栈_08


2.HDFS服务状态主页面


如何使用Cloudera Manager监控服务_hdfs_09


3.根据时间查看不同时段的服务状态及性能指标


如何使用Cloudera Manager监控服务_hdfs_10


点击“Apply”显示指定时间段的HDFS服务状态及性能指标


如何使用Cloudera Manager监控服务_堆栈_11


以时间轴的方式查看HDFS服务不通时段的状态及性能指标


如何使用Cloudera Manager监控服务_hdfs_12


拖动如何使用Cloudera Manager监控服务_hdfs_13图标到指定的时间点查看


如何使用Cloudera Manager监控服务_hdfs_14


4.服务状态摘要,显示了有Cloudera Manager管理的每个服务实例的状态


如何使用Cloudera Manager监控服务_hdfs_15


状态列表:


如何使用Cloudera Manager监控服务_hdfs_16

如何使用Cloudera Manager监控服务_cloudera_17


5.服务摘要

只提供部分服务的摘要信息如HDFS、Flume、Zookeeper等


如何使用Cloudera Manager监控服务_hdfs_18


6.服务监控测试及服务历史健康列表


如何使用Cloudera Manager监控服务_堆栈_19


7.图表监控,显示服务的与其性能和健康有关的关键指标


如何使用Cloudera Manager监控服务_hdfs_20


也可以点击“图表库”菜单查看更多的监控图表



如何使用Cloudera Manager监控服务_hdfs_21


4.查看服务实例详细信息



1.进入HDFS服务,点击“实例”菜单进入HDFS服务示例列表


如何使用Cloudera Manager监控服务_cloudera_22


2.通过左侧的筛选菜单过滤不通类型的角色


如何使用Cloudera Manager监控服务_hdfs_23


3.点击“角色类型”列的某个实例名称可查看该实例的详细信息


如何使用Cloudera Manager监控服务_堆栈_24


4.查看单个实例的监控图表

根据左侧监控类别分类,可以看到单个实例的健康状态和性能指标等


如何使用Cloudera Manager监控服务_cloudera_25


查看单个实例的历史监控状态


如何使用Cloudera Manager监控服务_堆栈_26


时间坐标轴的方式查看


如何使用Cloudera Manager监控服务_堆栈_27


5.可以为单个角色实例设置进入“维护模式”,进入维护模式的角色实例所产生的警告信息会被抑制


如何使用Cloudera Manager监控服务_hdfs_28


在实例列表查看进入维护状态的角色实例。


如何使用Cloudera Manager监控服务_cloudera_29


选择进入维护模式的角色实例,点击“退出维护模式”即可解除警告抑制


如何使用Cloudera Manager监控服务_hdfs_30


如何使用Cloudera Manager监控服务_堆栈_31


6.点击“进程”选项卡可以看到角色实例的进程列表

可以查看该角色实例进程状态、在操作系统的PID以及进程的运行时长,同样也可以获取到该进程的启动参数等信息。


如何使用Cloudera Manager监控服务_hdfs_32


5.运行角色的诊断命令



该功能要求最低角色为集群管理员,Cloudera Manager允许管理员运行针对大多数Java的角色经常运行诊断应用程序工具:


1.列出角色实例打开的文件数(lsof命令)


如何使用Cloudera Manager监控服务_cloudera_33


如何使用Cloudera Manager监控服务_cloudera_34


命令执行成功后,可以下载执行结果,该命令执行成功的前提是当前节点安装了lsof命令,如果无该命令则执行如下命令安装:


[root@ip-172-31-30-69 ~]# yum -y install lsof


如何使用Cloudera Manager监控服务_hdfs_35


2.收集角色的堆栈jstack信息


如何使用Cloudera Manager监控服务_cloudera_36

如何使用Cloudera Manager监控服务_cloudera_37

如何使用Cloudera Manager监控服务_堆栈_38


3.获取角色实例的堆转储(jmap)


如何使用Cloudera Manager监控服务_cloudera_39

如何使用Cloudera Manager监控服务_cloudera_40

如何使用Cloudera Manager监控服务_hdfs_41


4.查看角色实例的堆直方图(jmap-history)


如何使用Cloudera Manager监控服务_堆栈_42

如何使用Cloudera Manager监控服务_堆栈_43

如何使用Cloudera Manager监控服务_hdfs_44


6.定期采集角色堆栈



在Cloudera Manager中启用和配置定收集角色堆栈信息,调用堆栈会定期输出到日志文件,日志可以搬走诊断新能问题,如死锁,处理缓慢或线程数量过多。

 

堆栈的收集可能会影响正在收集的进程以及主机上的其它进程性能,在Cloudera Manager中该功能默认情况下会关闭。

 

在Cloudera Manager中大部分的角色都可以使用堆栈收集功能。例如:Datanode、NameNode、HttpFS、JournalNode和NFS网关的堆栈收集。如果角色的配置项中无“Stacks Collection”类别,则该功能对该角色不可用。

 

1.配置角色的堆栈收集,这里以Datanode角色为例


如何使用Cloudera Manager监控服务_hdfs_45


2.查看角色堆栈信息


如何使用Cloudera Manager监控服务_堆栈_46

如何使用Cloudera Manager监控服务_hdfs_47


3.下载角色堆栈信息


如何使用Cloudera Manager监控服务_hdfs_48


7.查看正在运行和最近执行的命令



1.进入CM主页点击“所有最新命令”,可以查看到当前集群正在运行和最近执行的所有命令


如何使用Cloudera Manager监控服务_cloudera_49


2.查看命令运行详情


如何使用Cloudera Manager监控服务_cloudera_50

如何使用Cloudera Manager监控服务_cloudera_51


3.进入服务或角色,点击“命令”


如何使用Cloudera Manager监控服务_堆栈_52


查看当前服务或角色最新运行的命令和最新执行的命令


如何使用Cloudera Manager监控服务_cloudera_53

如何使用Cloudera Manager监控服务_cloudera_54


通过查看正在运行和最近执行的命令功能,可以以集群、服务或角色实例为单位去筛选正在运行和最近执行的命令。

 

 

具体可以参考:

​​https://www.cloudera.com/documentation/enterprise/latest/topics/cm_dg_resource_management_monitoring.html​​


提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。



推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

如何使用Cloudera Manager监控服务_hdfs_55

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


举报

相关推荐

0 条评论