​

​

目 录​

​1. 引言 3​

​1.1 背景介绍 3​​

​​1.2 编写目的 3​​​

​​1.3 适用范围 3​​​

​​1.4 角色职责 3​​​

​1.5 其他 4​

​2. 当前环境概述 4​

​2.1离线数仓收集信息的 4​​

​2.2 关闭收集信息的操作 5​

1. 引言

1. 背景介绍xxx项目承接了线上多种实时数据，对主要的指标进了15分钟一次查询，这些统计指标对上层知道运营有重要作用。出版上线至今平台稳定运行，但日益增长的用户数量导致每日数据量不断增长，当前的集群面临严峻的处理能力和稳定性的挑战。​
   驾驶舱集群自上线(2019.10月份)上线后，承接了离线计算的主要任务，已有表数目接近10000张，单日任务数量接近3万，单表最大数据规模超过8亿+;集群目前处于亚健康状态，现在集群上每周五收集集群信息，占用大量的资源，需要关闭Collect Diagnostic Data Globally。​
2. 编写目的​指导本次CDH平台关闭Collect Diagnostic Data Globally。​
3. 适用范围

• 甲方leader​
• 运维开发人员​
• 数据开发人员​

4. 角色职责

1. 其他​其他需要说明的内容。​

当前环境概述​

驾驶舱集群自上线(2019.10月份)上线后，承接了离线计算的主要任务，已有表数目接10000张，单日任务数量接近3万，单表最大数据规模超过8亿+集群目前处于亚健康状态，需要对CDH集群关闭Collect Diagnostic Data Globally，减少资源收集信息时占用大量的资源。​

2.1离线数仓收集信息的​

离线总共41节点，收集信息的报错情况如下。​

2.2 关闭收集信息的操作​

1.进入集群管理---设置​

2.允许使用情况数据收集对钩打掉，点击保存更改即可。​

3.关闭自动将诊断数据发送至cloudera关闭，计划的诊断数据收集频率每周改成从不，关闭使用http上载诊断数据​

4.点击保存后，不需要重启集群，已经在开发测试环境上做过验证。​