0
点赞
收藏
分享

微信扫一扫

0600-6.1.0-如何在CDH6.1中安装CDSW1.5

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


Fayson的github:

​​https://github.com/fayson/cdhproject​​


提示:代码块部分可以左右滑动查看噢



1

文档编写目的


Cloudera在2019年1月29日发布CDSW1.5,CDSW1.5的一个最大的更新就是支持CDH6和HDP,在1.5之前,CDSW是不能安装到CDH6.x的。CDH5.13版本以后支持CDSW的Parcel安装,本篇文章Fayson就主要讲述如何通过CM6.1使用Parcel包安装CDSW1.5。


CDSW需要DNS服务和泛域名解析,可以参考Fayson以前的文章​​如何在Windows Server2008搭建DNS服务并配置泛域名解析​​》、《​​如何利用Dnsmasq构建小型集群的本地DNS服务器​​》、《​​如何在Windows Server2012搭建DNS服务并配置泛域名解析​​》,《​​如何在RedHat6上使用Bind搭建DNS服务​​》或《​​如何在RedHat7上使用Bind搭建DNS服务​​》,CDSW1.5的新功能可以参考《​​0544-CDSW1.5的新功能​​搭建DNS服务推荐Dnsmasq,小巧可爱特方便。


  • 内容概述

1.部署CDSW parcel及安装CSD文件

2.添加CDSW节点到集群并部署Gateway角色

3.安装DNS服务并配置泛域名解析

4.安装CDSW服务

5.测试CDSW


  • 测试环境

1.Redhat7.4

2.采用root用户操作

3.CM/CDH6.1

4.CDSW版本1.5


  • 前置条件

1.CM和CDH已安装且正常运行

2.集群已部署Spark2 On Yarn模式

3.集群已部署Anaconda

4.集群已配置好DNS服务并配置CDSW节点的泛域名解析

5.CDSW节点已经通过CM加入到集群中


2

部署CDSW Parcel包


1.下载CDSW的Parcel,下载地址如下


https://archive.cloudera.com/cdsw1/1.5.0/parcels/CDSW-1.5.0.p1.849870-el7.parcel
https://archive.cloudera.com/cdsw1/1.5.0/parcels/CDSW-1.5.0.p1.849870-el7.parcel.sha
https://archive.cloudera.com/cdsw1/1.5.0/parcels/manifest.json


2.将下载的文件部署在Apache所在服务器的/var/www/html/cdsw1.5目录下


[root@ip-172-31-6-83 ~]# cd /var/www/html/cdsw1.5
[root@ip-172-31-6-83 cdsw1.5]# ll
total 4398800
-rw-r--r-- 1 root root 4504355994 Jan 29 04:43 CDSW-1.5.0.p1.849870-el7.parcel
-rw-r--r-- 1 root root 41 Jan 29 04:43 CDSW-1.5.0.p1.849870-el7.parcel.sha
-rw-r--r-- 1 root root 4231 Jan 29 04:43 manifest.json
[root@ip-172-31-6-83 cdsw1.5]#


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析


3.通过浏览器测试是否部署成功


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_02

看到以上界面说明部署成功。


3

安装CSD文件


1.下载CSD文件,使CM支持CDSW安装,文件下载地址


https://archive.cloudera.com/cdsw1/1.5.0/csd/CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH6-1.5.0.jar


2.将下载CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH5-1.5.0.jar文件放在CM所在服务器的/opt/cloudera/csd目录下


[root@ip-172-31-6-83 ~]# cd /opt/cloudera/csd/
[root@ip-172-31-6-83 csd]# ll
total 12
-rw-r--r-- 1 root root 10789 Jan 29 04:43 CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH6-1.5.0.jar
[root@ip-172-31-6-83 csd]#


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_03


3.重启Cloudera-scm-server服务


[root@ip-172-31-6-83 csd]# systemctl restart cloudera-scm-server
[root@ip-172-31-6-83 csd]# systemctl status cloudera-scm-server
● cloudera-scm-server.service - Cloudera CM Server Service
Loaded: loaded (/usr/lib/systemd/system/cloudera-scm-server.service; enabled; vendor preset: disabled)
Active: active (running) since Sat 2019-04-13 11:43:51 CST; 1min 8s ago
Main PID: 18788 (java)
CGroup: /system.slice/cloudera-scm-server.service
└─18788 /usr/lib/jvm/java-1.8.0-openjdk/bin/java -cp .:/usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:lib/* -server -Dlog4j.configuration...

Apr 13 11:43:51 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Started Cloudera CM Server Service.
Apr 13 11:43:51 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Starting Cloudera CM Server Service...
Apr 13 11:43:51 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
Apr 13 11:43:51 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0
Apr 13 11:43:53 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console. Set system prope...tion logging.
Apr 13 11:44:10 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: Security framework of XStream not initialized, XStream is probably vulnerable.
Apr 13 11:44:20 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[18788]: Security framework of XStream not initialized, XStream is probably vulnerable.
Hint: Some lines were ellipsized, use -l to show in full.
[root@ip-172-31-6-83 csd]#


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_04


4

添加CDSW节点到集群


1.登录CM,新建一个主机模板


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_java_05


2.选择模板拥有的角色


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_java_06


3.完成主机模板创建


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_07


4.使用添加主机引导,进行主机添加,将cdsw master主机添加到集群,如下图所示为cdsw.fayson.com新节点,关于如何扩容,请参考Fayson以前的文章《​​如何给Kerberos环境下的CDH集群添加Gateway节点​​


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_08


5.选择cdsw master主机,应用主机模板


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_java_09

0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_10


应用成功

0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_11


5

配置CDSW的Parcle库


1.配置Parcel库


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_12


2.下载、分配并激活


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_13

0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_14

0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_15


3.完成激活


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_16


6

安装DNS服务并配置泛域名解析


1.安装dnsmasq


[root@cdsw ~]# yum -y install dnsmasq


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_17


2.验证安装


[root@cdsw ~]# dnsmasq -v


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_18


3.配置DNS服务以及泛域名解析,在/etc/dnsmasq.conf文件末尾增加以下配置。


[root@cdsw ~]# vim /etc/dnsmasq.conf
strict-order
listen-address=172.31.13.133
addn-hosts=/etc/hosts
address=/cdsw.fayson.com/172.31.13.133
address=/cdsw/172.31.13.133


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_java_19

0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_20


配置说明:

resolve-file:定义Dnsmasq从哪里获取上游DNS服务器的地址, 默认是从/etc/resolv.conf获取。

strict-order:表示严格按照resolv-file文件中的顺序从上到下进行DNS解析,直到第一个解析成功为止。

listen-address:定义Dnsmasq监听的地址,默认是监控DNS本机的所有网卡上。如果想让局域网内的其他机器使用Dnsmasq解析域名的话,需要添加本机的IP地址。

address:自定义域名解析的IP地址,在此以cdsw-demo.cloudera.com这个域名为例。注意Dnsmasq是支持泛域名解析的,以上配置就是一个典型的泛域名解析实例。

address:也可以过滤某些网站,比如如果不想让客户端解析youk.com这个域名的话,我们则把该域名解析到一台不存在的服务器上或者解析到127.0.0.1这个地址。如:address=/ cdsw-demo.cloudera.com/127.0.0.1


4.启动dnsmasq服务


[root@cdsw ~]# systemctl start dnsmasq
[root@cdsw ~]# systemctl enable dnsmasq


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_21


5.修改/etc/resolv.conf文件配置,在nameserver中增加创建的DNS服务器IP地址,Fayson这里是将cdsw本机配置为dns服务器,所以将cdsw这台机器的内网IP地址配置到该文件中。


[root@cdsw ~]# vim /etc/resolv.conf


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_java_22


6.泛域名解析测试


nslookup 172.31.13.133
nslookup cdsw.fayson.com
nslookup xxx.cdsw.fayson.com


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_23


7

安装CDSW服务


1.进入CM主页,选择集群点击“添加服务”


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_24


2.进入添加服务引导界面, 选择“Cloudera Data Science Workbench”,点击“继续”


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_25


3.选择Master和Worker,点击“继续”,Fayson的环境只有一台机器,Worker节点不用选择,为空即可。


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_26

0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_27


4.输入Domain和Block Device,点击“继续”


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_java_28


注意:/dev/xvdf必须是一块大于100GB的裸盘,生产环境建议500GB以上,并配置多块。


5.首次运行CDSW,点击“继续”


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_29

0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_30


6.完成CDSW安装


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_31


主页显示

0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_32


CDSW启动需要一段时间,等待10-20分钟后再访问CDSW控制台。


8

测试CDSW功能


1.Fayson使用的是AWS环境,访问CDSW需要用内网的里的Windows机器,我们这里先配置Windows机器连接到我们刚配置的DNS服务。


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_33


2.进入CDSW服务,点击链接登录CDSW控制台


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_34


3.点击CDSW Web UI进入CDSW登录界面


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_java_35


4.点击“Sign Up fo a New Account”注册,首次注册的账号默认为管理员账号


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_36


5.使用admin用户登录CDSW


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_37


6.点击New Project创建一个Python工程


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_38


7.工程创建完成后,打开“Open Workbench”,启动一个python的会话


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_39

0600-6.1.0-如何在CDH6.1中安装CDSW1.5_域名解析_40

0600-6.1.0-如何在CDH6.1中安装CDSW1.5_java_41


8.执行示例代码


0600-6.1.0-如何在CDH6.1中安装CDSW1.5_cloudera_42

这里Fayson就简单的创建一个Python工程,运行工程里的示例代码测试,更多的功能及用法可以看看Fayson前面写的关于CDSW的一些文章。


8

总结


  • CDSW访问时需要用到泛域名,因此必须为CDSW Master节点配置泛域名解析,具体可参看Fayson前面讲的​​如何在Windows Server2008搭建DNS服务并配置泛域名解析​​》、《​​如何利用Dnsmasq构建小型集群的本地DNS服务器​​》、《​​如何在Windows Server2012搭建DNS服务并配置泛域名解析​​》,《​​如何在RedHat6上使用Bind搭建DNS服务​​》或《​​如何在RedHat7上使用Bind搭建DNS服务​​
  • CDSW节点是运行在CM管理的Gateway节点上的,所有CDSW的节点需要满足CDH的前置条件检查,具体可以参考《​​CDH安装前置准备​​
  • CDSW所有节点需要加入CDH集群,并部署HDFS 、Yarn、Spark2的Gateway
  • CDSW Master节点需要有多块DISK,磁盘空间大于100G,不需要对磁盘进行格式化分区操作。
  • 注意CDH6的CDSW的csd文件与CDH5的是不相同的。



提示:代码块部分可以左右滑动查看噢


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。


推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

0600-6.1.0-如何在CDH6.1中安装CDSW1.5_java_43

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


举报

相关推荐

0 条评论