0
点赞
收藏
分享

微信扫一扫

大数据平台分布式搭建（伪分布式）

想溜了的蜗牛 2022-04-24 阅读 59
hivemysqlsqlzookeeperbig data

1、创建虚拟机  jdk步骤与zookeeper
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPRPTO=static
ONBOOT=yes
IPADDR=192.168.100.--(48)
GATEWAY=192.168.100.0
NETMASK=255.255.255.0

更新网络配置
systemctl restart network

停止网络服务
systemctl stop NetworkManager

重启网络服务
systemctl start network.service

关闭防火墙
1:查看防火状态

systemctl status firewalld

service  iptables status

2:暂时关闭防火墙

systemctl stop firewalld

service  iptables stop

3:永久关闭防火墙

systemctl disable firewalld

chkconfig iptables off

4:重启防火墙

systemctl enable firewalld

service iptables restart  

更改主机名
 hostnamectl set-hostname [YOUR NEW HOSTNAME]

查看主机名
hostnamectl

配置jdk
mkdir /usr/java
tar -zxvf 文件名 -C /usr/local

export JAVA_HOME=usr/java/jdk1.8.0_171
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

zookeeper搭建
tar -zxvf zookeeper-3.4.14.tar.gz -C /usr/zookeeper

export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.14
export PATH=$ZOOKEEPER_HOME/bin:$PATH

cp /usr/zookeeper/zookeeper-3.4.14/conf/zoo_sample.cfg /usr/zookeeper/zookeeper-3.4.14/conf/zoo.cfg

vi /usr/zookeeper/zookeeper-3.4.14/conf/zoo.cfg
server.1=192.168.100.45:2222:3333
server.2=192.168.100.45:4444:5555
server.3=192.168.100.45:6666:7777（伪分布式搭建需保证端口号不同）


--conf/下 创建三个配置文件 内容保持一致
--放东西的目录需要修改
dataDir=/tmp/zookeeper
dataDir=/tmp/zookeeper2
dataDir=/tmp/zookeeper3

创建存放文件的目录
mkdir /tmp/zookeeper
mkdir /tmp/zookeeper2
mkdir /tmp/zookeeper3

端口号
clientPort=2181
clientPort=2182
clientPort=2183

序列号
[root@localhost conf]# vi /tmp/zookeeper/myid
[root@localhost conf]# vi /tmp/zookeeper2/myid
[root@localhost conf]# vi /tmp/zookeeper3/myid

启动进程
[root@localhost conf]# zkServer.sh start zoo.cfg

[root@localhost conf]# zkServer.sh start zoo2.cfg

[root@localhost conf]# zkServer.sh start zoo3.cfg

重启进程
zkServer.sh restart zoo.cfg
zkServer.sh restart zoo2.cfg
zkServer.sh restart zoo3.cfg

链接zookeeper服务器
zkCli.sh -timeout 50000 -r -server 192.168.100.45:2181

命令查询
sad

创建节点
create /node1 content1
创建 /节点一 内容

更新节点内容
set /node1 content_update_2

展示根目录下的东西
ls /

查看
stat /node1

ls2 相当于 ls+ stat

查看配额
listquota

退出zookeeper
quit

1. 启动ZK服务:       sh bin/zkServer.sh start

2. 查看ZK服务状态: sh bin/zkServer.sh status

3. 停止ZK服务:       sh bin/zkServer.sh stop

4. 重启ZK服务:       sh bin/zkServer.sh restart

hadoop伪分布式与文件配置

vi /etc/hosts
加一行 192.168.100.45 fake

检查一下防火墙状态
systemctl status firewalld

ssh免密
ssh-keygen
或 ssh-keygen -t rsa
一路回车即可
ssh-copy-id fake
//ssh-copy-id loaclhost


解压hadoop(记得创建一个文件夹)
tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/hadoop

配置环境变量
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.7
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH

source /etc/profile
hadoop version

设置Javahome
vi /usr/local/hadoop/hadoop-2.7.7/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_171

vi /usr/local/hadoop/hadoop-2.7.7/etc/hadoop/yarn-env.sh
同上 也是修改Javahome


依次配置文件
vi /usr/local/hadoop/hadoop-2.7.7/etc/hadoop/core-site.xml
更改主机名与缓存地址

vi /usr/local/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
第一个主机副本数
二三为目录 目录地址会自动创建

cp mapred-site.xml.template  mapred-site.xml  （可以进入目录内cp）
vi mapred-site.xml

vi /usr/local/hadoop/hadoop-2.7.7/etc/hadoop/yarn-site.xml
更改主机名

slaves不用改

格式化
hadoop namenode -format

整体启动
start-all.sh

192.168.100.45:50070 hdfs
192.168.100.45:8088 yarn

stop-all.sh

单节点的hive

安装MySQL（md文档）

环境准备
# CentOS7中，系统默认采用的数据库是mariadb，这个数据库与MySql冲突！
# 因此，在安装MySql之前，需要先将其卸载！
[root@qianfeng01 ~]# rpm -qa | grep mariadb            # 查询是否已经安装了mariadb
mariadb-libs-5.5.64-1.el7.x86_64                                # 查询结果。如果没有这个结果，说明没有安装。

# 强制卸载mariadb
# --nodeps: 强制卸载，RPM卸载程序的时候，如果这个程序被其他的程序依赖，是无法卸载的。
#           此时，就需要使用--nodeps，忽略依赖，强制卸载。
# 下面的卸载命令中，卸载的包是上方查询到的包
[root@qianfeng01 ~]# rpm -e mariadb-libs-5.5.64-1.el7.x86_64 --nodeps

安装MySQL
# 安装MySql, 其实就需要安装 mysql-community-server, 但是它依赖其他的包
先将安装包解压，得到所有需要安装的rpm包
[root@qianfeng01 MySql]# tar -xvf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar
然后一个一个的安装
[root@qianfeng01 MySql]# rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
[root@qianfeng01 MySql]# rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
[root@qianfeng01 MySql]# rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
[root@qianfeng01 MySql]# yum install -y net-tools
[root@qianfeng01 MySql]# yum install -y perl
[root@qianfeng01 MySql]#rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

启动MySQL服务
# 查看MySql服务的运行状态
[root@qianfeng01 ~]# systemctl status mysqld
# 如果Mysql服务没有开启，则开启
[root@qianfeng01 ~]# systemctl start mysqld

登录到MySQL
# 在第一次开启MySql服务的时候，会自动生成一个随机的密码
[root@qianfeng01 ~]# grep password /var/log/mysqld.log            # 到mMysqld.log文件中查找password
2020-12-16T07:47:14.117739Z 1 [Note] A temporary password is generated for root@localhost: pVLJs6&o(QQe

# 使用这个随机密码登录到MySql
[root@qianfeng01 ~]# mysql -u root -p
dQj3ymqYjr;p# 这里用自己的密码登录

修改密码
# 1. 修改MySql的密码策略（安全等级）
#    MySql默认的密码安全等级有点高，在设置密码的时候，必须同时包含大小写字母、数字、特殊字符，以及对位数有要求
show variables like '%validate_password%';                    # 查看密码策略
set global validate_password_policy=LOW;                        # 修改密码策略等级为LOW
set global validate_password_length=4;                            # 密码的最小长度
set global validate_password_mixed_case_count=0;      # 设置密码中至少要包含0个大写字母和小写字母
set global validate_password_number_count=0;                 # 设置密码中至少要包含0个数字
set global validate_password_special_char_count=0;    # 设置密码中至少要包含0个特殊字符

# 2. 修改密码
alter user root@localhost identified by '123456';

# 3. 远程授权
grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;

重新登录即可


配置hive            
cp conf/hive-env.sh.template conf/hive-env.sh

vi conf/hive-env.sh
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.7

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/usr/hive/conf
export HIVE_AUX_JARS_PATH=/usr/hive/lib

直接vi conf/hive-site.xml
添加MySQL密码
localhost改为IP地址

vi /bin/hive-config.sh
export JAVA_HOME=/usr/local/jdk1.8.0_171
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.7
export HIVE_HOME=/usr/hive

vi /etc/profile
export HIVE_HOME=/usr/hive
export PATH=$HIVE_HOME/bin:$PATH

更新一下jar包
cp $HIVE_HOME/lib/jline-2.12.jar $HADOOP_HOME/share/hadoop/yarn/lib

source /etc/profile


将MySql的驱动包mysql-connector-java-5.1.28-bin.jar上传到$HIVE_HOME/lib下(==注意:驱动是jar结尾,不是tar结尾==)
# cp /home/mysql-connector-java-8.0.26.jar ./hive-2.3.7/lib/

初始化
schematool -initSchema -dbType mysql

启动Hive元数据
==启动元数据服务之前一定要将将HDFS启动并可用==
hive --service metastore &

连接Hive客户端
hive

举报

相关推荐

Hadoop伪分布式搭建

java后端

redis 伪分布式集群搭建

日记本架构互联网架构程序员

Hadoop伪分布式集群搭建

hadoophdfsjava系统/运维

伪分布式配置

hadooplinux大数据hdfsjava编程语言

分布式、分布式系统、分布式计算、分布式存储

分布式java微服务

Hadoop伪分布式

hadoopsql

大数据笔记（三）：HDFS集群搭建-伪分布式模式

大数据Hadoop

Hadoop使用伪分布式的搭建

hadoophdfsjava

Hadoop 伪分布式搭建(超详细)

java后端

hadoop2.2.0伪分布式搭建

分布式架构linux
0 条评论