安装Docker
Docker安装mysql EFAK监控面板会用到
EFAK监控面板
容器安装
1、kafka需要zookeeper管理，所以需要先安装zookeeper。 （PS：2.8版本以后kafka-Kraft 模式不再依赖zk，目前别的很多组件都依赖zk注册，所以还是以zk举例）
2、下载zookeeper镜像
$ docker pull wurstmeister/zookeeper
$ docker pull wurstmeister/kafka
启动zk镜像生成容器
docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper
$ docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper
启动kafka镜像生成容器
## docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
$ docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
参数说明：
-e KAFKA_BROKER_ID=0 在kafka集群中，每个kafka都有一个BROKER_ID来区分自己
-e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka 配置zookeeper管理kafka的路径172.16.0.13:2181/kafka
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 把kafka的地址端口注册给zookeeper，如果是远程访问要改成外网IP,类如Java程序访问出现无法连接。
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口
-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间
3、验证kafka是否可以使用
$ docker exec -it kafka bash
进入 /opt/kafka_2.12-2.3.0/bin/ 目录下
$ cd /opt/kafka_2.12-2.3.0/bin/
运行kafka生产者发送消息
$ ./kafka-console-producer.sh --broker-list localhost:9092 --topic sun
发送消息
> hello world
运行kafka消费者接收消息
$ ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sun --from-beginning
docker-compose
安装docker-compose
新建 /opt/mydocker/docker-compose.yml
version: "2"
services: #服务名，也可自定义
zookeeper:
image: wurstmeister/zookeeper
container_name: zookeeper
ports:
- "2181:2181"
kafka:
image: wurstmeister/kafka
container_name: kafka
expose:
- "9999"
ports:
- "9092:9092"
- "9999:9999"
environment:
KAFKA_ADVERTISED_HOST_NAME: 192.168.233.129
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
JMX_PORT: 9999 #启用远程JMX 监控面板用
volumes:
- /var/run/docker.sock:/var/run/docker.sock
docker-compose config -q # 检查配置，有问题才有输出，进入docker-compose.yml文件目录执行
docker-compose up -d # 启动所有docker-compose服务并后台运行
docker ps # 查看容器
zookeeper查看节点
进入容器
docker exec -it 容器id或容器name bash
cd bin
./zkCli.sh
ls /
查看kafka集群节点
ls /brokers/ids
ls /brokers/topics
安装EFAK
官网下载
EFAK V2.0.7 将 Kafka-Eagle 重命名为 EFAK（Eagle For Apache Kafka）
tar -zxvf kafka-eagle-bin-2.0.7.tar.gz
tar -zxvf efak-web-2.0.7-bin.tar.gz -C /opt/module/
mv efak-web-2.0.7/ efak
修改配置文件 /opt/module/efak/conf/system-config.properties
# 第一处
efak.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.233.129:2181
# 第二处
######################################
# kafka offset storage
cluster1.efak.offset.storage=kafka
# cluster2.efak.offset.storage=zk
# 第三处
######################################
# kafka sqlite jdbc driver address
######################################
# sqlite 和 mysql 都可以
######################################
# kafka mysql jdbc driver address
######################################
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://192.168.233.129:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=123456
添加环境变量
sudo vim /etc/profile.d/my_env.sh
# kafkaEFAK
export KE_HOME=/opt/module/efak
export PATH=$PATH:$KE_HOME/bin
source /etc/profile
先启动zk和kafka
# 启动kafka-eagle
bin/ke.sh start
记得开放端口
#查看进程，启动失败控制台不会报错，只能去看日志
ps -ef|grep efak
遇到情况：内存不足。最少2个G内存
容器编排启动时，Kafka命令行操作报错
进入/opt/kafka_2.13-2.8.1/bin
加一句
ISKAFKASERVER="false"
if [[ "$*" =~ "kafka.Kafka" ]]; then
ISKAFKASERVER="true"
fi
改动这一行
if [ $JMX_PORT ] && [ -z "$ISKAFKASERVER" ]; then
