Kubernetes 私有集群 LoadBalancer 解决方案-CFANZ编程社区

Kubernetes 私有集群 LoadBalancer 解决方案

前言

一般在机房或者云上使用ECS自建Kubernetes集群是无法使用 LoadBalancer 类型的 Service 。因为 Kubernetes 本身没有为裸机群集提供网络负载均衡器的实现。

自建的 Kubernetes 集群暴露让外网访问，目前只能使用 NodePort 或 Ingress 等的方法进行服务暴露。NodePort 缺点是每个暴露的服务需要占用所有节点的某个端口。Ingress 是一个不错的解方法。

有没有方法，让自建的 Kubernetes 集群也能使用 LoadBalancer 类型的 Service ？

当然有方法可以实现，今天介绍一个 MetalLB 应用，可以实现这个功能。

什么是 MetalLB

MetalLB 是一个负载均衡器，专门解决裸金属 Kubernetes 集群中无法使用 LoadBalancer 类型服务的痛点。MetalLB 使用标准化的路由协议，以便裸金属 Kubernetes 集群上的外部服务也尽可能地工作。即 MetalLB 能够帮助你在裸金属 Kubernetes 集群中创建 LoadBalancer 类型的 Kubernetes 服务，该项目发布于 2017 年底，当前处于 Beta 阶段。

注意：MetalLB 项目还是处于 Beta 阶段，暂时不推荐用于生产环境。

项目地址：https://github.com/danderson/metallb

MetalLB 概念

MetalLB 会在 Kubernetes 内运行，监控服务对象的变化，一旦监测到有新的 LoadBalancer 服务运行，并且没有可申请的负载均衡器之后，就会完成地址分配和外部声明两部分的工作。

地址分配

在云厂商提供的 Kubernetes 集群中，Service 声明使用 LoadBalancer时，云平台会自动分配一个负载均衡器的IP地址给你，应用可以通过这个地址来访问。

使用 MetalLB 时，MetalLB 会自己为用户的 LoadBalancer 类型 Service 分配 IP 地址，当然该 IP 地址不是凭空产生的，需要用户在配置中提供一个 IP 地址池，Metallb 将会在其中选取地址分配给服务。

外部声明

一旦 MetalLB 为服务分配了IP地址，它需要对外宣告此 IP 地址，并让外部主机可以路由到此 IP。

外部声明有两种模式：

Layer 2 模式
BGP 模式

1、Layer 2 模式

Layer 2 模式下，每个 Service 会有集群中的一个 Node 来负责。服务的入口流量全部经由单个节点，然后该节点的 Kube-Proxy 会把流量再转发给服务的 Pods。也就是说，该模式下 MetalLB 并没有真正提供负载均衡器。尽管如此，MetalLB 提供了故障转移功能，如果持有 IP 的节点出现故障，则默认 10 秒后即发生故障转移，IP 会被分配给其它健康的节点。

Layer 2 模式优点与缺点：

优点：

是它的通用性：它可以在任何以太网网络上运行，不需要特殊的硬件。

缺点：

Layer 2 模式下存在单节点瓶颈，服务所有流量都经过一个Node节点。这意味着服务的入口带宽被限制为单个节点的带宽。
由于 Layer 2 模式需要 ARP/NDP 客户端配合，当故障转移发生时，MetalLB 会发送 ARP 包来宣告 MAC 地址和 IP 映射关系的变化，地址分配略为繁琐。

2、BGP 模式

BGP 模式下，集群中所有node都会跟上联路由器建立BGP连接，并且会告知路由器应该如何转发service的流量。

BGP 模式优点与缺点：

优点：

BGP模式下才是一个真正的 LoadBalancer，通过BGP协议正确分布流量，不再需要一个Leader节点。

缺点：

不能优雅处理故障转移，当持有服务的节点宕掉后，所有活动连接的客户端将收到 Connection reset by peer。
需要上层路由器支持BGP。而且因为BGP单session的限制，如果Calico也是使用的BGP模式，就会有冲突从而导致metallb无法正常工作。

MetalLB 环境要求

MetalLB 需要以下环境才能运行：

Kubernetes 1.13.0 版本或更高版本的集群。
Kubernetes 集群网络组件需要支持MetalLB 服务，具体参考: https://metallb.universe.tf/installation/network-addons/
MetalLB 需要能分配IPv4地址。
根据操作模式的不同，可能需要一个或多个能够使用BGP的路由器。

MetalLB 目前支持网络插件范围：

网络插件	兼容性
Calico	部分支持（有附加条件）
Canal	支持
Cilium	支持
Flannel	支持
Kube-router	部分支持（有附加条件）
Romana	部分支持（有附加条件）
Weave Net	部分支持（有附加条件）

MetalLB 可以在Kubenetes 1.13 或更高版本的 Kube-Proxy 中使用 IPVS 模式。但是，它尚未明确测试，因此风险自负。具体内容可参考：https://github.com/google/metallb/issues/153

MetalLB 部署

注意

如果环境是 Kubernetes v1.14.2+ 使用 IPVS模式，必须启用ARP模式。

编辑集群中kube-proxy配置

$ kubectl edit configmap -n kube-system kube-proxy

下面是具体设置

apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: "ipvs"
ipvs:
  strictARP: true

使用 YAML 文件部署

# 安装目前最新版本 v0.9.3
 
 
# 创建 namespaces
[root@k8s-master ~]# echo "151.101.76.133 raw.githubusercontent.com" >> /etc/hosts

[root@k8s-master ~]# kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.9.3/manifests/namespace.yaml
 
 
# 首次安装需要设置 memberlist secret
[root@k8s-master ~]# kubectl create secret generic -n metallb-system memberlist --from-literal=secretkey="$(openssl rand -base64 128)"
 
#上传镜像到所有节点 外网地址下载很慢需提前准备好镜像
metallb/controller:v0.9.3
metallb/speaker:v0.9.3

# 部署
[root@k8s-master ~]# kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.9.3/manifests/metallb.yaml
 
 
# 查看
[root@k8s-master ~]# kubectl  get svc,pod -n metallb-system
NAME                              READY   STATUS    RESTARTS   AGE
pod/controller-57f648cb96-gcnv4   1/1     Running   0          65m
pod/speaker-c7mww                 1/1     Running   0          62m
pod/speaker-ddfg6                 1/1     Running   0          63m

部署完，YAML 文件中主要包含以下一些组件：

metallb-system/controller：负责IP地址的分配，以及service和endpoint的监听
metallb-system/speaker：负责保证service地址可达，例如Layer 2模式下，speaker会负责ARP请求应答
Controller 和Speaker 的Service Accounts，以及组件需要运行的RBAC 权限。

注意，部署后，还需要根据具体的地址通告方式，配置 configmap metallb-system/config。controller 会读取该configmap，并reload配置。

配置 MetalLB

配置 MetalLB 为 Layer 2模式（使用 yaml 文件部署）

[root@k8s-master ~]# vim MetalLB-Layer2-Configmap.yaml

kind: ConfigMap
apiVersion: v1
metadata:
  name: config
  namespace: metallb-system
data:
  config: |
    address-pools:
    - name: default
      protocol: layer2
      addresses:
      - 192.168.0.100-192.168.0.200     ##使用合法的可访问的地址

上面例子，将配置一个由 MetalLB 二层模式控制的 service 外部 IP 段为 192.168.0.100 - 192.168.0.200。

注意：IP段根据自己实际情况来设置

# 部署 configmap
$ kubectl apply -f MetalLB-Layer2-Configmap.yaml

创建内部负载均衡器

若要创建内部负载均衡器，请使用服务类型 LoadBalancer 和 azure-load-balancer-internal 注释创建名为 internal-lb.yaml 的服务清单，如以下示例所示** **：

apiVersion: v1
kind: Service
metadata:
  name: internal-app
  annotations:
    service.beta.kubernetes.io/azure-load-balancer-internal: "true"
spec:
  type: LoadBalancer
  ports:
  - port: 80
  selector:
    app: internal-app

kubectl apply -f internal-lb.yaml

内部负载均衡器的 IP 地址显示在“EXTERNAL-IP”列中**。在此上下文中，External 是指负载均衡器的外部接口，不是指收到公共的外部 IP 地址。可能需要一两分钟，IP 地址才会从 ** 更改为实际的内部 IP 地址，如以下示例所示：

$ kubectl get service internal-app

NAME           TYPE           CLUSTER-IP    EXTERNAL-IP   PORT(S)        AGE
internal-app   LoadBalancer   10.0.248.59   192.168.0.100    80:30555/TCP   2m

指定 IP 地址

若要对内部负载均衡器使用特定的 IP 地址，请将 loadBalancerIP 属性添加到负载均衡器 YAML 清单**。在此方案中，指定的 IP 地址必须位于 AKS 群集所在的子网，并且必须尚未分配给某个资源。例如，不应使用为 Kubernetes 子网指定的范围内的 IP 地址。

apiVersion: v1
kind: Service
metadata:
  name: internal-app
  annotations:
    service.beta.kubernetes.io/azure-load-balancer-internal: "true"
spec:
  type: LoadBalancer
  loadBalancerIP: 10.240.0.25
  ports:
  - port: 80
  selector:
    app: internal-app

在部署后查看服务详细信息时，“EXTERNAL-IP”列中的 IP 地址反映了指定的 IP 地址**：

$ kubectl get service internal-app

NAME           TYPE           CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
internal-app   LoadBalancer   10.0.184.168   10.240.0.25   80:30225/TCP   4m

测试

下面我们创建一个服务类型为 LoadBalancer 的 Nginx 服务 Demo 来演示

[root@k8s-master ~]# vim demo1.deploy.yml

apiVersion: v1
kind: Service
metadata:
  name: demo1
  namespace: default
  labels:
    app: demo1
spec:
  type: LoadBalancer
  ports:
    - port: 80
      targetPort: http
      protocol: TCP
      name: http
  selector:
    app: demo1
 
 
---
 
 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: demo1-deployment
  namespace: default
  labels:
    app: demo1
spec:
  replicas: 2
  selector:
    matchLabels:
      app: demo1
  template:
    metadata:
      labels:
        app: demo1
    spec:
      containers:
      - name: demo1
        image: mritd/demo
        ports:
          - name: http
            containerPort: 80
            protocol: TCP

从输出结果，可以看到 LoadBalancer 类型的服务，并且分配外部 IP 地址是地址池中的第一个 IP 192.168.0.100。

直接访问下 LoadBalancer IP 192.168.0.100，下面访问成功。

# 部署
[root@k8s-master ~]# kubectl apply -f demo1.deploy.yml
 
 
# 查看
kubectl  get svc,pod -n default
 
 
NAME                 TYPE           CLUSTER-IP      EXTERNAL-IP     PORT(S)        AGE
service/demo1        LoadBalancer   10.10.241.163   192.168.0.100   80:39916/TCP   34s
 
 
NAME                                    READY   STATUS    RESTARTS   AGE
pod/demo1-deployment-64f769965b-m28cn   1/1     Running   0          34s
pod/demo1-deployment-64f769965b-wp2gg   1/1     Running   0          34s

配置 MetalLB 为 BGP 模式

配置 BGP 模式，需要先准备好下面4条信息：

MetalLB 应该连接的路由器IP地址
路由器的 AS 号
MetalLB 应该使用的 AS 号
以 CIDR 前缀表示的IP地址范围

由于本环境基于云上ECS搭建，云上不支持 BGP，所以无法演示

下面简单介绍下 BGP 配置：

前面已经安装了 MetalLB 的 Controller 和 Speaker，所使用的是 Layer 2 模式。这里只需要把 Configmap 中 Config 改为 BGP 模式 配置就行。

假设 MetalLB 提供范围 192.168.10.0/24 和 AS 号 65009，并将其连接到 192.168.0.10 的 AS 号为 65000 的路由器，具体配置如下：

[root@k8s-master ~]# vim MetalLB-BGP-Configmap.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  namespace: metallb-system
  name: config
data:
  config: |
    peers:
    - peer-address: 192.168.0.10
      peer-asn: 65000
      my-asn: 65009
    address-pools:
    - name: default
      protocol: bgp
      addresses:
      - 192.168.10.0/24

总结

本文简单介绍了 MetalLB 工具以及两种部署模式：Layer 2 模式和 BGP 模式。

如果集群环境支持 BGP，推荐使用 BGP 模式。