Ingress

Service很有用,但也只能说是“基础设施”,它对网络流量的管理方案还是太简单,离复杂的现代应用架构需求还有很大的差距。

Service本质上就是一个由kube-proxy控制的四层负载均衡,在TCP/IP协议栈上转发流量。Service对集群外暴露服务的主要方式有两种:NodePort和LoadBalancer,但是这两种方式,都有一定的缺点:

基于这种现状,k8s提供了Ingress资源对象。工作机制大致如下图所示:

实际上,Ingress相当于一个7层的负载均衡器,是 K8s对反向代理的一个抽象,它的工作原理类似于Nginx,可以理解成在Ingress里建立诸多映射规则,Ingress Controller通过监听这些配置规则并转化成Nginx的配置,然后对外部提供服务。在这里有两个核心概念:

Ingress(以nginx为例)的工作原理如下:

  1. 用户编写ingress规则,说明哪个域名对应k8s集群中的哪个service
  2. ingress控制器动态感知ingress服务规则的变化,然后生成一段对应的nginx配置
  3. ingress控制器会将生成的nginx配置写入到一个运行着的nginx服务中,并动态更新
  4. 到此为止,其实真正在工作的就是一个nginx了,内部配置了用户定义的请求转发规则

生产环境下部署 Ingress-Nginx

通常,在生产环境下,我们会使用云厂商直接提供的 Kubernetes 集群和部署生产版本的 Ingress-Nginx。要部署生产版本的 Ingress-Nginx 可以使用下面的命令。

$ kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.3.1/deploy/static/provider/cloud/deploy.yaml

部署完成后,你可以通过 kubectl get svc 来获取 Ingress-Nginx 的外网 IP 地址。注意,需要指定 ingress-nginx 命名空间。

$ kubectl get svc -n ingress-nginx
NAME                                 TYPE          CLUSTER-IP     EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx-controller             LoadBalancer  10.96.146.9    18.176.38.12  80:32192/TCP,443:30400/TCP   13m

其中,EXTERNAL-IP 就是 Ingress-Nginx 的外网 IP 地址,这个 IP 也就是业务系统的唯一入口,我们可以将它配置到 DNS 域名解析的记录中,这样用户就可以通过域名的方式来访问业务应用了。

在多数实际项目中,Ingress 都是服务暴露的最佳实践。

准备 Service和 Pod

创建下图所示的模型

创建 Nginx 和 Tomcat 的yaml

apiVersion: apps/v1
kind: Deployment
metadata: 
  name: nginx-deployment
  namespace: dev
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx-pod
  template:
    metadata:
      labels:
        app: nginx-pod
    spec:
      containers:
      - name: nginx
        image: nginx:1.17.1
        ports: 
        - containerPort: 80
---
apiVersion: apps/v1
kind: Deployment
metadata: 
  name: tomcat-deployment
  namespace: dev
spec:
  replicas: 3
  selector:
    matchLabels:
      app: tomcat-pod
  template:
    metadata:
      labels:
        app: tomcat-pod
    spec:
      containers:
      - name: tomcat
        image: tomcat:8.5-jre10-slim
        ports: 
        - containerPort: 8080
---
apiVersion: v1
kind: Service
metadata: 
  name: nginx-service
  namespace: dev
spec:
  selector:
    app: nginx-pod
  clusterIP: None
  type: ClusterIP
  ports:
  - port: 80
    targetPort: 80
---
apiVersion: v1
kind: Service
metadata: 
  name: tomcat-service
  namespace: dev
spec:
  selector:
    app: tomcat-pod
  clusterIP: None
  type: ClusterIP
  ports:
  - port: 8080
    targetPort: 8080
[root@master service]# kubectl create -f deployment.yaml 
deployment.apps/nginx-deployment created
deployment.apps/tomcat-deployment created
service/nginx-service created
service/tomcat-service created
[root@master service]# kubectl get svc -n dev
NAME             TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE
nginx-service    ClusterIP   None         <none>        80/TCP     50s
tomcat-service   ClusterIP   None         <none>        8080/TCP   50s

创建 Ingress

创建ingress-http.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ingress-http
  namespace: dev
spec:
  ingressClassName: nginx
  rules:
  - host: nginx.test.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: nginx-service
            port:
              number: 80
  - host: tomcat.test.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: tomcat-service
            port:
              number: 8080

Ingress 指定的 Service 端口号其实就是 Service 对象的 Port 字段

[root@master service]# kubectl create -f ingress-http.yaml 
ingress.networking.k8s.io/ingress-http created
[root@master service]# kubectl get ing ingress-http -n dev
NAME           CLASS   HOSTS                            ADDRESS   PORTS   AGE
ingress-http   nginx   nginx.test.com,tomcat.test.com             80      22s
[root@master service]# kubectl describe ing ingress-http -n dev
Name:             ingress-http
Labels:           <none>
Namespace:        dev
Address:          
Default backend:  default-http-backend:80 (<error: endpoints "default-http-backend" not found>)
Rules:
  Host             Path  Backends
  ----             ----  --------
  nginx.test.com   
                   /   nginx-service:80 (10.244.1.120:80,10.244.1.121:80,10.244.1.129:80 + 3 more...)
  tomcat.test.com  
                   /   tomcat-service:8080 (10.244.1.127:8080,10.244.1.128:8080,10.244.2.49:8080)
Annotations:       <none>
Events:
  Type    Reason  Age   From                      Message
  ----    ------  ----  ----                      -------
  Normal  Sync    29s   nginx-ingress-controller  Scheduled for sync
  Normal  Sync    29s   nginx-ingress-controller  Scheduled for sync

修改本机的hosts文件

node虚拟机的IP地址    nginx.test.com
node虚拟机的IP地址    tomcat.test.com

查看ingress为service提供的端口号

[root@master service]# kubectl get svc -n ingress-nginx
NAME                                 TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx-controller             LoadBalancer   10.96.49.11     <pending>     80:31915/TCP,443:30664/TCP   38m
ingress-nginx-controller-admission   ClusterIP      10.96.201.100   <none>        443/TCP                      38m

为什么要有Ingress Controller

Ingress可以说是在七层上另一种形式的Service,它同样会代理一些后端的Pod,也有一些路由规则来定义流量应该如何分配、转发,只不过这些规则都使用的是HTTP/HTTPS协议。

你应该知道,Service本身是没有服务能力的,它只是一些iptables规则, **真正配置、应用这些规则的实际上是节点里的kube-proxy组件**。如果没有kube-proxy,Service定义得再完善也没有用。

同样的,Ingress也只是一些HTTP路由规则的集合,相当于一份静态的描述文件,真正要把这些规则在集群里实施运行,还需要有另外一个东西,这就是 Ingress Controller,它的作用就相当于Service的kube-proxy,能够读取、应用Ingress规则,处理、调度流量。

按理来说,Kubernetes应该把Ingress Controller内置实现,作为基础设施的一部分,就像kube-proxy一样。

不过Ingress Controller要做的事情太多,与上层业务联系太密切,所以Kubernetes把Ingress Controller的实现交给了社区,任何人都可以开发Ingress Controller,只要遵守Ingress规则就好。

这就造成了Ingress Controller“百花齐放”的盛况。

由于Ingress Controller把守了集群流量的关键入口,掌握了它就拥有了控制集群应用的“话语权”,所以众多公司纷纷入场,精心打造自己的Ingress Controller,意图在Kubernetes流量进出管理这个领域占有一席之地。

这些实现中最著名的,就是老牌的反向代理和负载均衡软件Nginx了。从Ingress Controller的描述上我们也可以看到,HTTP层面的流量管理、安全控制等功能其实就是经典的反向代理,而Nginx则是其中稳定性最好、性能最高的产品,所以它也理所当然成为了Kubernetes里应用得最广泛的Ingress Controller。

不过,因为Nginx是开源的,谁都可以基于源码做二次开发,所以它又有很多的变种,比如社区的Kubernetes Ingress Controller( https://github.com/kubernetes/ingress-nginx)、Nginx公司自己的Nginx Ingress Controller( https://github.com/nginxinc/kubernetes-ingress)、还有基于OpenResty的Kong Ingress Controller( https://github.com/Kong/kubernetes-ingress-controller)等等。

根据Docker Hub上的统计, **Nginx公司的开发实现是下载量最多的Ingress Controller**,所以我将以它为例,讲解Ingress和Ingress Controller的用法。

下面的 这张图 就来自Nginx官网,比较清楚地展示了Ingress Controller在Kubernetes集群里的地位:

为什么要有IngressClass

那么到现在,有了Ingress和Ingress Controller,我们是不是就可以完美地管理集群的进出流量了呢?

最初Kubernetes也是这么想的,一个集群里有一个Ingress Controller,再给它配上许多不同的Ingress规则,应该就可以解决请求的路由和分发问题了。

但随着Ingress在实践中的大量应用,很多用户发现这种用法会带来一些问题,比如:

所以,Kubernetes就又提出了一个 Ingress Class 的概念,让它插在Ingress和Ingress Controller中间,作为流量规则和控制器的协调人,解除了Ingress和Ingress Controller的强绑定关系。

现在, **Kubernetes用户可以转向管理Ingress Class,用它来定义不同的业务逻辑分组,简化Ingress规则的复杂度**。比如说,我们可以用Class A处理博客流量、Class B处理短视频流量、Class C处理购物流量。

这些Ingress和Ingress Controller彼此独立,不会发生冲突,所以上面的那些问题也就随着Ingress Class的引入迎刃而解了。

如何使用YAML描述Ingress/Ingress Class

我们花了比较多的篇幅学习Ingress、 Ingress Controller、Ingress Class这三个对象,全是理论,你可能觉得学得有点累。但这也是没办法的事情,毕竟现实的业务就是这么复杂,而且这个设计架构也是社区经过长期讨论后达成的一致结论,是我们目前能获得的最佳解决方案。

好,了解了这三个概念之后,我们就可以来看看如何为它们编写YAML描述文件了。

和之前学习Deployment、Service对象一样,首先应当用命令 kubectl api-resources 查看它们的基本信息,输出列在这里了:

kubectl api-resources

NAME                      SHORTNAMES   APIVERSION                       NAMESPACED   KIND
ingresses       ing          networking.k8s.io/v1   true         Ingress
ingressclasses               networking.k8s.io/v1   false        IngressClass

你可以看到,Ingress和Ingress Class的apiVersion都是 networking.k8s.io/v1, 而且Ingress有一个简写 “ing”,但Ingress Controller怎么找不到呢?

这是因为Ingress Controller和其他两个对象不太一样,它不只是描述文件,是一个要实际干活、处理流量的应用程序,而应用程序在Kubernetes里早就有对象来管理了,那就是Deployment和DaemonSet,所以我们只需要再学习Ingress和Ingress Class的的用法就可以了。

有了Ingress对象,那么与它关联的Ingress Class是什么样的呢?

其实Ingress Class本身并没有什么实际的功能,只是起到联系Ingress和Ingress Controller的作用,所以它的定义非常简单,在“ **spec**”里只有一个必需的字段“ **controller**”,表示要使用哪个Ingress Controller,具体的名字就要看实现文档了。

比如,如果我要用Nginx开发的Ingress Controller,那么就要用名字“ **nginx.org/ingress-controller**”:

apiVersion: networking.k8s.io/v1
kind: IngressClass
metadata:
  name: ngx-ink

spec:
  controller: nginx.org/ingress-controller

Ingress和Service、Ingress Class的关系我也画成了一张图,方便你参考: