资源限制

Kubernetes 的资源配额

在 kubernetes 环境下,由于业务进程是运行在 Pod 的容器当中,而容器实际上又是运行在 kubernetes 集群的节点(虚拟机)当中的,这就带来一个问题:当有多个 Pod 被调度到同一台节点时,如何避免资源竞争,保障每一个业务所需的资源呢?

在回答这个问题之前,我先举两个在 kubernetes 生产环境下 **非常典型的例子**。

第一个例子,假设有一个业务在技术实现上存在一些问题,例如没有做好垃圾回收或者产生死锁,当运行一段时间后,它的内存和 CPU 消耗迅速飙升,直到把所在节点的资源全部耗尽。这时候,所有运行在这个节点上的 Pod 都会因为资源不足而宕机。

第二个例子,假设现在某一个 kubernetes 节点的配置是 2 核 4G 内存,现在已经有 2 个 Pod 调度在了这台节点上,它们在某一时刻一共占用了 1.5 核 3.5G 内存的计算资源,节点的资源余量还有 0.5 核 0.5G 内存。此时,如果我们创建了一个需要 1 核 1G 资源的 Pod,而这个 Pod 又恰好调度到了这个资源不足的节点上,那么业务进程将无法启动,Pod 会被一直重启。

这两个例子,其实可以对应资源配额管理的两个能力。第一个例子中缺少的是资源限制管理能力,这会导致 Pod 资源消耗无序扩张。第二个例子中缺少的是声明最小的资源用量的能力,这会导致 Pod 被调度到一台资源不足的节点上。

实际上,kubernetes 已经为我们提供了与之对应的两种开箱即用的资源管理能力, 它们分别是资源的限制(Limit)和请求(Request)。

CPU 和内存

要做好资源管理,首先得搞清资源管理的两个主要对象:CPU 和内存。

在 kubernetes 集群中,可用资源是所有节点资源的总和。举例来说,如果 kubernetes 集群有 2 个节点,配置分别为 2 核 4G,那么理论上可用的总资源为 4 核 8G。不过,由于我们还需要扣除节点上系统消耗的资源,所以最终实际可用的总资源会小于理论计算的资源。

其中,我们最熟悉的 CPU 资源单位是“核数”。在一台虚拟机上,CPU 核数往往是一个整数,例如 1 核、2 核。但在 kubernetes 中,对于 CPU 有一个新的单位:m。核数和 m 的换算关系是:1 核=1000m,举例来说,下面两种写法都是合法的。

你可能会很好奇,为什么可以为 Pod 分配小于 1 核的 CPU 呢?实际上,m 代表的并不是将完整的 CPU 以“锁定”的方式配给 Pod,它计算的是“时间片”。也就是说,这是一种 CPU 的调度方法,数量越高,被分配到的 CPU 的计算时间片就越多,而那些被分配到较少 CPU 时间片的 Pod,则会因为得不到 CPU 的调度一直处于“阻塞”状态。

再看内存,它在 kubernetes 中常用的单位是 Mi,也就是我们熟悉的“兆”。例如,你可以使用下面两种写法。

在 kubernetes 中,CPU 和内存这两种资源有很大的区别,其中一个最大的区别是:CPU 是可压缩的资源,而内存则是不可压缩的资源。如果你很难理解,我们换个角度解释一下:当节点的 CPU 资源不足时,Pod 因为得不到“时间片”会一直处于“阻塞”状态;但当节点的内存资源不足时,kubernetes 会尝试重启 Pod,或者进行重新调度。

如何查看 Pod 和节点资源消耗?

那熟悉了 CPU 和内存的相关概念,我们怎么才能获取集群 Pod 的资源用量呢?你可以使用 kubectl top pods 命令来获取。

$ kubectl top pods
NAME                                CPU(cores)   MEMORY(bytes)   
hello-world-flask-d4bb68b87-5kdh9   4m           37Mi            
hello-world-flask-d4bb68b87-w528t   3m           37Mi            
nginx-deployment-567cbc4d7c-w469c   0m           6Mi

除了查看 Pod 的资源消耗以外,我们还可以查看节点的资源消耗,你可以使用 kubectl top node 来查看。

$ kubectl top node   
NAME                 CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%   
kind-control-plane   264m         3%     1686Mi          21%

资源需求(requests)和限制(limits)

kubernetes 的资源配额管理主要有两种能力: 资源请求(Request)和资源限制(Limit)。

其中,Request 代表请求的资源用量,在一般场景下,它是保障业务稳定运行的最小资源,kubernetes 将保证最小资源的供应。还记得上面提到的第二个典型的例子吗?当 Pod 被分配到资源不足的节点时,将会被一直重启。这时候为 Pod 配置合理的 Request 资源就能很好地解决这个问题,kubernetes 会找到资源充足的节点并进行调度。

Limit 指的是资源占用的最大限制,配置 Limit 可以防止 Pod 在集群上占用过多的资源。同样地,它可以解决我们前面第一个例子里的问题:一个 Pod 消耗资源过多,导致其他 Pod 不可用。

示例

apiVersion: apps/v1
kind: Deployment
metadata:
  name: backend
  ......
spec:
  ......
    spec:
      containers:
      - name: flask-backend
        image: lyzhang1999/backend:latest
        ......
        resources:
          requests:
            memory: "128Mi"
            cpu: "128m"
          limits:
            memory: "256Mi"
            cpu: "256m"

在这个例子中,我们为 Backend Pod 的容器请求了 128m CPU 和 128Mi 的内存用量,同时限制容器最大的资源是 256m CPU 和 256Mi 的内存用量。

首先 Limit 作为限制资源,它一定大于或等于 Request 的值。其次,当容器对 CPU 的用量超过 Limit 的限制时,将会进入“阻塞”状态,但当容器对内存的用量超过 Limit 时,Pod 将会被重启,以确保它不会对其他 Pod 造成影响。

由于在本地的 Kind 集群无法模拟内存超出限制的情况,所以如果你对这方面感兴趣,可以尝试开通一个云厂商的托管 kubernetes 集群,并将下面的 Pod 部署到集群内。

apiVersion: v1
kind: Pod
metadata:
  name: memory-demo
spec:
  containers:
  - name: memory-demo
    image: polinux/stress
    resources:
      requests:
        memory: "50Mi"
      limits:
        memory: "100Mi"
    command: ["stress"]
    args: ["--vm", "1", "--vm-bytes", "250M", "--vm-hang", "1"]

当 Pod 运行一段时间之后,通过 kubectl get pods 你将看到 OOMKilled 事件。

$ kubectl get pods
NAME            READY     STATUS      RESTARTS   AGE
memory-demo   0/1       OOMKilled     1          24s

需要注意的是,Pod 占用的内存超出限制时的终止行为并不是 kubernetes 主动去做的,它是由 Linux 内核的 OOM Killer 来执行的。

通常,我们为工作负载配置资源 Request 和 Limit 会出现下面三种情况。

实际上,这三种配置方式不仅影响资源分配,还会影响 kubernetes 对工作负载的服务质量保证(QOS)。

服务质量(QOS)

服务质量是 Pod 层面的概念,它决定了 Pod 的调度和驱逐策略。关于驱逐,你可以简单地把它理解为当节点的资源不足时,它将从当前节点中选择一些 Pod 驱逐出去,并在其他节点进行重新调度。

而服务质量则决定了 kubernetes 驱逐 Pod 的顺序。

之前我们提到过,为工作负载配置资源 Request 和 Limit 有三种情况,它们也分别对应着三种服务质量。

当 kubernetes 决定要驱逐 Pod 的时候,会首先驱逐 BestEffort 优先级的 Pod,如节点资源仍然不足,继续驱逐 Burstable 优先级的 Pod,最后是 Guaranteed。

那么,在实际的工作中,我们怎么为不同的业务做资源配置和服务质量保证呢?这里我有一个经验可以供你参考。

首先,对于一些基础核心组件,例如中间件或者核心服务,我们可以将 Request 预估为一个较高的合理水平,并且将 Limit 配置为相同的值。这么做的好处是,可以保障核心服务所需的计算资源,并且还保证了它较高优先级的服务质量。即便是节点资源不足的情况下,也不容易因为被驱逐导致服务中断。

对于一些有明显的资源波峰的业务,例如 Java 服务,它在刚开始启动时会占用较多的 CPU 和内存,平稳运行时 CPU 和内存则有回落。这时候,我们可以将 Request 配置为正常状态时所需的 CPU 和内存,将启动状态所需要的 CPU 和内存配置为 Limit,以应对突发的资源需要。

最后,在生产环境中,我强烈建议你为每一个工作负载配置资源限制。