资源限制
Kubernetes 的资源配额
在 kubernetes 环境下,由于业务进程是运行在 Pod 的容器当中,而容器实际上又是运行在 kubernetes 集群的节点(虚拟机)当中的,这就带来一个问题:当有多个 Pod 被调度到同一台节点时,如何避免资源竞争,保障每一个业务所需的资源呢?
在回答这个问题之前,我先举两个在 kubernetes 生产环境下 **非常典型的例子**。
第一个例子,假设有一个业务在技术实现上存在一些问题,例如没有做好垃圾回收或者产生死锁,当运行一段时间后,它的内存和 CPU 消耗迅速飙升,直到把所在节点的资源全部耗尽。这时候,所有运行在这个节点上的 Pod 都会因为资源不足而宕机。
第二个例子,假设现在某一个 kubernetes 节点的配置是 2 核 4G 内存,现在已经有 2 个 Pod 调度在了这台节点上,它们在某一时刻一共占用了 1.5 核 3.5G 内存的计算资源,节点的资源余量还有 0.5 核 0.5G 内存。此时,如果我们创建了一个需要 1 核 1G 资源的 Pod,而这个 Pod 又恰好调度到了这个资源不足的节点上,那么业务进程将无法启动,Pod 会被一直重启。
这两个例子,其实可以对应资源配额管理的两个能力。第一个例子中缺少的是资源限制管理能力,这会导致 Pod 资源消耗无序扩张。第二个例子中缺少的是声明最小的资源用量的能力,这会导致 Pod 被调度到一台资源不足的节点上。
实际上,kubernetes 已经为我们提供了与之对应的两种开箱即用的资源管理能力, 它们分别是资源的限制(Limit)和请求(Request)。
CPU 和内存
要做好资源管理,首先得搞清资源管理的两个主要对象:CPU 和内存。
在 kubernetes 集群中,可用资源是所有节点资源的总和。举例来说,如果 kubernetes 集群有 2 个节点,配置分别为 2 核 4G,那么理论上可用的总资源为 4 核 8G。不过,由于我们还需要扣除节点上系统消耗的资源,所以最终实际可用的总资源会小于理论计算的资源。
其中,我们最熟悉的 CPU 资源单位是“核数”。在一台虚拟机上,CPU 核数往往是一个整数,例如 1 核、2 核。但在 kubernetes 中,对于 CPU 有一个新的单位:m。核数和 m 的换算关系是:1 核=1000m,举例来说,下面两种写法都是合法的。
- 1000m = 1 核
- 500m = 0.5 核
你可能会很好奇,为什么可以为 Pod 分配小于 1 核的 CPU 呢?实际上,m 代表的并不是将完整的 CPU 以“锁定”的方式配给 Pod,它计算的是“时间片”。也就是说,这是一种 CPU 的调度方法,数量越高,被分配到的 CPU 的计算时间片就越多,而那些被分配到较少 CPU 时间片的 Pod,则会因为得不到 CPU 的调度一直处于“阻塞”状态。
再看内存,它在 kubernetes 中常用的单位是 Mi,也就是我们熟悉的“兆”。例如,你可以使用下面两种写法。
- 128Mi = 128 兆
- 1Gi = 1024 兆
在 kubernetes 中,CPU 和内存这两种资源有很大的区别,其中一个最大的区别是:CPU 是可压缩的资源,而内存则是不可压缩的资源。如果你很难理解,我们换个角度解释一下:当节点的 CPU 资源不足时,Pod 因为得不到“时间片”会一直处于“阻塞”状态;但当节点的内存资源不足时,kubernetes 会尝试重启 Pod,或者进行重新调度。
如何查看 Pod 和节点资源消耗?
那熟悉了 CPU 和内存的相关概念,我们怎么才能获取集群 Pod 的资源用量呢?你可以使用 kubectl top pods 命令来获取。
$ kubectl top pods
NAME CPU(cores) MEMORY(bytes)
hello-world-flask-d4bb68b87-5kdh9 4m 37Mi
hello-world-flask-d4bb68b87-w528t 3m 37Mi
nginx-deployment-567cbc4d7c-w469c 0m 6Mi
除了查看 Pod 的资源消耗以外,我们还可以查看节点的资源消耗,你可以使用 kubectl top node 来查看。
$ kubectl top node
NAME CPU(cores) CPU% MEMORY(bytes) MEMORY%
kind-control-plane 264m 3% 1686Mi 21%
资源需求(requests)和限制(limits)
kubernetes 的资源配额管理主要有两种能力: 资源请求(Request)和资源限制(Limit)。
其中,Request 代表请求的资源用量,在一般场景下,它是保障业务稳定运行的最小资源,kubernetes 将保证最小资源的供应。还记得上面提到的第二个典型的例子吗?当 Pod 被分配到资源不足的节点时,将会被一直重启。这时候为 Pod 配置合理的 Request 资源就能很好地解决这个问题,kubernetes 会找到资源充足的节点并进行调度。
Limit 指的是资源占用的最大限制,配置 Limit 可以防止 Pod 在集群上占用过多的资源。同样地,它可以解决我们前面第一个例子里的问题:一个 Pod 消耗资源过多,导致其他 Pod 不可用。
-
资源需求和资源限制
-
资源需求(requests)
- 定义需要系统预留给该容器使用的资源最小可用值
- 容器运行时可能用不到这些额度的资源,但用到时必须确保有相应数量的资源可用
- 资源需求的定义会影响调度器的决策
-
资源限制(limits)
- Kubernetes 通过 Cgroups 提供容器资源管理的功能,可以限制每个容器的 CPU 和内存使用,比如对于刚才创建的 Deployment,可以通过下面的命令限制 nginx 容器最多只能 50% 的 CPU 和 128MB 的内存。
kubectl set resources deployment nginx-app -c nginx --limits=cpu=500m,memory=128Mi deployment "nginx" resource requirements updated- 定义该容器可以申请使用的资源最大可用值,超出该额度的资源使用请求将被拒绝
- 该限制需要大于等于requests的值,但系统在其某项资源紧张时,会从容器那里回收其使用的超出其requests值的那部分
-
-
requests 和 limits 定义在容器级别,主要围绕 cpu(核心数,1000是一核,1m是1/1000)、memory 和hugepages三种资源
-
生产环境保持需求和限制一致
示例
apiVersion: apps/v1
kind: Deployment
metadata:
name: backend
......
spec:
......
spec:
containers:
- name: flask-backend
image: lyzhang1999/backend:latest
......
resources:
requests:
memory: "128Mi"
cpu: "128m"
limits:
memory: "256Mi"
cpu: "256m"
在这个例子中,我们为 Backend Pod 的容器请求了 128m CPU 和 128Mi 的内存用量,同时限制容器最大的资源是 256m CPU 和 256Mi 的内存用量。
首先 Limit 作为限制资源,它一定大于或等于 Request 的值。其次,当容器对 CPU 的用量超过 Limit 的限制时,将会进入“阻塞”状态,但当容器对内存的用量超过 Limit 时,Pod 将会被重启,以确保它不会对其他 Pod 造成影响。
由于在本地的 Kind 集群无法模拟内存超出限制的情况,所以如果你对这方面感兴趣,可以尝试开通一个云厂商的托管 kubernetes 集群,并将下面的 Pod 部署到集群内。
apiVersion: v1
kind: Pod
metadata:
name: memory-demo
spec:
containers:
- name: memory-demo
image: polinux/stress
resources:
requests:
memory: "50Mi"
limits:
memory: "100Mi"
command: ["stress"]
args: ["--vm", "1", "--vm-bytes", "250M", "--vm-hang", "1"]
当 Pod 运行一段时间之后,通过 kubectl get pods 你将看到 OOMKilled 事件。
$ kubectl get pods
NAME READY STATUS RESTARTS AGE
memory-demo 0/1 OOMKilled 1 24s
需要注意的是,Pod 占用的内存超出限制时的终止行为并不是 kubernetes 主动去做的,它是由 Linux 内核的 OOM Killer 来执行的。
通常,我们为工作负载配置资源 Request 和 Limit 会出现下面三种情况。
- 未配置资源配额。
- 配置了资源配额,且 Request 小于 Limit。
- 配置了资源配额,且 Request 等于 Limit。
实际上,这三种配置方式不仅影响资源分配,还会影响 kubernetes 对工作负载的服务质量保证(QOS)。
服务质量(QOS)
服务质量是 Pod 层面的概念,它决定了 Pod 的调度和驱逐策略。关于驱逐,你可以简单地把它理解为当节点的资源不足时,它将从当前节点中选择一些 Pod 驱逐出去,并在其他节点进行重新调度。
而服务质量则决定了 kubernetes 驱逐 Pod 的顺序。
之前我们提到过,为工作负载配置资源 Request 和 Limit 有三种情况,它们也分别对应着三种服务质量。
- 未配置资源配额:服务质量为 BestEffort,字面意思是“尽力而为”,它在服务质量中优先级最低,当产生驱逐行为时候,kubernetes 首先驱逐这一类型的 Pod。
- Request 小于 Limit:服务质量为 Burstable,字面意思是“突发”,优先级介于 BestEffort 和 Guaranteed 之间。
- Request 等于 Limit:服务质量为 Guaranteed,字面意思是“保证”,优先级最高。
当 kubernetes 决定要驱逐 Pod 的时候,会首先驱逐 BestEffort 优先级的 Pod,如节点资源仍然不足,继续驱逐 Burstable 优先级的 Pod,最后是 Guaranteed。
那么,在实际的工作中,我们怎么为不同的业务做资源配置和服务质量保证呢?这里我有一个经验可以供你参考。
首先,对于一些基础核心组件,例如中间件或者核心服务,我们可以将 Request 预估为一个较高的合理水平,并且将 Limit 配置为相同的值。这么做的好处是,可以保障核心服务所需的计算资源,并且还保证了它较高优先级的服务质量。即便是节点资源不足的情况下,也不容易因为被驱逐导致服务中断。
对于一些有明显的资源波峰的业务,例如 Java 服务,它在刚开始启动时会占用较多的 CPU 和内存,平稳运行时 CPU 和内存则有回落。这时候,我们可以将 Request 配置为正常状态时所需的 CPU 和内存,将启动状态所需要的 CPU 和内存配置为 Limit,以应对突发的资源需要。
最后,在生产环境中,我强烈建议你为每一个工作负载配置资源限制。