容器技术的核心原理 Namespace & cgroup

容器基于 namespace 实现资源隔离,基于 cgroup 实现资源限制。

我们知道虚拟机使用的是Hypervisor(KVM、Xen等),那么,容器是怎么实现和下层计算机硬件和操作系统交互的呢?为什么它会具有高效轻便的隔离特性呢?

其实奥秘就在于Linux操作系统内核之中,为资源隔离提供了三种技术: namespace、cgroup、chroot,虽然这三种技术的初衷并不是为了实现容器,但它们三个结合在一起就会发生奇妙的“化学反应”。

namespace是2002年从Linux 2.4.19开始出现的,和编程语言里的namespace有点类似,它可以创建出独立的文件系统、主机名、进程号、网络等资源空间,相当于给进程盖了一间小板房,这样就实现了系统全局资源和进程局部资源的隔离。

cgroup是2008年从Linux 2.6.24开始出现的,它的全称是Linux Control Group,用来实现对进程的CPU、内存等资源的优先级和配额限制,相当于给进程的小板房加了一个天花板。

chroot的历史则要比前面的namespace、cgroup要古老得多,早在1979年的UNIX V7就已经出现了,它可以更改进程的根目录,也就是限制访问文件系统,相当于给进程的小板房铺上了地砖。

Namespace

namespace 是 Linux 系统的底层概念,在内核层实现,即有一些不同类型的命名空间被部署在核内,各个docker容器运行在同一个docker主进程并且共 用同一个宿主机系统内核,各docker容器运行在宿主机的用户空间,每个容器都要有类似于虚拟机一样的相互隔离的运行空间,但是容器技术是在一个 进程内实现运行指定服务的运行环境,并且还可以保护宿主机内核不受其他进程的干扰和影响,如文件系统空间、网络空间、进程空间等,目前主要通过以下技术实现容器运行空间的相互隔离:

<sheet sheet-id="V9lZSJ" token="CrRlsUdnfhrg59t5svVc6ahQncg"></sheet>

MNT Namespace:

IPC Namespace:

UTS Namespace:

PID Namespace:

Net Namespace:

User Namespace:

Cgroups:

在一个容器,如果不对其做任何资源限制,则宿主机会允许其占用无限大的内存空间,有时候会因为代码bug程序会一直申请内存,直到把宿主机内存占完。或者一个进城可以创建成百上千个线程,可以轻易地消耗完一台计算机的所有CPU资源和内存资源。

为了避免此类的问题出现,宿主机有必要对容器进行资源分配限制,比如CPU、内存等.

Linux Cgroups 的全称是 Linux Control Groups,它最主要的作用,就是限制一个进程组能够使用的资源上限,包括CPU、内存、磁盘I/O、网络带宽等等。此外,还能够对进程进行优先级设置,以及将进程挂起和恢复等操作。

Cgroups通过不同的子系统限制了不同的资源,每个子系统限制一种资源。每个子系统限制资源的方式都是类似的,就是把相关的一组进程分配到一个控制组里,然后通过 树结构 进行管理,每个控制组都设有自己的资源控制参数。

完整的Cgroups子系统的介绍,你可以查看 Linux Programmer's Manual 中Cgroups的定义。

这里呢,我们只需要了解几种比较常用的Cgroups子系统:

Cgroups 在内核层默认已经开启,从 centos 和 ubuntu 对比结果来看,内核较新的 ubuntu 支持的功能更多。

# cat /boot/config-6.8.0-51-generic | grep -i cgroup | grep -v "^#" | wc -l
23

# cat /boot/config-6.8.0-51-generic | grep MEM | grep CG | grep -v "^#"
CONFIG_MEMCG=y
CONFIG_MEMCG_KMEM=y

$ cat /proc/filesystems | grep cg
nodev   cgroup
nodev   cgroup2    # 如果看到 cgroup2,表示支持cgroup v2;

对于启动的每个容器,都会在Cgroups子系统下建立一个目录,在Cgroups中这个目录也被称作控制组,比如下图里的 docker-<id1> docker-<id2> 等。然后我们设置这个控制组的参数,通过这个方式,来限制这个容器的内存资源。

在每个Cgroups子系统下,对应这个容器就会有一个目录docker- c5a9ff78d9c1…… 这个容器的ID号,容器中所有的进程都会储存在这个控制组中cgroup.procs 这个参数里。

# cd /sys/fs/cgroup/system.slice/docker-dc816177c2362359891cb264c93adc32346cdb3032de9da7c5f83509e07c3c05.scope

keti@devops:/sys/fs/cgroup/system.slice/docker-dc816177c2362359891cb264c93adc32346cdb3032de9da7c5f83509e07c3c05.scope$ cat cgroup.procs
42160
42211
42212
42213
42214
42215
42216
42217
42218

$ ps -ef | grep nginx
root       42160   42140  0 10:05 ?        00:00:00 nginx: master process nginx -g daemon off;
message+   42211   42160  0 10:05 ?        00:00:00 nginx: worker process
message+   42212   42160  0 10:05 ?        00:00:00 nginx: worker process
message+   42213   42160  0 10:05 ?        00:00:00 nginx: worker process
message+   42214   42160  0 10:05 ?        00:00:00 nginx: worker process
message+   42215   42160  0 10:05 ?        00:00:00 nginx: worker process
message+   42216   42160  0 10:05 ?        00:00:00 nginx: worker process
message+   42217   42160  0 10:05 ?        00:00:00 nginx: worker process
message+   42218   42160  0 10:05 ?        00:00:00 nginx: worker process

我们实际看一下这个例子里的memory Cgroups,它可以控制Memory的使用量。比如说,我们将这个控制组Memory的最大用量设置为2GB。

具体操作是这样的,我们把(2* 1024 * 1024 * 1024 = 2147483648)这个值,写入memory Cgroup控制组中的memory.limit_in_bytes里, **这样设置后,cgroup.procs里面所有进程Memory使用量之和,最大也不会超过2GB。

启动一个 nginx 容器

# docker run -d --rm nginx
keti@devops:/sys/fs/cgroup/system.slice/docker-dc816177c2362359891cb264c93adc32346cdb3032de9da7c5f83509e07c3c05.scope$ echo 2147483648 > memory.limit_in_bytes keti@devops:/sys/fs/cgroup/system.slice/docker-dc816177c2362359891cb264c93adc32346cdb3032de9da7c5f83509e07c3c05.scope$ cat memory.limit_in_bytes 2147483648

我们通过memory Cgroups定义了容器的memory可以使用的最大值。其他的子系统稍微复杂一些,但用法也和memory类似。

这里我们还要提一下 Cgroups有v1和v2两个版本:

Cgroups v1在Linux中很早就实现了,各种子系统比较独立,每个进程在各个Cgroups子系统中独立配置,可以属于不同的group。

虽然这样比较灵活,但是也存在问题,会导致对 同一进程的资源协调比较困难(比如memory Cgroup与blkio Cgroup之间就不能协作)。虽然v1有缺陷,但是在主流的生产环境中,大部分使用的还是v1。

Cgroups v2 做了设计改进, 解决了v1的问题,使各个子系统可以协调统一地管理资源。

不过Cgroups v2在生产环境的应用还很少,因为该版本很多子系统的实现需要较新版本的Linux内核,还有无论是主流的Linux发行版本还是容器云平台,比如Kubernetes,对v2的支持也刚刚起步。

CPU Cgroup

CPU Cgroup

Memory Cgroup

Memory Cgroup

容器资源限制验证:

  1. cgroup验证:
root@docker-server1:~# cat /sys/fs/cgroup/docker/b7b3755f22962538418dc56c23c03941cd7f97178ed8e25c7d02fbc4ca9878ed/memory.max
536870912

root@docker-server1:~# cat /sys/fs/cgroup/docker/b7b3755f22962538418dc56c23c03941cd7f97178ed8e25c7d02fbc4ca9878ed/cpu.max
200000 100000
  1. systemd限制验证:
root@docker-server1:~# docker start b7b3755f2296
b7b3755f2296
root@docker-server1:~# ps -ef | grep nginx #过滤出目的服务的进程号
root 18770 18736 1 17:08 ? 00:00:00 nginx: master process nginx -g daemon off;
systemd+ 18816 18770 0 17:08 ? 00:00:00 nginx: worker process
root@docker-server1:~# cat /proc/18770/cpuset #查询进程的限制
/system.slice/docker-b7b3755f22962538418dc56c23c03941cd7f97178ed8e25c7d02fbc4ca9878ed.scope
root@docker-server1:~# cat /sys/fs/cgroup/system.slice/dockerb7b3755f22962538418dc56c23c03941cd7f97178ed8e25c7d02fbc4ca9878ed.scope/cpu.max #查询cpu限制范围
200000 100000
root@docker-server1:~# cat /sys/fs/cgroup/system.slice/dockerb7b3755f22962538418dc56c23c03941cd7f97178ed8e25c7d02fbc4ca9878ed.scope/memory.max #查询内存限制范围
536870912