作为开发者,如何更好地了解 CNCF

提到云原生领域,我相信你多少都听说过 CNCF (Cloud Native Computing Foundation) 云原生计算基金会,它是 Linux 基金会组织和管理的一个非营利性的技术基金会,致力于推动云原生计算的发展。CNCF 主要关注云原生软件的标准化、普及,以及云原生计算的教育和培训。

对于开发者来说,由于 CNCF 是云原生最上游的组织,所以对它保持关注有助于我们获取一手信息,还有助于我们了解行业发展情况,提升技能水平。

CNCF 和云计算历史

CNCF 成立于 2015 年 12 月,它是 Linux 基金会的一部分。在成立之初,CNCF 得到了 Google 和 SoundCloud 的支持,这两家公司分别捐赠了著名的 Kubernetes 以及 Prometheus,在当时,一并作为会员加入 CNCF 的企业还有:Cisco、CoreOS、Docker、Google、华为、IBM、Intel 和 Redhat 等。

如果我们回顾云计算历史,会发现 CNCF 的诞生是非常顺应时代的。

2000 年以前,当时流行的技术是以 Sun 公司为代表的非虚拟化技术,在需要运行应用时,首先要购买物理服务器,然后在服务器上运行它。

1 年后,也就是 2001 年,VMWARE 的虚拟化技术得到普及,我们能够在一台物理机上运行多个虚拟机了,虚拟机成为了程序运行的载体。

2006 年,Iaas(基础设施即服务) 诞生了,AWS 创建了以 EC2 服务器为代表的云计算和弹性计费的方式,用户在使用的时候可以按小时付费,AMI(Amazon Machine Image)镜像成为了程序打包和运行的普遍方式。

3 年后,也就是 2009 年,PaaS(平台即服务)诞生了,以 Heroku 为代表的 PaaS 平台变得非常流行,这时候,基础设施层面产生了巨大的变化,以 Buildpack 为代表的技术已经开始有了容器的概念,尽管这个过程并不透明。在当时,交付应用只需要执行一条命令简直是一项魔法技术。

2010 年,IaaS 层的开源方案 OpenStack 诞生了,它由 AWS 和 VMWARE 完成,至今 OpenStack 在私有云的市场仍然是非常流行的解决方案。2011 年,Cloud Foundry 发布了开源的 PaaS 解决方案,它是 Heroku 的开源替代方案。

2013 年,最著名的 Docker 技术诞生了,Docker 整合了 LXC、联合文件系统和 cgroups 技术并创建了一个容器化标准,它是有史以来普及率最快的开发者技术,现在仍然被全世界的开发者使用。Docker 技术实现了隔离、可重用和不可更改性,它彻底改变了应用的构建、分享和交付方式。

随着容器技术的蓬勃发展,2 年后,也就是 2015 年,CNCF 成立了,CNCF 开始传播微服务和容器化的技术。直到今天,微服务和容器化仍然是让企业趋之若鹜的热点技术。

从历史发展中看,我们会发现应用的运行环境产生了巨大的变化。从最初的物理机,到虚拟机,再到 Buildpacks,最后到容器,应用的交付产物越来越内聚。

此外,运行环境的隔离性也产生了一系列的变化,从最初的硬件隔离,到虚拟化隔离,最后到容器技术的 cgroups 隔离,它们的隔离方式越来越轻量。

最后,从供应商的角度来看,软件从最初的封闭和单一供应商逐渐演进为开源和跨供应商。

组织形式

CNCF 是一个中立组织,它主要通过推动开源项目的发展来实现自身的目标,所以它的社区组织形式是为了更好地推动开源项目发展而设计的。

员工、会员和大使

首先,CNCF 作为非营利性组织有它自己的全职员工。就像公司的组织架构一样,它也有 CTO、总监、项目管理和开发者关系等职能岗位。此外,由于 CNCF 的工作大多数是围绕着开源项目的社区会议进行的,所以它还有诸如会议和事件管理岗负责统筹和协调。

其次,CNCF还会向全球企业招募会员,例如国内的腾讯云、蚂蚁金服和华为等都是其会员。这些云厂商每年需要向 CNCF 支付一定的费用来维持它在基金会的席位,这其实也是CNCF的重要收入来源。会员是 CNCF 组织形式中非常重要的组成部分,这些厂商和 CNCF 一样也押注在云原生领域,并投入研发的人力来参与到社区的项目中,以获得更广的影响力。

此外,大使也是社区非常重要的组成部分。大使是 CNCF 非官方的布道师,它们通常是社区的意见领袖,CNCF 借助大使的影响力来传播云原生技术。

可见,员工、会员以及大使三个角色是 CNCF 最核心的职位。

TOC 和 SIG

除了上面提到的三类角色以外,由于 CNCF 也非常注重开源社区的贡献,所以,CNCF 还设置了 TOC(Technical Oversight Committee)技术监督委员会小组,TOC 小组的成员主要来自两部分,分别是会员(云厂商)固定席位和社区投票。TOC 是 CNCF 的领导层,负责决策和管理 CNCF 的项目和社区。

TOC 主要关注 CNCF 的总体战略和管理,对于 CNCF 托管的项目细节,TOC 是很难在代码层面提供指导的。为此,CNCF 还设置了 SIG(Special Interest Group),也就是特别兴趣小组。SIG 是 CNCF 的技术管理机构,它负责制定规范以及监督所有的 CNCF 项目。目前,活跃的 SIG 小组有以下几个。

  1. 安全小组:负责云原生访问策略和控制。
  2. 存储小组:负责云原生存储项目标准制定。
  3. 应用交付小组:负责云原生应用交付,包括构建、部署和管理。
  4. 网络小组:负责云原生网络例如 API 网关和负载均衡等。
  5. 运行时小组:负责制定云原生运行时标准。
  6. 贡献者策略小组:负责贡献者体验、在可持续性、治理和开放性提供指导。
  7. 可观测性小组:负责云原生可观测性和最佳实践。
  8. 环境可持续性小组:负责云原生环境可持续性,例如碳排放。

项目托管

开源项目是 CNCF 的核心资产,比如著名的 Kubernetes、etcd 和 Helm 等项目都是 CNCF 的托管项目。托管项目来自厂商的捐赠,捐赠内容包括源码、商标和网站等和项目相关的内容。

为了区分项目的成熟度,CNCF 把项目分成了三个阶段,分别是:

  1. Sandbox(沙箱阶段)
  2. Incubating(孵化阶段)
  3. Graduated(毕业阶段)

当一个项目被捐赠时,会首先进入到沙箱阶段。进入沙箱阶段后,CNCF 会给予项目一些宣发资源以及参加云原生大会的机会。经过一段时间的发展后,如果项目的使用人数、贡献者和成熟度符合一定的要求,经过 TOC 的评审,项目会进入到下一个孵化阶段,最后再到毕业阶段。

由此可见,CNCF 的毕业项目是从所有捐赠项目中层层筛选出来的,它们通常已经非常成熟并且被广泛使用了,它们一般代表了云原生某个领域的事实标准。

那么,厂商为什么会把自己重金投入的项目免费捐赠给 CNCF 呢?我认为主要的原因有三个。首先,CNCF 基金会作为云原生的风向标,项目被接受意味着 CNCF 对项目的认可。从事开源的团队一般都是大公司团队,这对团队的考核有非常大的帮助,也是团队实施捐赠的动力来源。

其次,在项目捐赠后,可以通过 CNCF 的影响力吸引更多的用户以及贡献者,在进一步完善开源项目的同时,也增加了核心维护厂商的品牌影响力,促进他们换取更高的商业价值。

最后,所有捐赠给 CNCF 的项目都有机会成为云原生某个领域的标准,一旦自己所维护的项目成为了标准,其商业价值是不可估量的。

今天,捐赠已经不再是一种纯粹的开源行为,更多地代表了背后厂商的利益,通过捐赠能够加速项目的发展,最终为项目带来更多商业化的可能性。

职业认证

职业认证是 CNCF 最重要的板块之一,在为开发者提供认证的同时,CNCF 也能从中获得收入。

目前,CNCF 的职业认证有以下几个。

  1. CKA:Kubernetes 管理员认证
  2. CKAD:Kubernetes 开发者认证
  3. CKS:Kubernetes 安全认证
  4. KCNA:Kubernetes 管理员助理认证
  5. PCA:Prometheus 管理员认证
  6. KCSA:Kubernetes 安全助理认证

对于开发者来说,我推荐你参加 CKA 和 CKAD 认证。这两个认证推出的时间长,市场认可度高,在很多 DevOps、SRE 和运维开发工程师的招聘描述上,你都能看到这两个认证的要求。

职业认证一般是通过远程的方式来进行的,考官会在远程监督考试过程。

CNCF Landscape

稍微了解云原生领域的同学可能会知道,云原生相关的产品数量是非常庞大的。为了能够更好地收集、分类并展示它们,为云原生行业的从业者和研究者提供便利, CNCF Landscape 孕育而生。

CNCF Landscape 中文名叫做云原生全景图。顾名思义,它为我们提供了云原生领域的全局视角,你可以理解为,它为数量庞大的云原生产品做了更加细致的垂直分类。同时,全球任何开发者都可以通过协作的方式,将符合云原生标准的项目提交到云原生全景图中。

如下图所示,这只是云原生全景图的一部分。

图片展示了CNCF全景图的一部分,分为垂直方向和产品、平台和服务商两大部分。垂直方向和产品部分包含数据库、流媒体和消息、应用定义和镜像构建等类别,每个类别下有多个项目图标。平台和服务商部分则展示了与CNCF合作的云厂商,如AWS、腾讯云、阿里云等,图标排列密集。该图与上下文紧密相关,用于帮助开发者更好地了解CNCF全景图的分类和内容。

为了更好地读懂全景图,首先我们需要对它进行简单的分类。

大体上看,我们可以将全景图分为两大部分:

  1. 垂直方向和产品;
  2. 平台和服务商。

垂直方向和产品指的是云原生细分的方向以及这些方向所包含的产品。而平台和服务商指的是与 CNCF 合作的一些云厂商,典型的有 AWS、腾讯云或者阿里云等等。

接下来,我们重点介绍垂直方向和产品这部分。

你可以对照着全景图,结合我下面给出的分类,按照从上到下,从左到右的顺序来解读:

  1. 数据库( Database);
  2. 数据流和消息( Streaming & Messaging);
  3. 应用定义和镜像构建( Application Definition & Image Build);
  4. 持续集成和持续交付( Continuous Integration & Delivery);
  5. 调度和编排( Scheduling & Orchestration);
  6. 协调和服务发现( Coordination & Service Discovery);
  7. 远程调用( Remote Procedure Call);
  8. 服务代理( Service Proxy);
  9. API 网关( API Gateway);
  10. 服务网格( Service Mesh);
  11. 云原生存储( Cloud Native Storage);
  12. 容器运行时( Container Runtime);
  13. 云原生网络( Cloud Native Network);
  14. 自动化和配置( Automation & Configuration);
  15. 容器仓库( Container Registry);
  16. 安全与合规( Security & Compliance);
  17. 密钥管理( Key Management);
  18. 监控( Monitoring);
  19. 日志( Logging);
  20. 分布式追踪( Tracing);
  21. 混沌工程( Chaos Engineering);
  22. 持续优化( Continuous Optimization)。

为了能让你有的放矢,我把重点方向做了加粗。也就是说,在日常工作中,我们大概率会接触并使用到的产品都在上面这 12 个垂直方向中。接下来,我就结合实际产品,对这 12 个垂直方向做一下详细的介绍。

应用定义和镜像构建

这个方向聚焦在定义云原生应用以及构建容器镜像上,例如应用编写、打包、测试、安装和升级。主要的产品有下面几类。

在项目实践上,应用定义环节最开始可能会使用 Kubernetes 原生的 Manifest 来部署应用,随着项目的发展,例如我们需要关注不同环境、多服务镜像版本、环境配置差异的时候,可以进一步将 Manifest 迁移到 Kustomize 或者 Helm 上,为 Kubernetes 应用安装包提供更大的灵活性。

在镜像构建环节, Dockerfile 的构建方式仍然是主流的选择。

可以说,构建镜像是开发者在开发阶段等待时间最长的环节。要想在不必重新构建镜像的情况下就能查看编码效果,你还可以尝试使用 Nocalhost 或 Telepresence。

持续集成和持续交付

这个方向聚焦在 Kubernetes 应用的构建和部署上,也就是我们常说的 CI/CD。主要的产品有ArgoCD、FluxCD、Tekton 和 Spinnaker。

除却这些较新的产品,在持续集成环节,也不乏一些老牌的产品,诸如 Jenkins、GitLab CI 等。

云原生的出现改变了 CI/CD 系统的格局,尤其是持续交付方向,ArgoCD 和 FluxCD 开创了以 GitOps 为基础的全新交付方式。对于大部分 Kubernetes 业务应用来说,持续集成主要的功能是自动化测试和构建镜像,持续部署主要的功能是将应用部署到 Kubernetes。这样的话,Tekton(CI) + ArgoCD(GitOps) 的搭配就是一个不错的选择。

当部署环境涉及多云以及混合的运行环境时, 例如, Kubernetes 应用和 VM 应用共存时,可以考虑使用 Spinnaker。

调度和编排

这个方向聚焦在容器调度和基础设施的编排上,例如跨集群调度和管理容器。主要的产品包括 Kubernetes 和 Crossplane。

除了 Kubernetes 以外,容器调度方向其实还有非常多的项目,例如 Docker Swarm、Mesos 等,由于 Kubernetes 已经成为了生产级容器调度的事实标准,所以社区认为没有必要再维护它们了。

在基础设施编排方向上,Terraform 是一个非常不错的选择。当然,基于相同理念的 Crossplane 是后起之秀,它可以通过声明 CRD 的方式来管理基础设施,目前在社区也比较活跃。

API 网关

这个方向聚焦在基于 Kubernetes 的 API 网关上,主要的产品有下面几类。

提到网关,我们最熟悉的莫过于 Nginx 项目,它在 Kubernetes 平台也有相应的实现,也是最常见的 Ingress-nginx 项目。

Kubernetes 通过 Ingress 来统一管理外部服务访问的 API 对象。Ingress 可以是多种实现方式,例如 Ingress-nginx、Emissary-ingress、Traefik-ingress 等,其中, Ingress-nginx 和 Traefik-ingress 是项目中比较常用的 API 网关。

服务网格

服务网格是一个比较新的方向,主要用于大规模微服务架构下的流量管理,尤其是东西流量管理(也就是微服务和微服务之间的流量管理)。主要产品包括 Istio 和 Linkerd2。

服务网格能够以无侵入的方式为服务调用提供可观察性、流量管理和安全性等方面的支持。在我们最关注的流量管理方面, 服务网格可以无侵入实现服务熔断和降级、金丝雀和灰度发布、访问速率控制、加密以及端到端的身份验证。

比较这两个项目,Istio 目前比较流行,但是数据面采用的是 Envoy 代理,在大规模场景下可能会有性能问题。Linkerd2 也有较好的发展趋势,数据面采用由 Rust 开发的轻量级 Linkerd2-proxy,在大规模场景以及性能方面比较有优势。在使用门槛和复杂性上,Linkerd2 相对简单,更有优势。

云原生存储

这一方向聚焦在 Kubernetes 的存储解决方案,也就是提供持久卷的存储能力上。主要的产品有 Rook、 Longhorn 和 Velero。

云原生存储是通过容器存储接口(CSI)来实现的。它提供了一个标准 API,不同的项目只要实现这些 API 就可以为 Kubernetes 提供持久卷能力支持。

云原生存储方向项目如 Rook、Longhorn 等多用在私有化场景中,对于一些私有化的 Kubernetes,往往需要自建存储服务,以便在 Kubernetes 集群内使用 StorageClass、PV 和 PVC。

而对于使用云厂商托管 Kubernetes 集群的情况,集群的持久化存储基本上会实现由自家云提供的云存储服务, 我们只需要直接使用它们即可。

对于集群备份、迁移以及持久卷的备份和恢复场景,我们可以选择 Velero 项目。 因为它支持使用 Minio 作为备份存储服务,极大简化了 Kubernetes 的备份和恢复过程。

容器运行时

容器运行时是 Kubernetes 执行容器化动作的软件,主要的产品有下面四个。

对于终端用户来说,我们在大部分场景下无需关注容器运行时,因为它们在上层提供的能力基本上是一致的。例如, Containerd 是目前比较常用的容器运行时,也是许多云厂商默认的运行时。在 Kubernetes 1.20 版本过后,社区已经不再推荐使用 Docker 作为运行时了。

不过,如果我们对容器运行时有特殊要求。例如,强调容器之间的隔离性和安全性,特别是对一些希望像用 VM 那样使用 Pod 的团队而言, Kata-Container 或 gVisor 是一个不错的选择。

容器仓库

这个方向聚焦在为镜像提供推送、存储和下载功能。主要的产品有 Harbor 和 Dragonfly2。

容器仓库本质上是一组 Web API 接口,它允许容器运行时推送、查找和下载容器镜像。

当然,除了选择开源项目以外,各大云厂商往往也会有自己商业化的容器仓库产品。例如 GitHub Package、Google Container Registry、AWS ECR 等。这些商业化的产品往往还能够提供例如 CDN 分发和加速、安全等企业级功能。

对于用量不大的团队而言,商业化产品不需要付出维护成本,只需要为存储和流量付费即可,性价比较高。 当然,在用量比较大的业务场景下,自建镜像仓库成本确实更低。

监控

该方向聚焦在为 Kubernetes 提供监控指标采集、查询和可视化服务上,主要的产品有 Prometheus、 Thanos 和 Grafana。

在云原生监控方向, Prometheus + Grafana 已经成为非常流行的开源技术选型方案。要快速搭建它们相对容易,但要长期使用的话,这个方案对运维要求还是比较高的,尤其是要面对 Prometheus 的大规模集群和持久化的后端存储方面的挑战。

例如,在大规模的持久化方面,我们经常会把它们和时序数据库 InfluxDB 一起使用,这就会产生额外的运维工作。另外在大规模的监控场景下, Prometheus 也非常容易产生性能瓶颈,这就对 Prometheus 的高可用提出了更大的挑战。

安装 Prometheus 后,它会自动抓取 Kubernetes 和 Pod 在系统级的指标数据。如果你希望采集业务指标,就需要在业务代码中集成相应的 SDK,并且输出符合 Metric 规范的指标数据,提供给 Prometheus 来抓取指标。

当然,如果你不想自己维护开源技术栈,也可以选择其他的商业化产品,例如著名的 Datadog。

日志

日志方向主要聚焦在为 Kubernetes 应用提供日志采集、存储和分析功能,主要产品有 Fluentd 和 Loki。

总的来说,日志方向有不少开源的技术选型,例如我们常见的 EFK 技术栈。EFK 由 Elasticsearch、Fluentd 和 Kibana 组成,其中,Elasticsearch 主要负责存储日志和查询分析,Fluentd 作为 Agent 负责采集日志信息并将日志发送到 Elasticsearch 中存储,Kibana 则作为展示查询结果的 UI 界面。

在一些中小型的应用场景中,Loki 是一个更流行的选择。特别是对于已经采用 Prometheus 作为监控的团队来说, Prometheus + Loki + Grafana 可以一次性解决监控和日志问题。

分布式追踪

该方向致力于为 Kubernetes 应用提供分布式调用链追踪能力。主要产品有 Jaeger、 Skywalking 和 Grafana Tempo。

分布式追踪方向有很多优秀的开源产品,如果想要实现多语言和端到端的分布式追踪, Jaeger 是一个非常不错的选择,但它的代价是需要集成相对应的 SDK,对业务有一定的侵入性。

如果后端语言比较单一,尤其是使用了 Java 技术栈,推荐使用 Skywalking 作为 APM 和分布式追踪工具,它对业务基本上没有侵入性。

混沌工程

该方向聚焦在为 Kubernetes 应用提供混沌工程实验平台,主要的产品为 Chaos-Mesh 和 Chaosblade。

混沌工程最早由 Netflix 提出,经过多年的发展,已经成为很多大型分布式应用检验稳定性的实验工具。它能够向系统中随机注入一些常见的故障,例如 CPU 和内存压力测试、IO 故障、网络延迟等,目的是以主动的方式找到微服务系统中较为薄弱的地方,进行定向优化。

在上面列出的这两个项目中,Chaos-Mesh 为我们提供了 UI 操作界面,对于刚接触混沌工程的同学来说是上手混沌工程不错的选择。

如何将自己的项目加入到 Landscape?

前面提到,CNCF Landscape 支持以协作的方式将自己的项目提交到全景图中。具体的协作是通过 GitHub 仓库 来进行的。你可以向这个仓库提交 Pull Request ,把你的项目信息合并到全景图中,特别要注意在提交时选择一个适合的分类。

当提交被 CNCF Review 并合并后,你就可以在 Landscape 网站看到自己的项目了。