Operator 入门与实战

Operator 概述

什么是 Operator

Operator 是一种特殊的控制器(Controller),他能够把控制循环机制应用到自定义资源(CRD)的状态管理中。 Operator = Controller + CRD

期望状态 VS 实际状态

CRD

Operator 开发模式的好处

Operator 的使用场景

自定义资源,例如定义数据库实例、云资源等 自动化运维任务,如备份数据库 CI/CD Workflow 存储系统管理:Rook、Ceph 等

Kubebuilder VS Operator SDK

Kubebuilder 架构

Reconcile 架构

Reconcile 重试

Controller 架构

Controller 核心源码

使用 RateLimit Queue 来实现工作队列,类似于之前我们在 Client-go 里实现工作队列

Kubebuilder 实战一:实现类似 KubeVela Application 定义

本地创建集群

CRD 设计

实现使用一个 CRD 生成 Deployment、Service、Ingress 对象

Group: application.aiops.com
Version: v1
Kind: Application

步骤

mkdir application && cd application
go mod init github.com/lyzhang1999/application
kubebuilder init --domain=aiops.com
kubebuilder create api --group application --version v1 --kind Application
完善 cronhpa/api/v1/application_types.go
修改 ApplicationSpec
生成 CRD:make manifests,查看 config/crd/bases/application.aiops.com_applications.yaml 文件
编写 internal/controller/application_controller.go Reconcile 业务逻辑
将 CRD 安装到集群:make install
运行 Operator:make run
部署示例:kubectl apply -f config/samples/application_v1_application.yaml

效果

创建 Application 对象,自动创建 Deployment、Service、Ingress 对象 删除 Application 对象,自动删除 Deployment、Service、Ingress 对象 这是通过设置 OwnerReference 自动实现的,Reconcile 内并没有写删除资源逻辑

Kubebuilder Project Layout

/cmd:Operator 主程序入口,当执行 kubebuilder init 时生成
/api:API 资源定义,用户需要修改 *_types.go 文件来实现自定义 CRD,其他文件为自动生成。当执行 kubebuilder create api 时生成
/internal/controller:控制器,用户需要修改 *_controller.go 文件来实现自定义 Reconcile 逻辑,当执行 kubebuilder create api 时生成
/config:CRD 相关对象,自动生成
	/config/crd
	/config/rbac
	/config/sample
Makefile:自动生成,包含了构建、测试、运行和部署控制器

Kubebuilder 实战二:实现阿里云定时弹性伸缩器

CRD 设计

实现定时伸缩 Group: autoscaling.aiops.com Version: v1 Kind: CronHPA

步骤

mkdir cronhpa && cd cronhpa
go mod init github.com/lyzhang1999/cronhpa
kubebuilder init --domain=aiops.com
kubebuilder create api --group autoscaling --version v1 --kind CronHPA
完善 module_8/cronhpa/api/v1/cronhpa_types.go
增加结构体
CronHPA Struct 增加 printcolumn 注释
生成 CRD:make manifests,查看 config/crd/bases/autoscaling.aiops.com_cronhpas.yaml 文件
编写 internal/controller/cronhpa_controller.go Reconcile 业务逻辑
将 CRD 安装到集群:make install
运行 Operator:make run
部署示例:kubectl apply -f config/samples/autoscaling_v1_cronhpa.yaml

如何打包和部署 Operator

设置环境变量:export IMG=lyzhang1999/cronhpa-operator:v0.0.1 构建和推送:make docker-build docker-push 生成 Operator Deploy 文件:make build-installer 使用 dist/install.yaml 即可在任何的 K8s 集群安装

Operator SDK 实战一:基于 Helm 开发 Operator

安装 Operator SDK CLI

https://sdk.operatorframework.io/docs/installation/

CRD 设计

引用 Helm Chart values.yaml 的内容作为 CRD Spec 配置内容 CRD 出现变化时,自动处理变更(使用新的安装参数重新安装)

步骤

mkdir redis-operator && cd redis-operator
go mod init github.com/lyzhang1999/redis-operator
operator-sdk init --domain aiops.com --plugins helm
operator-sdk create api --group app --version v1 --kind Redis --helm-chart-repo
https://charts.bitnami.com/bitnami --helm-chart redis
报错,更新 helm 依赖:cd helm-charts/redis && helm dependencies build
返回根目录,重新创建 operator-sdk create api --group app --version v1 --kind Redis --helm-chart ./helmcharts/redis
构建并推送镜像:make docker-build docker-push IMG="lyzhang1999/redis-operator:v0.0.1"
部署 Operator:make deploy IMG="lyzhang1999/redis-operator:v0.0.1"
部署 CRD:kubectl apply -f config/samples/app_v1_redis.yaml
报错,解决 Service account 权限问题:kubectl create clusterrolebinding redis-operator-cluster-admin \
	--serviceaccount=redis-operator-system:redis-operator-controller-manager \
	--clusterrole=cluster-admin
删除 Operator Pod,重新拉起后可见 Redis

Operator SDK OLM

Operator Lifecycle Manager (OLM)

OLM 是用于管理 Operator 生命周期的工具 可以实现将 Operator 整体打包,并生成软件部署清单(bundles) 很容易安装、卸载、升级 Operator 安装:operator-sdk olm install

OLM 使用

最佳实践

如何对 Operator 进行端到端测试(E2E)?

测试结果

注意:envtest K8s 环境没有真实的控制器,不会有真实的工作负载 仅用来测试 Operator CRD 的创建、Status 更新等逻辑

实战一:开发 Operator 1 调度 GPU 竞价实例资源池

竞价实例价格优势

GN7.2XLARGE32 按量计费 竞价实例(参考
8C32G, GPU T4-16G 8.68/H 1.736/H
系统盘(50G 云盘) 0.02 0.02
宽带(1Mbps 按宽带计费) 0.06 0.06
收费合计 8.76 1.816(8 倍)

GPU 竞价实例

https://cloud.tencent.com/document/product/213/17816

维持 GPU 资源池

本地创建集群

CRD 设计

Group: devops.geektime.devopscamp.gk/v1 Version: v1 Kind: SpotPool 通过 minimum 和 maximum 参数来维持资源池GPU 实例数量

技术细节

步骤

mkdir spotpool && cd spotpool
go mod init github.com/lyzhang1999/spotpool
kubebuilder init --domain=devopscamp.gk
kubebuilder create api --group devops.geektime --version v1 --kind Spotpool
完善 spotpool/api/v1/spotpool_types.go
	修改 SpotpoolSpec
生成 CRD:make manifests,查看 config/crd/bases/devops.geektime.devopscamp.gk_spotpools.yaml 文件
编写 internal/controller/spotpool_controller.go Reconcile 业务逻辑
将 CRD 安装到集群:make install
运行 Operator:make run
编辑 sample 并部署:kubectl apply -f config/samples/devops.geektime_v1_spotpool.yaml

实战二:Operator 实现大模型私有部署(Kong API + 多 GPU 负载均衡)

Ollama

Ollama 多实例负载均衡部署

新 GPU 实例初始化问题

新实例初始化 下载 Ollama 及其依赖 下载模型 启动 Ollama 服务:ollama serve 使用自定义虚拟机镜像代替启动脚本初始化

Ollama 自启动问题

[Unit] 
Description=Ollama Service	#描述
After=network-online.target	#依赖

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target

步骤:制作 Ollama 镜像

步骤:部署 Kong 网关

构建 Operator 步骤

基于 demo_1 继续完善 CRD 增加 kongGatewayIP,便于 Operator 请求 Kong API 控制动态负载均衡列表 修改 Reconcile,实现 GPU 实例和 Kong 负载均衡同步

效果

当请求 Kong 网关时,流量被转发到多台 GPU 实例进行推理 实现大规模 LLM 私有部署和负载均衡

实战三:开发基于 LLM 的日志流监测 Operator

LogPilot:LLM 日志流检测 Operator

CRD 设计

步骤

mkdir logpilot && cd logpilot
go mod init github.com/lyzhang1999/llm-log-operator
kubebuilder init --domain=aiops.com
kubebuilder create api --group log --version v1 --kind LogPilot
修改:api/v1/logpilot_types.go LogPilotSpec
修改:internal/controller/logpilot_controller.go 增加相关业务逻辑
拉起 Prometheus Stack,获得 Loki IP
修改 config/samples/log_v1_logpilot.yaml 并部署

实战四:利用 RAGflow 实现基于运维专家知识库故障排查 Operator

架构设计

CRD 设计

Group: log.aiops.com Version: v1 Kind: RagLogPilot 获取命名空间下所有 Pod 的日志 将日志发送至 RagFlow API 获取解决方案

RagFlow 核心 API

步骤

mkdir raglogpilot && cd raglogpilot
go mod init github.com/lyzhang1999/rag-log-operator
kubebuilder init --domain=aiops.com
kubebuilder create api --group log --version v1 --kind RagLogPilot
修改:api/v1/raglogpilot_types.go RagLogPilotSpec
修改:internal/controller/raglogpilot_controller.go 增加相关业务逻辑
拉起 RagFlow 并创建内部运维知识库
修改 config/samples/log_v1_raglogpilot.yaml 并部署