DevSecOps

DevSecOps 概述

什么是 DevSecOps

安全左移

DevOps 工作流

DevSecOps 工作流

加固 DevOps 的每个阶段

SAST & DAST & IAST

云原生自动化安全工具

安全自测表:云原生安全的 4C

  1. Cloud

    1. 云基础设施安全最佳实践

      1. 子账户
    2. 外部网络访问限制

      1. VPC
      2. 安全组
    3. 系统运维配置

      1. 禁止 root 登录、访问控制、防火墙、SSH 配置
  2. Cluster

    1. 集群安全

      1. 认证、授权、RBAC
    2. 安全策略

      1. 网络访问策略、admission controller
    3. 审计

      1. 审计日志
    4. 容器安全运行时

      1. Kata container、gVisor
  3. Container

    1. 清单文件安全

      1. Manifest、Docker file
    2. 容器镜像软件供应链

      1. 可信镜像、容器安全漏洞扫描
    3. 容器访问

      1. 容器用户、容器文件系统权限、特权容器
  4. Code

    1. 编程语言安全最佳实践
    2. 静态扫描
    3. 第三方依赖包安全

代码和软件供应链安全

代码的分类

CVEs

其他特定语言的漏洞数据库

SBOM:软件 BOM 的标准格式

Demo1:使用 Trivy 导出 SPDX SBOM

cd iac/week-2/demo-app/result
trivy fs ./ --format spdx-json --output trivy-spdx.json
查看 trivy-spdx.json, 查找 express

Demo2:使用 Trivy 扫描 SBOM

trivy sbom ./trivy-spdx.json
# 直接扫描
trivy fs ./
# 质量门禁:发现漏洞并设置退出码
trivy fs ./ --exit-code 1

在 CI 里使用 Trivy

Jenkins

使用镜像:aquasec/trivy

在 Pod 里运行 trivy 命令

Tekton

使用 Step:https://hub.tekton.dev/tekton/task/trivy-scanner

在 Dockerfile 里使用 trivy(多阶段构建)

[...]
# Run vulnerability scan on build image
FROM build AS vulnscan
COPY --from=aquasec/trivy:latest /usr/local/bin/trivy /usr/local/bin/trivy
RUN trivy filesystem --exit-code 1 --no-progress /
[...]

注意事项:关于 SBOM 的存储

Harbor

暂时不支持将 SBOM 附加到镜像中

https://github.com/goharbor/harbor/issues/16186

注意事项:SPDX 格式适配问题

镜像安全

Dockerfile:可信基础镜像(官方、无安全漏洞)。运行用户(慎用 root)。

系统应用包:注意安全漏洞。OpenSSL、Curl、Etc.

镜像扫描:Trivy。Grype

镜像签名:Cosign

Demo3:导出镜像所有 SBOM 并扫描

扫描 SBOM

直接扫描本地 Docker 镜像(生成 SBOM 并扫描)

其他镜像扫描工具

注意事项:扫描工具的对比和选型

https://github.com/aquasecurity/trivy-db/tree/main/pkg/vulnsrc

镜像漏洞和 Harbor

Demo4:镜像签名

密钥存储安全

K8s Secret 的不足

GitOps 中 Secret 管理模式

Secret 加密工具

Sealed-Secrets

SealedSecret 对象的作用域

  1. strict:默认作用域,SealedSecret CRD 必须和原始的 Secret 对象具有相同的「名称」和「命名空间」,修改 CRD 的其中任何一个属性都将导致解密失败(防止恶意攻击)

    1. 意味着 CRD 生成之后,不允许修改名称,并且和命名空间强绑定
  2. namespace-wide:允许在特定的命名空间下重命名 SealedSecret CRD

    1. kubeseal -f image-pull-secret.yaml -w image-pull-sealed-secret.yaml --scope namespace-wide
  3. cluster-wide:允许在任何命名空间下解密密钥以及重命名

    1. kubeseal -f image-pull-secret.yaml -w image-pull-sealed-secret.yaml --scope cluster-wide

SealedSecret 原理

Demo2:管理现有 Secret 对象

  1. 部署 iac/week-7/demo-2/secret-existed.yaml 模拟 Secret 对象已存在的情况

  2. 创建 kubeseal -f secret-existed.yaml -w secret-existed-seal.yaml 并部署到集群

  3. 查看 SealedSecret 日志:Resource "example-secret" already exists and is not managed by SealedSecret

  4. 为 Secret 添加注解:sealedsecrets.bitnami.com/managed: "true"

    1. kubectl patch secret example-secret -p '{"metadata":{"annotations":{"sealedsecrets.bitnami.com/managed":"true"}}}'
  5. 删除 CRD 并重新创建,此时 SealedSecret 将会接管已有 Secret 对象

    1. kubectl delete -f secret-existed-seal.yaml
    2. kubectl apply -f secret-existed-seal.yaml

注意事项

位于 kube-system 的 RSA Secret 应妥善保管,如丢失将导致密钥无法解密

  1. 备份密钥(灾备):kubectl get secret -n kube-system -l sealedsecrets.bitnami.com/sealedsecrets-key -o yaml >main.key
  2. 集群迁移和恢复(在控制器启动前执行):kubectl apply -f main.key
  3. 如在控制器之后部署了密钥,则需要删除 Pod:kubectl delete pod -n kube-system -l name=sealedsecrets-controller 使其生效
  4. 使用自定义 RSA 密钥对:https://github.com/bitnami-labs/sealed-secrets/blob/main/docs/bringyour-own-certificates.md

External Secrets + Vault

Demo3:External Secrets + Vault

  1. 步骤详见:iac/week-7/demo-3/README.md
  2. 创建完成后,尝试修改 vault 的密钥,15s 后查看 secret 是否同步

将已有的 Secret 对象推送到 Valut

apiVersion: external-secrets.io/v1alpha1
kind: PushSecret
metadata:
  name: pushsecret-example
spec:
  refreshInterval: 10s # 刷新时间
  secretStoreRefs:
    - name: secret-store-vault
      kind: ClusterSecretStore
  selector:
    secret:
      name: example # 要推送的 K8s secret 名称
  data:
    - match:
      secretKey: secret_data # 要推送的 K8s Secret key
      remoteRef:
        remoteKey: k8s/example # Vault path

部署安全

部署安全的两种做法

部署安全:前置

Admission Webhook

Demo4:从零构建 Admission Webhook

参考 iac/week-7/demo-4/README.md

继续深入 Admission Webhook

  1. 增加校验逻辑需要增加新的代码
  2. 是否有更通用的 Admission Webhook?

Kyverno

Kyverno 架构图

Demo5:安装 Kyverno 和配置策略

kubectl create -f https://github.com/kyverno/kyverno/releases/download/v1.10.0/install.yaml
kubectl create -f- << EOF
apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
name: require-labels
spec:
validationFailureAction: Enforce
rules:
- name: check-owner
match:
any:
- resources:
kinds:
- Deployment
validate:
message: "label 'owner' is required"
pattern:
metadata:
labels:
owner: "?*"
EOF

Kyverno 常用 Policies

  1. 禁止部署非内部制品库的镜像

    1. iac/week-7/demo-5/deployment-registry.yaml
  2. 禁止部署 latest 的镜像版本

    1. iac/week-7/demo-5/image-tag-policy.yaml
  3. 禁止使用 NodePort 暴露服务

    1. iac/week-7/demo-5/disallow-nodeport.yaml
  4. 要求提供 resource 资源配额

    1. iac/week-7/demo-5/required-resource.yaml

更多官方开源 Policy:https://kyverno.io/policies

部署安全:后置

Falco:云原生运行时安全监控工具

Falco 事件采集原理

  1. (默认)基于 libscap 和 libsinsp C++ 库构建的内核模块,从 Linux Ring Buffer 获取系统事件
  2. 通过 eBPF 探针获取事件

Demo6:安装和使用 Falco

  1. 添加 Helm 仓库

    1. helm repo add falcosecurity https://falcosecurity.github.io/charts
    2. helm repo update
    3. helm install falco -n falco --set driver.kind=ebpf --set tty=true falcosecurity/falco
    4. kubectl get pods -n falco
  2. 运行 alpine 镜像

    1. kubectl run alpine --image alpine -- sh -c "sleep infinity"
  3. 模拟安全事件(执行一段 shell 命令)

    1. kubectl exec -it alpine -- sh -c "uptime"
  4. 查看 Falco 输出的日志

    1. kubectl logs -l app.kubernetes.io/name=falco -n falco -c falco | grep Notice

建议监控的高危安全事件

  1. shell、bash、zsh、sh 命令操作
  2. ssh 登录
  3. 用户和密码操作:useradd、usermod、passwd、adduser、addgroup......
  4. 提权操作:sudo、su、suexec
  5. 导出数据操作:pg_dumpall、mysqldump
  6. VPN 操作:openvpn
  7. 定时命令:crontab、cron
  8. 查看和删除日志
  9. Linux Kernel Module 注入检测

Falco Rules 编写

- rule: shell_in_container
desc: notice shell activity within a container
condition: >
evt.type = execve and # https://falco.org/ml/docs/reference/rules/supported-fields/
evt.dir = < and
container.id != host and
(proc.name = bash or
proc.name = ksh)
output: >
shell in a container
(user=%user.name container_id=%container.id container_name=%container.name
shell=%proc.name parent=%proc.pname cmdline=%proc.cmdline)
priority: WARNING

Falco 默认 Rules

Falco + Argo Workflow 自动处理安全事件