Job&CronJob

Job

主要是用于负责批量处理(一次要处理指定数量)短暂的一次性(每个任务仅运行一次就结束)任务。

Job 管理的 Pod 根据用户的设置把任务成功完成后就自动退出。

job特点:

Deployment, DaemonSet等控制器主要编排的对象都是"在线业务",比如我们举例常用的Nginx,MySQL等。这些应用一旦运行起来,除非出错或者停止,它的容器进程会一直保持Running状态。

但是,有一类作业显然不满足这样的条件,这就是“离线业务”,或者叫作 Batch Job(计算业务)。这种业务在计算完成后就直接退出了,而此时如果依然用 Deployment 来管理这种业务的话,就会发现 Pod 会在计算结束后退出,然后被 Deployment Controller 不断地重启;而像“滚动更新”这样的编排功能,更无从谈起了 。

apiVersion: batch/v1
kind: Job
metadata: 
  name:
  namespace:
  labels:
    controller: job
spec:
  completions: 1  #指定job需要成功运行pods的次数,默认值为1
  parallelism: 1  #指定job在任一时刻应该并发运行pods的数量,默认值为1
  activeDeadlineSeconds: 30  #指定job可运行的时间期限,超过时间还未结束,系统将会尝试进行终止
  backoffLimit: 6  #指定job失败后进行重试的次数,默认值是6
  manualSelector: true  #是否可以使用selector选择器选择pod,默认是false
  selector: #选择器,通过它指定该控制器管理哪些pod
    matchLabels:  #Labels匹配规则
      app: counter-pod
    matchExpressions:  #Expression匹配规则
      - {key: app, operator: In, values: [counter-pod]}
  template:  #模板,当副本数量不足时,会根据下面的模板创建pod副本
    metadata: 
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never  #重启策略只能设置为Never或者OnFailure
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1;do echo $i;sleep 2;done"]

backoffLimit 代表 Job 运行失败之后重新运行的次数,默认值为 6。需要注意的是,Job 的重启时间是呈指数级增长的,例如,下一次 Job 重新运行的时间可能是 10s、20s、40s,最大时间为 6 分钟。

completions 字段表示 Job 的完成条件,默认值为 1,意味着当有一个 Pod 的状态为“完成”时,Job 也就完成了。

parallelism 字段表示并行,意思是同时启动几个 Pod 运行任务,默认值为 1 ,意味着默认只启动一个 Pod 运行任务。

restartPolicy 代表重启策略:

当 Job 运行完成后,Pod 的状态将从 Running 转变为 Completed。但我们还可能遇到一种特殊情况,如果任务卡住或者长时间没反应怎么办呢?其实这时候我们可以使用 activeDeadlineSeconds 字段控制 Pod 的最长运行时间。在上面的配置中,如果运行时间超过 30 秒,那么 Pod 会被强制终止,并且在事件中显示的终止原因是 DeadlineExceeded。

示例:

[root@master ~]# vim  myjob.yml
apiVersion: batch/v1
kind: Job
metadata:
  name: myjob
spec:
  template:
    metadata:
      name: myjob
    spec:
      containers:
      - name: hello
        image: busybox
        command: ["echo","hello k8s job!"]
      restartPolicy: Never
[root@master ~]# kubectl apply -f myjob.yml
job.batch/myjob created
[root@master ~]# kubectl get job
NAME    COMPLETIONS   DURATION   AGE
myjob   0/1           15s        15s

DESIRED 和 SUCCESSFUL 都为 1,表示按照预期启动了一个 Pod,并且已经成功执行。kubectl get pod 查看 Pod 的状态:

[root@master ~]# kubectl get job
NAME    COMPLETIONS   DURATION   AGE
myjob   1/1           18s        19s

已完成 Job 的自动清理

CronJob

CronJob控制器以Job控制器资源为其管控对象,并借助它管理pod资源对象,Job控制器定义的作业任务在其控制器资源创建之后便会立即执行,但CronJob可以以类似于Linux操作系统的周期性任务作业计划的方式控制其运行**时间点**及**重复运行**的方式。也就是说,CronJob可以在特定的时间点(反复地)去运行Job任务

CronJob 其实就是在 Job 的基础上加上了时间调度,我们可以在给定的时间点运行一个任务,也可以周期性地在给定时间点运行。这个实际上和我们 Linux 中的 crontab 就非常类似了。

一个 CronJob 对象其实就对应 crontab 文件中的一行,它根据配置的时间格式周期性地运行一个Job,格式和 crontab 也是一样的。

crontab 的格式为:分 时 日 月 星期 要运行的命令 。

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name:
  namespace:
  labels:
    controller: cronjob
spec:
  schedule: "* * * * *" #cron格式的作业调度运行时间点,用于控制任务在什么时间执行
  concurrencyPolicy: #并发执行策略,用于定义前一次作业运行尚未完成时是否以及如何运行后一次的作业
  failedJobHistoryLimit: #为失败的任务执行保留的历史记录数,默认为1
  successfulJobHistoryLimit: #为成功的任务执行保留的历史记录数,默认为3
  startingDeadlineSeconds: #启动作业错误的超时时长
  jobTemplate: #job控制器模板,用于为cronjob控制器生成job对象,下面其实就是job的定义
    metadata:
    spec:
      completions: 1  #指定job需要成功运行pods的次数,默认值为1
      parallelism: 1  #指定job在任一时刻应该并发运行pods的数量,默认值为1
      activeDeadlineSeconds: 30  #指定job可运行的时间期限,超过时间还未结束,系统将会尝试进行终止
      backoffLimit: 6  #指定job失败后进行重试的次数,默认值是6
      manualSelector: true  #是否可以使用selector选择器选择pod,默认是false
      selector: #选择器,通过它指定该控制器管理哪些pod
        matchLabels:  #Labels匹配规则
          app: counter-pod
        matchExpressions:  #Expression匹配规则
          - {key: app, operator: In, values: [counter-pod]}
      template:  #模板,当副本数量不足时,会根据下面的模板创建pod副本
        metadata: 
          labels:
            app: counter-pod
        spec:
          restartPolicy: Never  #重启策略只能设置为Never或者OnFailure
          containers:
          - name: counter
            image: busybox:1.30
            command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1;do echo $i;sleep 2;done"]

schedule:cron表达式,用于指定任务的执行时间

*/1 * * * *

<分钟> <小时> <日> <月份> <星期>

concurrencyPolicy:

创建 CronJob

apiVersion: batch/v1
kind: CronJob
metadata:
  name: hello
spec:
  schedule: "* * * * *"
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: hello
            image: busybox:1.28
            imagePullPolicy: IfNotPresent
            command:
            - /bin/sh
            - -c
            - date; echo Hello from the Kubernetes cluster
          restartPolicy: OnFailure

执行以下命令以运行此 CronJob 示例:

kubectl create -f https://k8s.io/examples/application/job/cronjob.yaml

创建好 CronJob 后,使用下面的命令来获取其状态:

kubectl get cronjob hello

输出类似于:

NAME    SCHEDULE      SUSPEND   ACTIVE   LAST SCHEDULE   AGE
hello   */1 * * * *   False     0        <none>          10s

就像你从命令返回结果看到的那样,CronJob 还没有调度或执行任何任务。大约需要一分钟任务才能创建好。