09. Job으로 완료 가능한 단일 task 구현하기

Pod, ReplicaSet, DaemonSet 등으로 생성한 프로세스는 지속적으로 동작되며, 별도의 완료 시점이 없다.

반면 완료된 후 다시 시작되지 않는 프로세스를 Job 리소스로 구현할 수 있다.

 

4.5.1 Job 소개

Job은 작업이 제대로 완료되어야 하는 임시 작업에 유용하게 쓰인다.

Job으로 관리하는 pod는 프로세스가 완료되기 전까지는 동작하도록 운영된다.

예를 들어 하나의 node에 장애가 생겼을때 그 위에서 동작하던 Job으로 생성한 pod는 다른 node에 자동 스케줄링 된다.

 

4.5.2 Job Resource

Job 리소스를 생성한다.

아래 yaml 정의에서 사용한 image는 120초 동안 실행한 후 종료된다.

apiVersion: batch/v1
kind: Job
metadata:
  name: batch-job
spec:
  template:
    metadata:
      labels:
        app: batch-job
    spec:
      restartPolicy: OnFailure
      containers:
      - name: main
        image: luksa/batch-job

• apiVersion: Job은 batch API 그룹에 속하며, v1에 해당한다.
• spec: 컨테이너의 프로세스가 종료될 때 쿠버네티스가 수행할 작업을 지정한다.
• spec/restartPolicy: Job은 기본적으로 재시작(Always) 정책을 사용할 수 없다. pod의 동작이 실패했을 경우 restart 하도록 한다. (OnFailure/Never 를 value로 사용한다)

root@master001:~/k8s_in_action/kubernetes-in-action/Chapter04# kubectl create -f batch-job.yaml
job.batch/batch-job created

root@master001:~/k8s_in_action/kubernetes-in-action/Chapter04# kubectl get po
NAME                READY   STATUS    RESTARTS   AGE
batch-job-b5sdv     1/1     Running   0          6s

root@master001:~# kubectl get jobs
NAME        COMPLETIONS   DURATION   AGE
batch-job   1/1           2m5s       19m

해당 pod의 로그를 보면 120초 후 종료되었음을 볼 수 있다.

root@master001:~/k8s_in_action/kubernetes-in-action/Chapter04/batch-job# kubectl logs batch-job-b5sdv
Mon Apr  5 08:45:59 UTC 2021 Batch job starting
Mon Apr  5 08:47:59 UTC 2021 Finished succesfully

 

4.5.3 Job에서 여러 Pod 인스턴스 실행하기

job을 사용하여 두 개 이상의 pod 인스턴스를 생성해 병렬 혹은 순차적으로 실행하도록 할 수 있다.

job의 spec에 completions와 parallelism 속성을 설정한다.

 

    🔹 순차적으로 Pod 실행하기

     completions : job의 pod를 몇 번 실행할지 설정한다.

     이 경우 completions을 5로 설정하였다.

     완료된 pod 후에 새로운 pod를 생성하여 결과적으로는 연속적으로 5개의 pod를 실행하도록 한다.

apiVersion: batch/v1
kind: Job
metadata:
  name: multi-completion-batch-job
spec:
  completions: 5
  template:
    metadata:
      labels:
        app: batch-job
    spec:
      restartPolicy: OnFailure
      containers:
      - name: main
        image: luksa/batch-job

또한 해당 job이 끝나면 pod는 completed 상태가 된다.

root@master001:~/k8s_in_action/kubernetes-in-action/Chapter04# kubectl get po
NAME                READY   STATUS      RESTARTS   AGE
batch-job-b5sdv     0/1     Completed   0          53m

 

    🔹 병렬로 Pod 실행하기

     parallelism : 여러 job이 병렬로 실행되도록 한다.

     completion을 5로 하여 총 5개의 pod를 완료하도록 설정했으며,

     한번에 두 개까지 병렬로 실행할 수 있다.

apiVersion: batch/v1
kind: Job
metadata:
  name: multi-completion-batch-job
spec:
  completions: 5
  parallelism: 2
  template:
    metadata:
      labels:
        app: batch-job
    spec:
      restartPolicy: OnFailure
      containers:
      - name: main
        image: luksa/batch-job

실행시키면 이와 같이 두개의 pod가 병렬로 실행된 것을 볼 수 있다. 두 개의 pod가 완료된 후에는 다시 2개의 pod가 생성된다.

root@master001:~/k8s_in_action/kubernetes-in-action/Chapter04# kubectl get po
NAME                               READY   STATUS    RESTARTS   AGE
multi-completion-batch-job-nlhvs   1/1     Running   0          100s
multi-completion-batch-job-slr7h   1/1     Running   0          100s

root@master001:~/k8s_in_action/kubernetes-in-action/Chapter04# kubectl get po
NAME                               READY   STATUS      RESTARTS   AGE
multi-completion-batch-job-4r5kx   1/1     Running     0          52s
multi-completion-batch-job-nlhvs   0/1     Completed   0          2m55s
multi-completion-batch-job-slr7h   0/1     Completed   0          2m55s
multi-completion-batch-job-w6qzg   1/1     Running     0          49s

root@master001:~/k8s_in_action/kubernetes-in-action/Chapter04# kubectl get po
NAME                               READY   STATUS      RESTARTS   AGE
multi-completion-batch-job-4r5kx   0/1     Completed   0          12m
multi-completion-batch-job-kdprb   0/1     Completed   0          10m
multi-completion-batch-job-nlhvs   0/1     Completed   0          14m
multi-completion-batch-job-slr7h   0/1     Completed   0          14m
multi-completion-batch-job-w6qzg   0/1     Completed   0          12m

 

 

4.5.5 잡 pod가 완료되는 데 걸리는 시간 제한하기

Job이 특정 상태에 빠져 완료할 수 없는경우 activeDeadlineSeconds 속성으로 pod의 실행 시간을 제한할 수 있다.

Pod가 이보다 오래 실행되면 시스템이 종료를 시도하고, 해당 job은 실패로 남는다.

 

 

4.6 Job을 주기적으로 또는 한 번 실행되도록 스케줄링 하기

리눅스에서의 cron 작업을 kubernetes에서도 실행할 수 있다.

yaml 파일에서 cronjob양식을 만들어서 구성한다.

 

 

4.6.1 크론잡 생성하기

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: batch-job-every-fifteen-minutes
spec:
  schedule: "0,15,30,45 * * * *"
  jobTemplate:
    spec:
      template:
        metadata:
          labels:
            app: periodic-batch-job
        spec:
          restartPolicy: OnFailure
          containers:
          - name: main
            image: luksa/batch-job

스케줄설정하기

  crontab에서 사용하는 방식과 동일하다.

  분 시 일 월 요일 순으로 나열하며, *로 기입될 경우 매 단위마다 동작시킴을 의미한다.

  

위의 yaml파일로 리소스를 생성한뒤 다음과 같이 조회할 수 있다.

root@master001:~/k8s_in_action/kubernetes-in-action/Chapter04# kubectl get cronjob
NAME                              SCHEDULE             SUSPEND   ACTIVE   LAST SCHEDULE   AGE
batch-job-every-fifteen-minutes   0,15,30,45 * * * *   False     0        <none>          28s

 

4.6.2 스케줄된 Job의 실행 방법 이해

Job 리소스는 Crontab 리소스에서 예정된 시간에 생성되고, job은 pod를 생성한다.

Job이나 Pod가상대적으로 늦게 생성/실행될 수도 있기 때문에 시간을 명확히 지키게 하려면 별도의 설정이 필요하다.

startingDaedlineSeconds 필드를 지정한다.

해당 옵션은 예정된 시간에서 늦어도 15초 안에는 실행 되어야 하며, 안 될 경우 실패로 나타낸다.

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: batch-job-every-fifteen-minutes
spec:
  schedule: "* 30 * * *"
  startingDeadlineSeconds: 15