03. Label을 이용한 Pod 구성

※ 본 게시글은 도서 <쿠버네티스 인 액션>을 토대로 정리/학습한 내용입니다.

 

Pod의 수가 증가함에 따라 labeling을 통해 연관성이 있는 것끼리 분류하여 운영할 수 있다.

pod를 그룹화하면 그룹별 pod들에 원하는 작업을 일괄적으로 적용시킬 수 있다.

 

3.3.1 Label?

Label은 pod, deployment 등 모든 쿠버네티스 리소스를 조직화 하는 기능이다.

• 리소스에 설정하는 Key:value 쌍
• Label Selector를 이용해 원하는 label을 가진 리소스를 선택한다.
• 리소스 생성 후에도 label 추가/수정 가능

3.3.2 Pod 생성할 때 label 지정하기

두 개의 label을 pod의 yaml 파일에 지정하고 동작 방식을 알아 보도록 한다.

apiVersion: v1
kind: Pod
metadata:
  name: kubia-manual-v2
  labels:
    creation_method: manual
    env: prod
spec:
  containers:
  - image: luksa/kubia
    name: kubia
    ports:
    - containerPort: 8080
      protocol: TCP

pod를 조회할 때 --show-labels 옵션을 사용하여 label 정보를 확인한다.

root@master001:~/k8s_in_action/03_pod# kubectl get po --show-labels
NAME                                READY   STATUS    RESTARTS   AGE     LABELS
kubia-manual                        1/1     Running   0          46m     <none>
kubia-manual-v2                     1/1     Running   0          9m44s   creation_method=manual,env=prod

확인 하고 싶은 label을 개별의 필드로 지정하여 확인 할 수도 있다.

root@master001:~/k8s_in_action/03_pod# kubectl get po -L creation_method,env
NAME                                READY   STATUS    RESTARTS   AGE    CREATION_METHOD   ENV
kubia-manual                        1/1     Running   0          48m
kubia-manual-v2                     1/1     Running   0          11m    manual            prod

이미 생성된 pod에 label을 추가한다.

root@master001:~/k8s_in_action/03_pod# kubectl label po kubia-manual creation_method=manual
pod/kubia-manual labeled

root@master001:~/k8s_in_action/03_pod# kubectl get po -L creation_method,env
NAME                                READY   STATUS    RESTARTS   AGE    CREATION_METHOD   ENV
kubia-manual                        1/1     Running   0          50m    manual
kubia-manual-v2                     1/1     Running   0          12m    manual            prod

이미 있는 라벨 수정할 때는 --overwrite 옵션을 사용한다.

root@master001:~/k8s_in_action/03_pod# kubectl label po kubia-manual-v2 env=debug --overwrite
pod/kubia-manual-v2 labeled

root@master001:~/k8s_in_action/03_pod# kubectl get po -L creation_method,env
NAME                                READY   STATUS    RESTARTS   AGE    CREATION_METHOD   ENV
kubia-manual                        1/1     Running   0          51m    manual
kubia-manual-v2                     1/1     Running   0          14m    manual            debug

 

 

3.4.1 Label Selector

• Label Selector로 특정 레이블을 지정하여 원하는 pod에 작업을 수행할 수 있다.
• Label Selector는 다음과 같은 기준으로 리소스를 필터링한다.
  • 특정 key 포함 / 포함하지 않는 label
    

    root@master001:~/k8s_in_action/03_pod# kubectl get po -l env
    NAME              READY   STATUS    RESTARTS   AGE
    kubia-manual-v2   1/1     Running   0          26m
     
     
    root@master001:~/k8s_in_action/03_pod# kubectl get po -l '!env'
    NAME                                READY   STATUS    RESTARTS   AGE
    kubia-manual                        1/1     Running   0          62m
    nginx-deployment-7d95987b64-4pk8v   1/1     Running   0          4d5h
    nginx-deployment-7d95987b64-kxr44   1/1     Running   0          4d5h
    nginx-deployment-7d95987b64-thfs6   1/1     Running   0          4d5h

  • 특정 key와 value 가진 label
    

    root@master001:~/k8s_in_action/03_pod# kubectl get po -l creation_method=manual
    NAME              READY   STATUS    RESTARTS   AGE
    kubia-manual      1/1     Running   0          61m
    kubia-manual-v2   1/1     Running   0          23m
    
    root@master001:~/k8s_in_action/03_pod# kubectl get po -l env!=debug
    NAME                                READY   STATUS    RESTARTS   AGE
    kubia                               1/1     Running   0          17h
    kubia-manual                        1/1     Running   0          123m
    nginx-deployment-7d95987b64-4pk8v   1/1     Running   0          11d
    nginx-deployment-7d95987b64-kxr44   1/1     Running   0          11d
    nginx-deployment-7d95987b64-thfs6   1/1     Running   0          11d
    podtest                             2/2     Running   56         39h

  • 특정한 key 가지지만 다른 값 가진 label
    

    root@master001:~/k8s_in_action/03_pod# kubectl get po -l 'env in (prod,debug)'
    NAME              READY   STATUS    RESTARTS   AGE
    kubia-manual-v2   1/1     Running   0          7d11h
    
    root@master001:~/k8s_in_action/03_pod# kubectl get po -l 'env notin (prod,debug)'
    NAME                                READY   STATUS    RESTARTS   AGE
    kubia                               1/1     Running   0          17h
    kubia-manual                        1/1     Running   0          128m
    nginx-deployment-7d95987b64-4pk8v   1/1     Running   0          11d
    nginx-deployment-7d95987b64-kxr44   1/1     Running   0          11d
    nginx-deployment-7d95987b64-thfs6   1/1     Running   0          11d
    podtest                             2/2     Running   56         39h

3.4.2 Label Selector에서 여러 조건 사용하기

Label Selector를 사용하여 여러 조건을 동시에 만족하는 리소스를 선택하게 할 수도 있다.

root@master001:~/k8s_in_action/03_pod# kubectl get po --show-labels -l app=my-nginx,pod-template-hash
NAME                                READY   STATUS    RESTARTS   AGE   LABELS
nginx-deployment-7d95987b64-4pk8v   1/1     Running   0          11d   app=my-nginx,pod-template-hash=7d95987b64
nginx-deployment-7d95987b64-kxr44   1/1     Running   0          11d   app=my-nginx,pod-template-hash=7d95987b64
nginx-deployment-7d95987b64-thfs6   1/1     Running   0          11d   app=my-nginx,pod-template-hash=7d95987b64

 

 

3.5 Label, Selector 사용하여 Pod 스케줄링 제한하기

pod를 스케줄링할 때 특정 조건을 갖춘 node 위에 배포하도록 제한하고 싶을 수 있다.

kubernetes의 특성상 배포할 node를 직접적으로 지정하기 보다는, label로 지정한 조건을 만족하는 node에 스케줄링 하도록 한다. 이는 node selector와 label selector를 이용하여 할 수 있다.

 

3.5.1 label을 사용하여 worker node 분류

label은 pod 뿐만 아니라 node, deployment, service 등 모든 kubernetes 오브젝트에 적용할 수 있다.

cluster중 node의 리소스 스펙이 다를때, 특정 pod를 gpu node에 올릴 수 있도록 설정하는 실습을 해 보도록 한다.

worker1이 gpu 서버라고 가정하고, labeling을 한다.

root@master001:~/k8s_in_action/03_pod# kubectl label node worker001 gpu=true
node/worker001 labeled
 
 
root@master001:~/k8s_in_action/03_pod# kubectl get no -L gpu
NAME        STATUS   ROLES                  AGE   VERSION   GPU
master001   Ready    control-plane,master   26d   v1.20.4
worker001   Ready    <none>                 26d   v1.20.4   true
worker002   Ready    <none>                 26d   v1.20.4

 

 

3.5.2 특정 node에 pod 스케줄링

gpu 라벨을 가진 특정 node에 스케줄링 되도록 yaml 파일을 작성한다.

nodeSelector는 gpu=true 레이블을 가진 node에 해당 pod를 배포하도록 한다.

apiVersion: v1
kind: Pod
metadata:
  name: kubia-gpu
spec:
  nodeSelector:
    gpu: "true"
  containers:
  - image: luksa/kubia
    name: kubia

 

root@master001:~/k8s_in_action/03_pod# kubectl get pod kubia-gpu -o wide
NAME        READY   STATUS    RESTARTS   AGE   IP             NODE        NOMINATED NODE   READINESS GATES
kubia-gpu   1/1     Running   0          21s   172.30.65.92   worker001   <none>           <none>

 

3.5.3 하나의 특정 node에 스케줄링

k8s cluster의 모든 노드에는 hostname에 대한 label이 있다. 따라서 nodeSelector 항목에 특정 hostname을 지정할 수도 있으나,
해당 node가 오프라인 상태이면 스케줄링이 아예 되지 않는다. 특정 hostname으로 제한하는건 지양하도록 한다.

kubectl describe 명령어로 다음 내용을 확인할 수 있다.

Name:               worker001
Roles:              <none>
Labels:             beta.kubernetes.io/arch=amd64
                    beta.kubernetes.io/os=linux
                    gpu=true
                    kubernetes.io/arch=amd64
                    kubernetes.io/hostname=worker001
                    kubernetes.io/os=linux

 

3.6 Pod에 Annotaion 달기

Annotaion?

• key-value 쌍
• label과 달리 annotaion으로 오브젝트를 그룹화 할 수 없다.
• object에 버전정보, 담당개발자 정보 등의 설명을 추가함으로써 협업을 원활하게 하도록 한다
• label 보다 다양한 정보를 적을 수 있다

 

3.6.1 오브젝트의 annotation 조회

kubectl describe를 통해 object에 annotaion이 어떤식으로 들어가는지 확인 할 수 있다.

root@master001:~/k8s_in_action/03_pod# kubectl describe node worker001
...
Annotations:        kubeadm.alpha.kubernetes.io/cri-socket: /var/run/dockershim.sock
                    node.alpha.kubernetes.io/ttl: 0
                    projectcalico.org/IPv4Address: 172.16.110.20/24
                    projectcalico.org/IPv4VXLANTunnelAddr: 172.30.65.64
                    volumes.kubernetes.io/controller-managed-attach-detach: true

오브젝트의 yaml 명세를 확인하면 다음과 같다.

apiVersion: v1
kind: Pod
metadata:
  annotations:
    cni.projectcalico.org/podIP: 172.30.254.27/32
    cni.projectcalico.org/podIPs: 172.30.254.27/32
    kubectl.kubernetes.io/last-applied-configuration: |
      {"apiVersion":"v1","kind":"Pod","metadata":{"annotations":{},"name":"kubia-manual","namespace":"default"},"spec":{"containers":[{"image":"luksa/kubia","name":"kubia","ports":[{"containerPort":8080,"protocol":"TCP"}]}]}}

 

3.6.2 Annotation 추가 및 수정

pod를 생성할 때 적용 할 수 있지만, 생성 후에도 추가 할 수 있다.

root@master001:~/k8s_in_action/03_pod# kubectl annotate pod kubia-manual wglee/annotation="WonGyeong Lee"
pod/kubia-manual annotated

추가한 annotation을 확인한다.

root@master001:~/k8s_in_action/03_pod# kubectl describe pod kubia-manual | vi -
Annotations:  cni.projectcalico.org/podIP: 172.30.254.27/32
              cni.projectcalico.org/podIPs: 172.30.254.27/32
              wglee/annotation: WonGyeong Lee