[ ceph-deploy ] 01. 사전작업

ceph의 기본 동작 원리를 직접 파악해 보기 위해 ceph-deploy로 배포를 해보고자 한다.

설치 버전 : nautilus
공식 가이드 : https://docs.ceph.com/en/nautilus/start/

ceph 사용 용도

1. openstack cinder, glance의 backend storage로 사용
   -> RBD 설치
2. Object Storage 서비스 구축
   -> RADOSGW 설치

구축 환경

OS : Ubuntu 20.04
deploy 서버 1대
ceph osd 노드 3대
-> ceph 에는 osd disk 각 100GB (vdb, vdc, vdd)

Host Name	Service Network	Internal Network	External Network	Tenant Network	Storage Network
wglee-deploy		20.20.0.10	183.10.0.10	20.20.10.10	20.20.20.10
wglee-ceph-001		20.20.0.50	183.10.0.50	20.20.10.50	20.20.20.50
wglee-ceph-002		20.20.0.51	183.10.0.51	20.20.10.51	20.20.20.51
wglee-ceph-003		20.20.0.52	183.10.0.52	20.20.10.52	20.20.20.52

 

배포 전 사전 작업

Ubuntu OS 기준으로 설치를 진행한다.

ceph-deploy 패키지 설치

ceph-deploy 방식은 deploy 노드에서 admin 권한을 가진 계정을 이용해 각 ceph 노드들로 ceph을 배포한다.
deploy 서버에 ceph-deploy 패키지를 설치하도록 한다.
또한, deploy 및 각 ceph 노드들은 시간 동기화가 되어 있어야 한다.
가상서버 생성 후에 chrony 로 맞춰둔 상태이기 때문에 해당 과정은 여기서 생략하였다.

root@deploy:/home/ceph-deploy# wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
OK

# nautilus 버전 지정하여 repo 추가
root@deploy:/home/ceph-deploy# echo deb https://download.ceph.com/debian-nautilus/ $(lsb_release -sc) main | sudo tee /etc/apt/sour
ces.list.d/ceph.list
deb https://download.ceph.com/debian-nautilus/ focal main

ceph-deploy 패키지 설치

root@deploy:/home/ceph-deploy# sudo apt update
Hit:1 http://ppa.launchpad.net/ansible/ansible/ubuntu trusty InRelease
Hit:2 http://archive.ubuntu.com/ubuntu focal InRelease
Get:3 http://security.ubuntu.com/ubuntu focal-security InRelease [114 kB]
Get:4 http://archive.ubuntu.com/ubuntu focal-updates InRelease [114 kB]
Get:5 https://download.ceph.com/debian-nautilus focal InRelease [8391 B]
Hit:6 http://ppa.launchpad.net/ansible/ansible/ubuntu focal InRelease
Get:7 https://download.ceph.com/debian-nautilus focal/main amd64 Packages [541 B]
Get:8 http://archive.ubuntu.com/ubuntu focal-backports InRelease [108 kB]
Get:9 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages [1581 kB]
Fetched 1926 kB in 3s (575 kB/s)
Reading package lists... Done
Building dependency tree
Reading state information... Done
49 packages can be upgraded. Run 'apt list --upgradable' to see them.

root@deploy:/home/ceph-deploy# apt install ceph-deploy
0 upgraded, 1 newly installed, 0 to remove and 49 not upgraded.

 

배포에 사용할 계정 생성

deploy 서버에서 각 ceph 서버에 패스워드 없이 admin 권한으로 접속할 계정을 세팅한다.
각 노드에서 cephuser 계정을 생성하고 sudo 권한을 부여한다.

root@wglee-ceph-001:~# useradd -d /home/cephuser -m cephuser
root@wglee-ceph-001:~# passwd cephuser
root@wglee-ceph-001:~# echo "cephuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephuser
cephuser ALL = (root) NOPASSWD:ALL
root@wglee-ceph-001:~# sudo chmod 0440 /etc/sudoers.d/cephuser

root@wglee-ceph-002:~# useradd -d /home/cephuser -m cephuser
root@wglee-ceph-002:~# passwd cephuser
root@wglee-ceph-002:~# echo "cephuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephuser
cephuser ALL = (root) NOPASSWD:ALL
root@wglee-ceph-002:~# sudo chmod 0440 /etc/sudoers.d/cephuser

root@wglee-ceph-003:~# useradd -d /home/cephuser -m cephuser
root@wglee-ceph-003:~# passwd cephuser
root@wglee-ceph-003:~# echo "cephuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephuser
cephuser ALL = (root) NOPASSWD:ALL
root@wglee-ceph-003:~# sudo chmod 0440 /etc/sudoers.d/cephuser

이렇게 생성한 cephuser가 ssh keypair 방식으로 ceph 서버에 접속할 수 있도록 한다.
나는 이미 deploy에 ssh-keygen으로 생성한 키페어가 있어서 그걸 사용했다.

root@deploy:/etc/ansible# ssh-copy-id cephuser@wglee-ceph-001
Number of key(s) added: 1

root@deploy:/etc/ansible# ssh-copy-id cephuser@wglee-ceph-002
Number of key(s) added: 1

root@deploy:/etc/ansible# ssh-copy-id cephuser@wglee-ceph-003
Number of key(s) added: 1

 

데몬 간 통신 가능하도록 방화벽 설정

ceph mon 및 osd 데몬이 통신할 포트 방화벽을 설정한다.
Ceph monitor 데몬은 기본으로 6789 포트를 사용하고, Ceph osd는 6800:7300 ranged의 포트를 사용한다고 한다.
통신이 원활하게 될 수 있도록 필요한 포트에 대한 Inbound 룰을 허용한다.
모든 ceph, 즉 wglee-ceph-001~003에서 똑같이 수행하도록 한다.

root@wglee-ceph-001:~# sudo apt install iptables-persistent
root@wglee-ceph-001:~# iptables -A INPUT -i ens7 -p tcp -s 20.20.20.0/24 --dport 6789 -j ACCEPT
root@wglee-ceph-001:~# sudo iptables -A INPUT -i ens7 -p tcp --match multiport -s 20.20.20.0/24 --dports 6800:7300  -j ACCEPT
root@wglee-ceph-001:~# iptables-save > /etc/iptables/rules.v4
root@wglee-ceph-001:~# iptables-restore < /etc/iptables/rules.v4

다음과 같이 적용되었다.

root@wglee-ceph-001:~# iptables -nvL
Chain INPUT (policy ACCEPT 332 packets, 26857 bytes)
 pkts bytes target     prot opt in     out     source               destination
    0     0 ACCEPT     tcp  --  ens7   *       20.20.20.0/24        0.0.0.0/0            tcp dpt:6789
    0     0 ACCEPT     tcp  --  ens7   *       20.20.20.0/24        0.0.0.0/0            multiport dports 6800:7300

Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination

Chain OUTPUT (policy ACCEPT 235 packets, 32749 bytes)
 pkts bytes target     prot opt in     out     source               destination