etcdserver:mvcc:database space exceeded

1. 증상

- kubectl 통한 명령어가 하나도 안된다. 

처음 봤을때 절망적이다

- 어쩌다가 되는 경우 kubectl get po -n kube-system을 보면 etcd와 kube-apiserver가 종료와 재시작을 반복하고 있는 모습이 을 보인다. 

- Deployment들이 모두 0/1로 사용불가한 상태가 된다.

- 결정적으로, quota yaml을 apply -f 했을때 etcdserver:mvcc:database space exceeded 메시지가 나온다.

 

2. 원인

최초 설치 2Gb가 default로 설치되는데 이를 초과, 나의 경우 2.1Gb로 조회됨

8Gb까지 세팅이 가능한데 아무도 이것에 대해 미처 인지를 못하였다.

 

3. 조치방안

1) 일단 최근 revision을 제외하고 compact하여 사용용량을 줄이고 조각모음을 실행한다. 

방법은 이 블로그를 참조하자 너무 잘 정리해줘서 덕분에 살았다. 모두의 근삼이 님 감사합니다. ㅠㅠ

https://ykarma1996.tistory.com/101 

 

2) 자동으로 compact하는 일정 수립해서 적용한다.

https://etcd.io/docs/v3.4/op-guide/maintenance/ 공홈을 참조한다.

 

3) etcd용량을 늘려본다? -> 안해봤다. 운영에 바로하기는 좀 무섭다. 

https://etcd.io/docs/v3.4/dev-guide/limit/   --quota-backend-bytes 로 조절할 수 있다는 것을 알 수 있었고

https://github.com/etcd-io/etcd/issues/10312   참조할만한 글

 

 

동일한 문제가 발생해서 etcd 용량 확장(8G) yaml로 적용했다. 

일주일 단위로 auto compaction도 적용(시간으로 적용함) 하고 나서는 현재까지는 문제없음