pod evicted(Ubuntu- linux filesystem full)

usr01@server03:~$ kubectl get po -A

NAMESPACE          NAME                                        READY   STATUS      RESTARTS   AGE
default            nfs-client-provisioner-5b9999c94f-c2v8r     0/1     Evicted     0          7d

 

쿠버네티스 클러스터의 pod 상태가 evicted로 종료되는 현상이 발생 했다. 하나만 긁어왔으나 절반이상 다 evicted 발생.. 읭? 

 

eviction = 퇴거. 집에서 쫓겨난다는 것

docker image도 데몬에서 일부 지워진것으로 확인 

파일시스템에 스페이스가 부족하게 되면 도커 데몬에서 덜 중요하다고 판단하는? 이미지들을 지운다는 말을 들은적이 있다.

 

디스크를 체크해보기로 한다. 

df -T는 타입을 보겠다. -h는 Size를 알아보기 쉽게 단위로 구분하겠다. 

 

usr01@server03:~$ df -Th
Filesystem     Type      Size  Used Avail Use% Mounted on
...
/dev/sda2      ext4      439G  409G  6.9G  99% /
...

usr01@server03:~$ lsblk
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda      8:0    0 446.6G  0 disk
├─sda1   8:1    0   487M  0 part /boot/efi
└─sda2   8:2    0 446.2G  0 part /
sdb      8:16   0     7T  0 disk
└─sdb1   8:17   0     7T  0 part /raid


usr01@server03:~$ sudo fdisk -l
...
Device      Start       End   Sectors   Size Type
/dev/sda1    2048    999423    997376   487M EFI System
/dev/sda2  999424 936638463 935639040 446.2G Linux filesystem

 

/dev/sda2가 99% 차 있는 것을 확인

lsblk로 확인하여 보니 여유 공간도 없어서 확장도 어렵다 

 

* 확장 참조

https://webisfree.com/2020-10-15/%EB%A6%AC%EB%88%85%EC%8A%A4-%EB%B3%BC%EB%A5%A8-%ED%81%AC%EA%B8%B0-%EB%8A%98%EB%A6%AC%EA%B8%B0-%ED%8C%8C%EC%9D%BC-%EC%8B%9C%EC%8A%A4%ED%85%9C-%ED%99%95%EC%9E%A5

리눅스 볼륨 크기 늘리기, 파일 시스템 확장

<script async src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js?client=ca-pub-2749683716804155"
     crossorigin="anonymous"></script>

 

어디가 찼는지 경로찾기를 시작한다. (누가 했는지도 알수 있겠지..)

 

usr01@server03:~$ cd /

usr01@server03:/$ sudo du -d 1 -h
...
352G    ./home
...

usr01@server03:/$ cd home
usr01@server03:/home$ sudo du -d 1 -h
...
87G     ./jovyan
196G    ./devenv
...

 

devenv 196G ?? 이래서 커널을 열어주면 ..

 

개발자들이 백업 데이터들을 서버에 올리면서 발생한 헤프닝으로, 각 개발자들에게 불필요한 파일 정리를 요청하여 /dev/sda2 를 99% -> 84% 로 낮추자 evicted였던 pod들이 모두 살아났다. 

 

윈도우 환경에 익숙한지라 리눅스의 파일 시스템과 명령어들에 대해서 일부 알게되어 기록한다.

 

내 눈높이로 리눅스 파일 시스템을 이해하는데 큰 도움이 되었던 블로그는 다시 저장

https://ccurity.tistory.com/193

디스크 관리