[Kubernetes] Troubleshoot Orphaned pod found

실제 Kubenetes Cluster들을 운영하면서 발생한 문제입니다.(v1.18.4)

 

Worker 노드별로 각각 분류하여 서비스를 하고 있는데 어느날 kubelet 에러로그에 찍히더라구요.

 

#Kubelet Orphen 파드 에러 내용
.. kubelet_volumes.go: 154] orphaned pod "c6d6f77b-asdf-bc54-418391de" found, \
but volume subpaths are still present on disk : There were a total of 4 errors similar to this. Turn up verbosity to see them

 

으잉? 하면서 확인했습니다. log flooding 상태더라구요.

 

해당 파드 정보를 찾을수 없다는 로그를 보고 kubelet 경로로 이동하여 Pod 정보를 확인하였습니다.

 

#kubelet 경로 이동
cd ~/kubelet/pods

#해당 파드명 디렉토리 존재 확인
find . -name 'cd545656~~'

#해당 Pod 디렉토리로 이동
cd 545656~~​

문제 원인은 해당 Pod가 재시작이 됬을 때 해당 정보가 삭제되지 않아서 나오는 오류였습니다..

 

그게 4개의 Pod나 존재하다니.. 바로 확인해서 해당 디렉토리 제거해서 문제를 해결했습니다.

 

실제로도 다른 노드에서도 그런 문제가 있더라구요.. ㅜ ㅜ (그 날 바빴음)

 

결국 문제 잘 해결했습니다.