Как понять почему kubernetes pod бы пересоздан
Что есть:
- 2 кластера по 6 подов в каждом
- развертывание через helm (тоесть поды подымаються одинаковые на 2 кластерах)
- в подах используються health checkers c 3 попытками рестарта
- логи сохраняються во внешнем хранилище
Проблема:
- только на втором кластере епизодически некоторые поды переподымаються
- поды перегружаються без попыток рестарта, тоесть нету истории предедущего падения
- в логах нету информаци об ошибках приложения
Что нужно:
- понять причину переподнятия подов
Что делал:
гуглил где кубернетис хранит информацию почему он решил перегрузить под. Единственное нашел
- kubectl describe pod (где можно увидить статус падения предедущего перезапуска) но это непомогает так как под не пытался рестартовать а сразу был убит и занаво поднят
- kubectl events (следить за событиями в кластере) но еще не выловил нужное событие так как поды могут падать 5 раз на день а потом пару дней работать хорошо
гугли когда кубернетис может убивать поды. Нашел:
- только если хелсчекер падает (это не мой случай)
- достигнуты лимиты по ресурсам (пока что думаю что это мой случай), но немогу найти команды которые подтвердили бы мне что под выходил за рамки лимитов