Мониторинг кластера kubernetes вне кластера
На YandexCloud у меня развёрнут кластер k8s (не managed). Разворачивал через terraform и kubespay. В итоге у меня есть 1 управляющий сервер SRV (с которого разворачивал кластер, он же гитлаб-раннер) и несколько нод самого кластера.
В кластере через helm поднято простое тестовое Django-приложение в связке с Postgres.
Что мне нужно сделать? У меня есть задача развернуть мониторинг на управляющем сервере SRV и собирать метрики и логи:
- с самого сервера SRV,
- со всех нод кластера,
- с работающих в k8s контейнеров.
А так же настроить отправку уведомлений в телеграм. Стэк мониторинга: Prometheus + Loki + Grafana + Alertmanager.
Пересмотрел кучу гайдов. Везде мониторинг разворачивают непосредственно в кластере k8s. Но если вдруг кубер умрёт, то и мониторинг умрёт. Поэтому его необходимо развернуть на отдельном инстансе SRV.
Подскажите, как это сделать?
P.S. Я еще чайник в DevOps, поэтому буду рад пошаговому гайду.