BT Sistem Yönetimi

Zabbix Health Check: Kuyruk, Poller ve Housekeeper

Zabbix health check lab ölçümüyle: sağlık panosu, queue, poller doluluğu, önbellek ve housekeeper. Agent, poller ve server durunca ne görünür?

İlker Pehlivan

Zabbix health check, izlemeyi yapan Zabbix server’ın kendisini kontrol etmektir. Zabbix başka sistemlerin arızasını bildirir. Kendi arızasında ise bildirimi gönderecek olan da odur. Kontrolün dört konusu vardır: değeri gecikmiş item’ların kuyruğu, server süreçlerinin doluluğu, önbelleklerin doluluğu ve eski veriyi silen housekeeper. Beşinci konu server’ın hiç çalışmamasıdır ve onu Zabbix’in kendisi göremez.

Bu yazı Zabbix rehberimizin 12. adımıdır. Lab’da Zabbix 8.0 upgrade yazısında 8.0.0’a yükselttiğim sunucuyu kullandım: Ubuntu 26.04, PostgreSQL 18 ve Zabbix 8.0.0. Ona aktif agent ile bağlı bir Linux sunucu ekledim ve üç arıza çıkardım. Önce agent’ı yarım saat durdurdum. Sonra server’ın poller sayısını bire indirip ona yavaş kontroller verdim. En sonunda server’ı yaklaşık bir dakika durdurdum ve Grafana’nın ne gördüğüne baktım. Beklenmeyen sonuç sondaydı: server dururken Grafana’nın veri kaynağı testi OK döndü.

Zabbix nedir yazısında Zabbix’i Meteoroloji Genel Müdürlüğü’nün (MGM) gözlem ağına benzetmiştik. Sağlık kontrolü, merkezin kendi işleyişine bakmasıdır. İstasyonlardan gelen ölçümler türüne göre ayrı masalara dağıtılır ve her masada belli sayıda memur çalışır. Bir istasyon susarsa beklenen ölçüm gelmez ve merkez onu gecikenler listesine yazar. Bir masaya memurların yetiştiremeyeceği kadar iş düşerse ölçümler masada bekler. Arşivdeki eski kayıtlar da belli aralıklarla ayıklanır. Merkezin elektriği kesildiğinde ise hiçbir uyarı yayımlanmaz, çünkü uyarıyı yayımlayacak olan merkezin kendisidir.

Gravür üslubunda iki masalı bir büro. Arka duvardaki ahşap çerçeveli panoda sıra sıra küçük lambalar yanıyor, birkaçı sönük. Solda yeşil ceketli bir memur masasında yazı yazıyor, masanın üstünde ve önündeki yerde taşan kağıt yığınları var, kağıtların bir kısmı yere dağılmış. Sağdaki masada yelekli bir memur çalışıyor, önünde küçük ve düzenli bir deste duruyor. En sağda önlüklü bir arşivci iple bağlı bir defter destesini kucağında taşıyarak açık kapıya yürüyor.
Panodaki sönük lambalar ölçümü gecikmiş istasyonlardır, Zabbix'te kuyruğa giren item'lar. Soldaki memurun yetiştiremediği yığın dolu bir poller'ı, kapıya taşınan iple bağlı defterler de housekeeper'ın sildiği eski kayıtları gösterir.

Zabbix Health Check Nasıl Olmalı?

Zabbix’in internal item belgesi, Queue sayfası, server parametreleri ve Housekeeping sayfası sağlık kontrolünün parçalarını ayrı ayrı anlatır. Kurulumla gelen Zabbix server health şablonu da eşikleri trigger olarak taşır. Bu yazının düzeni şudur:

KonuBelgenin ve şablonun önerisiBu kurulumda
Nereden izlenirKurulumla gelen Zabbix server host’u ve Zabbix server health şablonu156 item, 11’i desteklenmiyor (başlatılmamış süreçler)
KuyrukAdministration > Queue idealde boştur. Arayüzü kullanılamaz duruma düşen item kuyruğa sayılmazBoşta 0. Aktif agent durunca 29, sonra 32
Süreç doluluğuzabbix[process,<tür>,avg,busy] son dakikayı ölçer. Trigger son 10 dakikanın ortalaması %75’i geçince açılır, %65’in altına inince kapanırBoşta bütün süreçler %1’in altında. Tek poller’la %100
ÖnbellekYapılandırma ve yazma önbellekleri için eşik %75, value cache için %95. Value cache düşük bellek kipine geçerse High önemde problem açılırYapılandırma önbelleği %13, value cache %0,6
HousekeeperSaatte bir çalışır, server açıldıktan sonraki ilk tur 30 dakika ertelenirElle tetiklenen tur 0,06 saniye
Server’ın kendisiQueue sayfası yalnız server çalışırken dolar. Server dururken hiçbir trigger değerlendirilmezServer dururken Grafana’nın veri kaynağı testi OK

Tablonun son satırı en az konuşulanıdır. İlk beş satırı Zabbix kendisi izler ve problemini kendisi açar. Son satır ise ancak dışarıdan görülür.

Zabbix Server Health Panosu Nerede?

Kurulumla gelen Zabbix server host’u, Zabbix server’ın çalıştığı makinedir. Bu kurulumda host’a iki şablon bağlı: işletim sistemini ölçen Linux by Zabbix agent ve server süreçlerini ölçen Zabbix server health. Şablonun panosuna Monitoring > Hosts sayfasında Zabbix server satırının Dashboards bağlantısından girilir. Zabbix server health sayfasının üç sekmesi vardır: Performance, Processes ve Statuses.

Zabbix 8.0'da Zabbix server host'unun panosu: üstteki Zabbix server health sekmesi ve altındaki Performance, Processes, Statuses sekmeleri kırmızı çerçeveyle işaretli. Cache usage grafiğinde Configuration cache yüzde 13 dolayında, diğer önbellekler yüzde 1'in altında. Internal queues grafiğinde Preprocessing, LLD ve Discovery kuyrukları 0, Connector queue için veri yok.
Server'ın kendi panosu, host'un panoları arasındadır. Performance sekmesi önbelleklerin doluluğunu ve iç kuyrukları gösterir.

Şablonun 156 item’ından 11’i bu kurulumda desteklenmeyen durumdadır. Hepsi bu sunucuda hiç başlatılmamış süreçleri ölçer: IPMI, Java, VMware, SNMP trapper, rapor ve connector süreçleri. Hata metni No "ipmi poller" processes started. biçimindedir. zabbix[connector_queue] item’ının hatası da StartConnectors parametresini gösterir. Bu item’lar arıza değildir. Sayılarını bilmek yine de işe yarar, çünkü sayı değişirse bir süreç başlatılmış ya da kapatılmıştır.

Boştaki Değerler: Arızada Neyle Kıyaslanır?

Sağlık değerleri ancak bir kıyas noktasıyla okunur. Server iki host’u izlerken, deneylerden önce, zabbix[ ile başlayan 79 item’ı API ile okudum. Arızalarda değişen satırlar bunlar oldu:

ItemNe ölçerBoştaki değer
zabbix[wcache,values]Saniyede işlenen değer sayısı2,8
zabbix[process,poller,avg,busy]Poller süreçlerinin doluluğu%0
zabbix[process,history syncer,avg,busy]Değerleri veritabanına yazan süreçlerin doluluğu%0,06
zabbix[process,configuration syncer,avg,busy]Yapılandırmayı veritabanından önbelleğe alan sürecin doluluğu%0,19
zabbix[rcache,buffer,pused]Yapılandırma önbelleğinin doluluğu%13,2
zabbix[wcache,history,pused]Geçmiş yazma önbelleğinin doluluğu%0,001
zabbix[vcache,buffer,pused]Value cache’in doluluğu%0,57
zabbix[vcache,cache,mode]Value cache’in kipi (0 normal, 1 düşük bellek)0
zabbix[queue]Kuyruktaki item sayısı0
zabbix[queue,10m]Gecikmesi 10 dakikayı geçen item sayısı0
zabbix[preprocessing_queue]Ön işleme kuyruğundaki değer sayısı0

Küçük bir kurulumda tablo neredeyse sıfırlardan oluşur. Bir arıza sırasında hangi satırın sıfırdan ayrıldığı, arızanın nerede olduğunu söyler. Value cache’in kipine ayrıca dikkat edilir. Internal item belgesine göre düşük bellek kipine geçen value cache, sebebi çözülse bile 24 saat o kipte kalır. Şablonun Zabbix value cache working in low-memory mode trigger’ı bu yüzden High önemdedir.

Belgede bir item daha vardır: Zabbix’in saniyede beklediği yeni değer sayısı, zabbix[requiredperformance]. Bu item şablonda yoktur. Aynı bilgi Reports > System information sayfasının Required server performance, new values per second satırındadır.

Zabbix Queue: Hangi Item Gecikiyor?

Kuyruk, zamanı geldiği halde değeri gelmeyen item’ların listesidir. Administration > Queue menüsünün Queue overview sayfası onları item türüne ve gecikme süresine göre sayar. Sütunlar 5 seconds’tan More than 10 minutes’a kadar gider. Zabbix’in belgesine göre bu sayfa idealde tamamen yeşildir, yani hiçbir item gecikmez. Aynı menüde iki sayfa daha vardır: proxy’lere göre döküm (Queue overview by proxy) ve geciken item’ların tek tek listesi (Queue details).

Lab’da deneylerden önce bütün satırlar 0’dı. Kuyruğun iki farklı sebeple dolduğunu iki deneyle gördüm.

Agent Durunca Kuyruk: 29 Item, Yarım Saat

İlk deneyde lnx02’deki Zabbix Agent 2’yi durdurdum. Agent aktif kipte çalışıyor, yani verisini server sormadan kendisi gönderiyor. Bu düzen Zabbix Agent 2 kurulumu yazısındakiyle aynıdır. Host’ta Linux by Zabbix agent active şablonundan 57 item var. Agent 7.0.32 sürümünde, server 8.0.0’da ve ikisi birlikte çalışıyor.

lnx02Bash
sudo systemctl stop zabbix-agent2

Sonra 30 saniyede bir kuyruğu, host’un durumunu ve açık problemleri API ile okudum. Süreler bu yüzden 30 saniyelik hassasiyettedir:

Agent durduktan sonrazabbix[queue]Ne oldu
30 saniye10Zabbix agent (active) satırında ilk geciken item’lar
1,5 dakika29Kuyruk 29’da durdu
2 dakika29Host’un aktif agent durumu “kullanılamaz”a döndü
6,5 dakika29Linux: Active checks are not available problemi açıldı
10 dakika29İlk 7 item More than 10 minutes sütununa geçti
12 dakika29zabbix[queue,10m] 29: bütün item’ların gecikmesi 10 dakikayı geçti
14 dakika32Kuyruk 32’ye çıktı
29 dakika32Linux: Zabbix agent is not available (or nodata for 30m) problemi açıldı
Zabbix 8.0 Administration, Queue overview sayfası: Zabbix agent (active) satırı kırmızı çerçeveyle işaretli, 5 minutes sütununda 22, More than 10 minutes sütununda 7 item var. Zabbix agent, Simple check, SNMP agent ve diğer bütün satırlar 0.
Agent durduktan 10 dakika sonra: gecikmesi 10 dakikayı geçen ilk 7 item sağdaki sütuna geçti.

Bu tablodan üç sonuç çıkar.

Birincisi, aktif agent’ın item’ları kuyruğa girdi. Queue belgesi, agent düzgün çalışmadığı için arayüzü kullanılamaz duruma düşen item’ların kuyruğa sayılmadığını söyler. Bu kurulumda agent aktif kipteydi ve host’un 29 item’ı kuyruğa girdi. Pasif agent’la aynı deney yapılmadı. Buradaki sonuç bu yüzden yalnız aktif agent için geçerlidir.

İkincisi, şablonun kuyruk trigger’ı açılmadı. More than 100 items have been missing data for over 10 minutes trigger’ının ifadesi min(/Zabbix server health/zabbix[queue,10m],10m)>100 biçimindedir. Kuyruk en fazla 32’ye çıktı, eşik 100’dü. Eşik bir makroya bağlı değil, ifadenin içinde sabittir. Bu trigger birçok host’un birden sustuğu durumlar içindir. Tek bir host’un susmasını host’un kendi trigger’ları yakalar: lab’da Active checks are not available 6,5 dakikada, agent’ın nodata trigger’ı 30 dakikalık penceresiyle 29 dakikada açıldı.

Üçüncüsü, kuyruğun en hızlı uyarısı bir problem değil, ekrandaki sayıdır. Kuyruk ilk 1,5 dakikada 29’a çıktı, ilk problem ise 6,5 dakikada açıldı. Queue sayfasına bakan biri sorunu problemden önce görür. Problem listesine bakan biri ise problemin açılmasını bekler.

Agent’ı 33 dakika sonra yeniden başlattım. 36 saniye sonra host’un aktif agent durumu yeniden “kullanılabilir”e döndü. 66 saniye sonra iki problem de kapandı ve kuyruk 28’den 3’e indi. Kalan 3 item, ölçüm bitene kadar 6 dakika boyunca More than 10 minutes sütununda kaldı. Bu üç item’ın neden kaldığını ölçmedim. Agent döndükten sonra kuyruğun birkaç dakika sıfıra inmemesi, lab’da arızanın sürdüğü anlamına gelmedi. Problemler o sırada kapanmıştı.

Zabbix Poller Doluluğu: Tek Poller, Altı Yavaş Kontrol

Kuyruğun ikinci sebebi server’ın kendi kapasitesidir. Zabbix veriyi türüne göre ayrı süreçlerle toplar. 8.0’da agent, HTTP agent ve SNMP poller’ları asenkrondur: server parametreleri belgesine göre her biri aynı anda çok sayıda kontrolü yürütür (MaxConcurrentChecksPerPoller, varsayılan 1000). Simple check gibi türler ise StartPollers ile başlatılan poller süreçlerinde çalışır. Bu poller cevap bekleyen bir kontrolü bitirmeden sıradakine geçmez.

Örnekteki MGM’de bu, bir masadaki memur sayısıdır. Memur sayısı az, işler yavaşsa ölçümler masada bekler.

Deney için poller sayısını bire indirdim. Fabrika dosyasında bu satır yorumdadır (# StartPollers=5), yani server beş poller’la açılır. Önce dosyanın kopyasını aldım, sonra sonuna tek satır ekledim:

mon02Bashroot
cp -p /etc/zabbix/zabbix_server.conf /etc/zabbix/zabbix_server.conf.zs-oncesi
printf '\n### zs deney B (gecici)\nStartPollers=1\n' >> /etc/zabbix/zabbix_server.conf
grep -n "^StartPollers" /etc/zabbix/zabbix_server.conf
systemctl restart zabbix-server
ps -eo pid,args | grep "zabbix_server: poller" | grep -v grep
mon02Bash Çıktısıroot
1142:StartPollers=1
   3873 /usr/sbin/zabbix_server: poller #1 [got 0 values in 0.000046 sec, idle 5 sec]

Server tek poller’la açıldı. Sonra Zabbix server host’una altı simple check item’ı ekledim. Hepsi lab ağında kullanılmayan bir adresin bir portunu yokluyor. Cevap gelmediği için her kontrol, poller’ı beklediği süre boyunca meşgul ediyor:

AlanDeğer
TypeSimple check
Keynet.tcp.service[tcp,192.168.1.250,8080] (8080’den 8085’e altı item)
Update interval5s
Timeout30s

Poller’ın doluluğu (zabbix[process,poller,avg,busy]) item’lar eklendikten 55 saniye sonra %0,06’ydı. 110 saniye sonra %96,6’ya, 165 saniye sonra %100’e çıktı ve deney boyunca, 15 dakika daha, %100’de kaldı. Kuyruk ise küçük kaldı: zabbix[queue] 2 ile 4 arasında gezdi, zabbix[queue,10m] hiç 0’dan ayrılmadı.

Zabbix 8.0 Administration, Queue overview sayfası: Simple check satırı kırmızı çerçeveyle işaretli, 5 seconds sütununda 2, 10 seconds sütununda 1 item var, diğer sütunlar ve diğer bütün satırlar 0.
Poller 13 dakikadır %100 doluyken kuyruk: Simple check satırında yalnız 3 item, en fazla 10 saniye gecikmeli.

Şablonun trigger’ı item’lar eklendikten yaklaşık 9 dakika sonra açıldı:

Zabbix 8.0 Problems listesi: 02:00:44 AM saatli, Average önemli, PROBLEM durumundaki Zabbix server: Utilization of poller processes over 75% problemi kırmızı çerçeveyle işaretli, süresi 8m 37s, etiketleri class: software, component: gathering-process ve scope: performance.
Poller doluluğunun problemi Average önemdedir ve Zabbix server host'unda açılır.

Bu deney ilk deneyin tersini gösterdi. Server sınırına geldiğinde bunu kuyruk değil, süreç doluluğu gösterdi. Trigger son 10 dakikanın ortalamasına bakar ve ortalamanın %75’i geçmesi için 10 dakikanın en az 7,5 dakikası dolu geçmelidir. Problem bu yüzden poller dolduktan yaklaşık 7 dakika sonra açıldı.

Canlıda bu problem açıldığında önce dolu poller’ı meşgul eden kontrol aranır: cevap vermeyen bir hedef, gereğinden uzun bir zaman aşımı ya da çok kısa bir kontrol aralığı. StartPollers değerini artırmak sorunu süreç sayısıyla örter, yavaş kontrolün kendisi yerinde kalır.

Deneyden sonra item’ları devre dışı bıraktım ve dosyayı kopyasından geri koydum:

mon02Bashroot
cp -p /etc/zabbix/zabbix_server.conf.zs-oncesi /etc/zabbix/zabbix_server.conf
systemctl restart zabbix-server
grep -n "^StartPollers" /etc/zabbix/zabbix_server.conf || echo "StartPollers satiri yok (fabrika 5)"
mon02Bash Çıktısıroot
StartPollers satiri yok (fabrika 5)

Zabbix Housekeeper: Eski Veriyi Kim Siler?

Housekeeper, saklama süresi dolan veriyi veritabanından silen Zabbix server sürecidir. Süreler Administration > Housekeeping sayfasında, veri türüne göre ayrı ayrı belirlenir:

Zabbix 8.0 Administration, Housekeeping sayfası: User sessions bölümündeki Data storage period 365d, History bölümündeki 31d ve Trends bölümündeki 365d alanları kırmızı çerçeveyle işaretli. Events and alerts bölümünde trigger verisi 365d, service, internal, network discovery ve autoregistration verisi 1d. Bütün Enable internal housekeeping kutuları işaretli.
Bu kurulumun süreleri: geçmiş 31 gün, trend ve oturum kayıtları 365 gün.

Oturum kayıtlarının 365 günü 7.0’dan kalmadır. 7.4’ten beri yeni kurulumların fabrika değeri 31 gündür. Yükseltme mevcut değeri değiştirmez (ayrıntısı Zabbix 8.0 upgrade yazısının sürüm notları tablosunda). Geçmiş ve trend sürelerinin diske etkisi Zabbix nedir yazısında.

Server parametreleri belgesine göre housekeeper varsayılan olarak saatte bir çalışır (HousekeepingFrequency=1). Server açıldıktan sonraki ilk tur 30 dakika ertelenir. Bir turda her item için en fazla 4 saatlik eski veri silinir. Bu sınır, saklama süresi birden kısaltıldığında housekeeper’ın aşırı yüklenmemesi içindir.

Housekeeper her turu log’a tek satırla yazar. Turu beklemeden elle başlatmak için:

mon02Bashroot
zabbix_server -R housekeeper_execute
mon02Bash Çıktısıroot
Runtime control command was forwarded successfully

Log’daki satırlar:

mon02Çıktı
  1954:20261113:221219.078 forced execution of the housekeeper
  1954:20261113:221219.078 executing housekeeper
  1954:20261113:221219.154 housekeeper [deleted 16 hist/trends, 0 events, 0 problems, 0 sessions, 0 alarms, 0 audit, 0 autoreg_host, 0 records, 0 sets, 0 expired device authentication records in 0.061868 sec, idle for 1 hour(s)]

Satır, silinen kaydın türlerini ve turun süresini verir. 7.0’daki satırla karşılaştırınca 8.0’ın satırında items/triggers sayısı yoktur, expired device authentication records yenidir. Aynı sunucunun 7.0’daki bir satırı:

mon02Çıktı
  1939:20261108:115803.699 housekeeper [deleted 6 hist/trends, 0 items/triggers, 0 events, 0 problems, 0 sessions, 0 alarms, 0 audit, 0 autoreg_host, 0 records, 0 sets in 0.092091 sec, idle for 1 hour(s)]

Lab veritabanı 79 MB’tı ve history tablosu 14.246 satırla 1,6 MB’tı. Tur bu yüzden anında bitti. Yıllarca geçmiş tutan bir kurulumda turun süresi ölçülmedi. İzlenecek iki değer satırdaki süre ve zabbix[process,housekeeper,avg,busy] item’ıdır. Sürenin aydan aya büyümesi, silinecek verinin turun sınırına yaklaştığını gösterir.

diaginfo: Server’ın İç Durumu Log’a Yazılır

Panoda görünmeyen ayrıntı için Zabbix server’ın çalışma anı komutları vardır (zabbix_server -R). Bunlardan diaginfo, önbelleklerin ve iç kuyrukların durumunu döker. Bölümün adı verilmezse hepsi yazılır. Bölüm adlarının listesi zabbix_server --help çıktısındadır.

Komutu zabbix kullanıcısıyla çalıştırmayı denedim:

mon02Bash
sudo -u zabbix zabbix_server -R diaginfo
mon02Bash Çıktısı
zabbix_server [2551]: cannot open config file "/etc/zabbix/zabbix_server.conf": [13] Permission denied

Komut önce yapılandırma dosyasını okur. Paketle kurulan dosyanın izni yalnız root’a açıktır (-rw------- root root). Komut root yetkisiyle çalışır:

mon02Bashroot
zabbix_server -R diaginfo

Çıktı terminale değil, server’ın log dosyasına yazılır (/var/log/zabbix/zabbix_server.log). Lab’da 136 satırdı. İki bölümün ilk satırları:

mon02Çıktı
== history cache diagnostic information ==
Items:190 values:0 time:0.000018
== value cache diagnostic information ==
Items:101 values:744 mode:0 time:0.000040

values:0, geçmiş önbelleğinde veritabanına yazılmayı bekleyen değer olmadığını söyler. Value cache’in mode:0 değeri, zabbix[vcache,cache,mode] item’ının 0’ıyla aynı bilgidir: normal kip. diaginfo bir arıza anında önbelleğin içini görmek içindir, sürekli izleme item’larla yapılır.

Server Durunca Kim Haber Verir?

Son deneyde Zabbix server’ın kendisini durdurdum:

mon02Bash
sudo systemctl stop zabbix-server

51 saniye sonra Dashboards > Global view panosu açıldı. Arayüz server’dan bağımsız çalıştığı için sayfa geldi. System information bileşeni durumu yazdı:

Zabbix 8.0 Global view panosu: System information bileşenindeki Zabbix server is running satırı kırmızı çerçeveyle işaretli, değeri kırmızı No, ayrıntısı localhost:10051. Server version ve host, item sayıları boş, Zabbix frontend version 8.0.0. Current problems listesinde Zabbix server: Utilization of poller processes over 75% problemi 11 dakikadır açık.
Server durunca panodaki tek iz System information bileşenindeki No'dur. Problem listesi server durmadan önceki halinde kalır.

Bu bilgiyi ancak panoya bakan biri görür. Trigger’ları değerlendiren ve bildirimi gönderen süreç server olduğu için Zabbix kendi durduğunu kimseye bildiremez.

Aynı anda Grafana’ya baktım. Grafana’daki Zabbix veri kaynağının sağlık testi Zabbix API version 8.0.0 ve OK döndü. Son bir saatin CPU sorgusu hatasız 58 nokta getirdi. Pano grafik çizmeye ve poller problemini göstermeye devam etti:

Grafana'da Dashboards, Izleme, Zabbix sunucusu panosu: CPU utilization ve Memory utilization grafikleri 02:10'a kadar veri çiziyor. Problems panelindeki Zabbix server satırı kırmızı çerçeveyle işaretli: Average önemli Zabbix server: Utilization of poller problemi, yaşı 11 minutes.
Zabbix server dururken Grafana'nın panosu: grafikler ve problem listesi hatasız geliyor.

Sebebi bağlantının yoludur. Zabbix ve Grafana yazısındaki kurulumda Grafana, Zabbix’in API’sine bağlanır. API ön yüzün parçasıdır ve veritabanını doğrudan okur. Server bu yolda yoktur. Grafana’nın testi API’nin ve veritabanının çalıştığını sınar, server’ın çalıştığını sınamaz.

Örnekteki MGM’de bu, elektriği kesilmiş bir merkezdir. Arşiv açıktır ve eski ölçümler okunabilir, ama yeni hiçbir ölçüm işlenmez ve hiçbir uyarı yayımlanmaz.

Server’ı 69 saniye sonra yeniden başlattım. Açılışı bir saniye bile sürmedi. Kapalı geçen süreye ait yeni bir trigger olayı oluşmadı. Server’ın durduğunu ancak Zabbix’in dışındaki bir kontrol bildirebilir. O kontrolün kurulumu bu yazının kapsamı dışındadır, Grafana’daki alarm kuralları Grafana alert yazısında anlatılır.

Zabbix’in kendi problemlerinin bildirimi ayrı bir konudur. Şubedeki proxy’nin uzun süredir görülmediğini söyleyen problem de Zabbix server host’unda açılır. Bu problemi bildiren action’ın ayarı ve lab ölçümü Zabbix proxy yazısında.

Zabbix Sağlığı Yerinde mi? Aylık Kontrol Listesi

Ayda bir şu sekiz soru sorulur:

  1. Queue overview sayfası boş mu? Doluysa hangi item türünün satırında?
  2. Zabbix server health şablonunun açık bir problemi var mı?
  3. Süreçlerin doluluğu %75’in altında mı?
  4. Value cache’in kipi 0 mı?
  5. Desteklenmeyen item sayısı geçen ayla aynı mı?
  6. Housekeeper’ın log satırı her saat yazılıyor mu, süresi büyüyor mu?
  7. Zabbix’in kendi problemleri bir action’a bağlı mı?
  8. Server’ın durduğunu Zabbix’in dışındaki bir kontrol bildiriyor mu?

Son soru en kolay unutulanıdır, çünkü cevabı Zabbix’in ekranlarında yoktur.

Sonuç: Zabbix Kendi Durduğunu Bildiremez

Zabbix’in sağlığı kurulumla gelen Zabbix server host’unda ölçülür. Kuyruk, süreç doluluğu, önbellekler ve housekeeper bu host’un item’ları ve trigger’larıdır. Boştaki değerleri bir kez kaydetmek, arıza anında hangi satırın değiştiğini görmeyi kolaylaştırır.

Beklenenden farklı çıkanlar:

  • Aktif agent’ın item’ları kuyruğa girdi. Agent durunca 29 item 1,5 dakikada kuyruktaydı. Şablonun 100 item’lık kuyruk trigger’ı ise hiç açılmadı.
  • Poller doluyken kuyruk küçük kaldı. Tek poller iki dakikadan kısa sürede %100 doldu, kuyrukta 2 ile 4 item vardı. Sınırı süreç doluluğu gösterdi, problemi 10 dakikalık ortalama yüzünden yaklaşık 7 dakika gecikti.
  • Server dururken Grafana’nın testi OK döndü. Grafana API’ye, API veritabanına bağlıdır. Server bu yolda yoktur.
  • diaginfo zabbix kullanıcısıyla çalışmadı. Komut yapılandırma dosyasını okur, dosya yalnız root’a açıktır.

Girişteki benzetmeye dönersek: istasyon agent’tır, masadaki memurlar poller’dır, masada bekleyen ölçümler kuyruktur. Memur sayısı az, işler yavaşsa ölçümler bekler. Arşivin ayıklanması housekeeper’dır. Merkezin elektriği kesildiğinde hiçbir uyarı yayımlanmaz, bu yüzden elektriği merkezin dışından biri izler.

Zabbix Sağlık Kontrolü Hakkında Sık Sorulan Sorular

Dört gruba bakılır. Kuyruk, yani zamanı geldiği halde değeri gelmeyen item'lar, idealde boştur. Süreçlerin doluluğu zabbix[process,<tür>,avg,busy] item'larıyla ölçülür ve şablonun trigger'ı son 10 dakikanın ortalaması %75'i geçince açılır. Önbelleklerin eşiği yapılandırma önbelleği için %75, value cache için %95'tir. Housekeeper her turda sildiği kayıt sayısını ve süresini log'a yazar. Lab'da boştaki Zabbix'te bütün süreçler %1'in, yapılandırma önbelleği %14'ün altındaydı.
Lab'da iki sebep ölçüldü. Aktif agent durunca host'un 29 item'ı bir buçuk dakikada kuyruğa girdi ve 12 dakika sonra hepsinin gecikmesi 10 dakikayı geçmişti. Tek poller'a cevap vermeyen bir adresi yoklayan altı simple check verilince poller iki dakikadan kısa sürede %100 doldu, kuyrukta ise 2 ile 4 item kaldı. İlkinde sorun izlenen makinededir, ikincisinde Zabbix server'ın kendi kapasitesindedir.
Zabbix'in kendisi vermez, çünkü trigger'ları değerlendiren ve bildirimi gönderen süreç server'dır. Lab'da server durdurulunca panodaki System information bileşeni Zabbix server is running satırında No gösterdi, ama bunu ancak panoya bakan biri görür. Grafana'nın Zabbix veri kaynağı testi aynı anda OK döndü, çünkü Grafana Zabbix API'sine bağlanır ve API veritabanını okur. Server'ın durduğunu bildirecek kontrol Zabbix'in dışında kurulur.
Housekeeper, saklama süresi dolan geçmişi, trend'leri, olayları ve oturum kayıtlarını veritabanından silen Zabbix server sürecidir. Varsayılan olarak saatte bir çalışır, server açıldıktan sonraki ilk turu 30 dakika ertelenir. Elle çalıştırmak için root yetkisiyle zabbix_server -R housekeeper_execute komutu verilir. Lab'da elle tetiklenen tur 16 kaydı anında sildi.
İlker Pehlivan
Yazan

BT Danışmanı | Ağ, Sistem ve Güvenlik Yönetimi

İlker Pehlivan, karmaşık BT altyapılarını ölçeklenebilir ve güvenli sistemlere dönüştürür. Buradaki rehberleri kendi laboratuvarında kurup ölçerek yazar.

LinkedIn

Benzer Makaleler

Zabbix Rehberi: Kurulumdan Alarma Adım Adım İzleme

Zabbix rehberi: kurulumdan agent'a, template'ten alarma ve dashboard'a on üç adımlık sıra. Her adım hangi kurumda gerekir, lab'da hangi yazıda ölçüldü.

15 dk okuma

Network İzleme Hizmeti: Sunucu, Hat ve Ağ Cihazları

Network izleme hizmeti: sunucu, internet hattı, switch ve firewall dakika dakika izlenir, alarm geldiğinde aynı ekip müdahale eder. Kapsam, süreç ve fiyat.

9 dk okuma

Zabbix 8.0 Upgrade: 7.0 LTS'den Yedekli Geçiş

Zabbix 7.0 LTS'den 8.0'a güncelleme adım adım: sürüm notları, veritabanı ve dosya yedeği, geri yükleme provası, depo paketi, otomatik veritabanı yükseltmesi ve kontrol.

18 dk okuma

Zabbix Dashboard: Widget, Network Map ve NOC Ekranı

Zabbix dashboard tasarımı: hangi widget neyi söyler, network map, Host navigator ile ayrıntı sayfası, slideshow ve kiosk, arıza anında ölçülen gecikmeler.

23 dk okuma

Zabbix Proxy: Şube İzleme, Kurulum ve Hat Kopukluğu

Zabbix proxy kurulumu: şubede ne zaman gerekir, aktif proxy, PSK ve agent ayarı, hat koptuğunda ölçülen davranış: yerel tampon, geç gelen veri ve alarm.

26 dk okuma

Zabbix Template ile Sunucu İzleme: CPU, RAM, Disk ve Servis

Zabbix template ile Windows ve Linux sunucuda CPU, RAM, disk ve servis izleme: makroyla eşik, disk keşfi ve trigger'ın açılma süresi lab ölçümüyle anlatılıyor.

17 dk okuma