BT Sistem Yönetimi

Zabbix Trigger ve Alarm: E-posta, Eskalasyon ve Bakım

Zabbix trigger ve alarm ayarı: e-posta bildirimi, eskalasyon, acknowledge, histerezis ve bakım penceresi, lab'da ölçülen saatleriyle adım adım anlatılıyor.

İlker Pehlivan

Zabbix’te alarm, bir trigger’ın açtığı problemi bir action’ın doğru kişiye e-postayla taşımasıdır. Doğru düzen şudur: bildirim yalnız eylem gerektiren problemlere (High ve Disaster) gider. İlk ileti vardiyadaki gruba gider. Problem belirli bir süre onaylanmazsa bir üst kademeye taşınır. Eşiğin çevresinde gidip gelen değer recovery expression ile susturulur ve planlı işlerde bakım penceresi açılır. Geri kalan her problem panoda kalır.

Bu yazı, hazır template’in kurduğu trigger’lardan sonraki adımı anlatır ve problemin kime, ne zaman, kaç kez bildirileceğini gösterir. Hangi alarmın okunduğu ve hangisinin gürültüye dönüştüğü ilkesini Zabbix nedir yazısında anlattık. Burada o ilkenin Zabbix 7.0’da nasıl kurulduğunu gösteriyorum. Lab’da bir Ubuntu sunucudaki web servisini üç kez durdurdum, agent’ı yarım saat kapalı tuttum, işlemciyi iki kademeli yükle çalıştırdım ve her iletinin saatini Zabbix’in kendi veritabanından okudum. Doğrudan bildirim zincirine geçmek isterseniz action bölümüne atlayabilirsiniz.

Bir barajın kontrol odasında seviye ölçerler suyun yüksekliğini her dakika ekrana yazar. Su dikkat seviyesini geçince ekranda sarı bir satır belirir ve kimse aranmaz. Tehlike seviyesini geçince vardiya teknisyeninin telefonu çalar. Teknisyen belirli bir süre içinde “bakıyorum” demezse işletme şefi aranır. Savak kapakları açıldığında su tehlike seviyesinin biraz altına indi diye kapatılmaz, seviye belirgin biçimde düşene kadar açık kalır.

Ölçerlerden birinin bakımı yapılırken alarm susturulur ama ölçüm kaydı sürer. Bakım bittiğinde su hala yüksekse ilk telefon o an çalar. Zabbix’te alarm düzeni de bu sırayla kurulur.

Bir barajın gövdesi: solda mavi beyaz şeritli seviye çubuğu ve baraj duvarında iki boyalı çizgi, ortada üç savak kapağından soldaki ikisi açık ve altlarından su akıyor, sağdaki kapalı. Baraj üstündeki taş kulübenin kapısında vardiya teknisyeni duvardaki telefonla konuşuyor.
Su dikkat seviyesinde yalnız kayda geçer, tehlike seviyesini geçince teknisyenin telefonu çalar. Zabbix'te de her problem bildirim üretmez: kimin, ne zaman aranacağını action belirler.

Bu makale BT Sistem Yönetimi ana hizmetimizin izleme koluna, özellikle problemlerin bildirimine odaklanır.

Zabbix Trigger ve Alarm Düzeni Nasıl Olmalı?

Önce kısa cevap: trigger belirtiye kurulur, yani kullanıcının hissettiği şeye. Action yalnız High ve Disaster problemlerini bildirir. İlk ileti bir kişiye değil kullanıcı grubuna gider. Üst kademe adımı yalnız problem onaylanmamışsa çalışır. Salınan değerler recovery expression ile, planlı işler bakım penceresiyle susturulur. E-posta Zabbix’ten kurumun kendi SMTP relay’ine gider, parola Zabbix’te durmaz. SMTP relay, uygulamalardan iletiyi alıp asıl posta sunucusuna aktaran ara sunucudur.

Bu düzeni altı kaynak birlikte tarif ediyor:

  1. Google SRE kitabı (Monitoring Distributed Systems): her çağrı eyleme dönük olmalıdır, belirtiye kurulan alarm sebebe kurulan alarmdan önce gelir.
  2. Zabbix eskalasyon belgesi (Escalations, 7.0): bir action adımlar halinde yürür ve her adımın süresi vardır. En kısa adım 60 saniyedir. Belgenin örneklerinden birinde yönetici iletiyi yalnız problem henüz onaylanmamışsa alır.
  3. Zabbix operasyon belgesi (Operations, 7.0): adım süresi 60 saniye ile 1 hafta arasıdır. Event is not acknowledged koşulu bir adımı yalnız onaysız probleme bağlar. Pause operations for suppressed problems bakım süresince işlemlerin başlamasını erteler.
  4. Zabbix trigger ifadesi belgesi (Trigger expression, 7.0): recovery expression tanımlıysa problemin kapanması için problem ifadesinin yanlış, recovery ifadesinin doğru olması gerekir. Belge bunun amacını histerezis kurmak ve trigger’ın gidip gelmesini önlemek olarak yazar.
  5. Zabbix bakım belgesi (Maintenance, 7.0): With data collection türünde trigger’lar çalışır ve problem açılır, bastırılan yalnız eskalasyondur.
  6. Microsoft’un cihaz ve uygulama e-postası belgesi (Microsoft 365 ile e-posta gönderen cihaz ve uygulamalar): kurumda bir e-posta sunucusu varsa uygulamaların iletisi o sunucu üzerinden aktarılmalıdır, çünkü fiziksel olarak sizin denetiminizdeki bir sunucuda relay ayarı daha kolaydır.
KararBu yazıdaki seçimNeden
Hangi problem bildirim üretir?High ve DisasterEylem gerektirir, öteki dereceler panoda okunur
Alarm neye kurulur?Belirtiye: Web servisi cevap vermiyorKullanıcının hissettiği şey odur
İlk ileti kime gider?Kullanıcı grubu BT OperasyonKişi değişir, grup kalır
Üst kademe ne zaman uyanır?3. adımda, problem onaylanmamışsaOnay “biri bakıyor” demektir
Adım süresi?Lab’da 2 dakika, canlıda vardiyanın cevap süresiBelgenin örneği 30 dakikadır
Eşikte gidip gelen değer?Recovery expressionHisterezis, belgenin önerdiği yol
Planlı iş?With data collection bakım penceresiVeri sürer, ileti bekler
E-posta nereden çıkar?Kurum içindeki SMTP relayParola Zabbix’te durmaz

Son satırın bir gerekçesi daha var. Zabbix belgesine göre e-posta media type’ının yapılandırması dışa aktarıldığında parola düz metin olarak çıkar (Email media type). Parolasız bir relay’e gönderen media type’ın dışa aktarılacak bir sırrı yoktur.

Trigger, Problem ve Action: Bildirim Hangi Yoldan Gider?

Bir iletinin yolu altı halkadan geçer. Zincirin ilk yarısını, yani item’dan trigger’a kadarını, Zabbix’in veri zinciri bölümünde anlattık:

  1. Item bir değer toplar: web portu cevap veriyor mu, işlemci yüzde kaç.
  2. Trigger her yeni değerde ifadesini hesaplar. İfade doğru çıkarsa bir problem açılır ve trigger’ın önem derecesi probleme geçer.
  3. Action koşullarına bakar: önem derecesi, host grubu, etiket. Koşul tutmazsa problem yalnız panoda görünür.
  4. Action’ın operation adımları iletiyi kime göndereceğini ve ne zaman göndereceğini söyler.
  5. Media type iletinin hangi kanaldan çıkacağını belirler: e-posta, SMS ya da bir mesajlaşma uygulaması.
  6. Kullanıcının Media kaydı adresini, hangi saatlerde ve hangi önem derecelerinde ileti alacağını söyler.

Halkalardan biri eksikse ileti gitmez ve Zabbix bunu ayrıca söylemez. Problem panoda görünür, e-posta gelmez. Bu yüzden kurulum aşağıda zincirin sonundan, iletinin çıkacağı kapıdan başlıyor.

E-posta Media Type: Zabbix’ten İleti Nasıl Çıkar?

Zabbix 7.0’da hazır bir Email media type’ı gelir ama yeni kurulumda Disabled durumdadır. Varsayılan action Report problems to Zabbix administrators da kapalıdır. Yani kurulumdan sonra Zabbix kendiliğinden kimseye ileti göndermez.

Media type Alerts → Media types → Email yolundan açılır. Lab’da Zabbix sunucusu iletiyi aynı makinedeki Postfix’e veriyor. Postfix burada kurumun SMTP relay’inin yerini tutuyor:

AlanDeğerAnlamı
Email providerGeneric SMTPGmail ve Office365 seçenekleri sunucu ve port alanlarını kendisi doldurur
SMTP server127.0.0.1Relay’in adresi, canlıda kurumun SMTP relay sunucusu
SMTP server port25
Emailzabbix@mon02.labİletinin gönderen adresi
SMTP helomon02.lab
Connection securityNoneAynı makineye bağlandığı için, ağ üzerinden relay’e STARTTLS
AuthenticationNoneRelay Zabbix sunucusunu adresinden tanır
Zabbix 7.0 Media type penceresi: Email provider Generic SMTP, SMTP server 127.0.0.1, port 25, gönderen zabbix@mon02.lab, Connection security ve Authentication None, bu alanlar kırmızı çerçeveyle işaretli
E-posta media type'ı yerel relay'e parolasız gönderiyor. Kimlik doğrulama relay ile dışarıdaki posta sunucusu arasında kalır, Zabbix'te parola durmaz.

Test düğmesi kaydedilmiş media type’la bir deneme iletisi gönderir. Lab’da deneme iletisi relay’e ulaştı ve yerel posta kutusuna düştü. Pencerede Media type test successful. yazısı görünüyorsa Zabbix ile relay arasındaki yol çalışıyordur.

Kullanıcı Medyası ve Kullanıcı Grubu

İletinin adresi media type’ta değil kullanıcıdadır. Users → Users → kullanıcı → Media sekmesinde Add ile e-posta adresi, When active alanında saat aralığı (1-7,00:00-24:00 haftanın her günü, günün her saati) ve Use if severity altında hangi önem derecelerinin bu adrese gideceği seçilir. Bu ikinci bir süzgeçtir: action bir High problemi bildirse bile kullanıcının medyasında High işaretli değilse o kullanıcıya ileti gitmez.

Kullanıcılar Users → User groups altında bir grupta toplanır. Lab’daki grup BT Operasyon’dur ve Host permissions sekmesinde Linux sunucular host grubuna Read izni vardır. Bu izin süs değildir: belgeye göre Zabbix bildirimi yalnız problemi üreten host’a en az okuma izni olan kullanıcılara gönderir (ileti gönderme). Action’ı kişiye değil gruba bağlamak, vardiya değiştiğinde action’a dokunmadan grubun üyeliğini değiştirmeyi sağlar.

Belirtiye Trigger Kurmak: Web Servisi Cevap Vermiyor

Bildirimin kurulacağı trigger, kullanıcının hissettiği bir belirti olmalıdır. Lab sunucusunda nginx çalışıyor ve kullanıcı için asıl soru web sayfasının açılıp açılmadığıdır. Bu soruyu agent’a değil Zabbix sunucusunun kendisine sorduran item tipi Simple check’tir: sunucu her dakika host’un 80 numaralı portuna bağlanmayı dener, bağlantı kurulursa 1, kurulamazsa 0 yazar.

Belgeye göre http denetimi yalnız TCP bağlantısı kurar, bir şey göndermez ve bir cevap beklemez (net.tcp.service ayrıntıları). Yani servis durduğunda 0 döner, ama hata sayfası veren bir web uygulamasında 1 döner. Sayfanın içeriğini ya da HTTP durum kodunu denetlemek için Zabbix’in web senaryoları kullanılır. Bu yazıdaki örnek servisin ayakta olup olmadığına bakar.

Item, Data collection → Hosts → lnx02 → Items → Create item yolundan eklenir. Type Simple check, Key net.tcp.service[http,,80], Update interval 1m. Trigger aynı host’un Triggers → Create trigger ekranından eklenir:

Yapılandırma
max(/lnx02/net.tcp.service[http,,80],#2)=0

#2 son iki değere bakar. İfade, son iki denemenin ikisi de başarısızsa doğru çıkar. Tek bir kayıp paket ya da bir saniyelik takılma alarm üretmez. Trigger’ın önem derecesi High’dır, çünkü web servisi durduğunda kullanıcı bunu hemen fark eder.

Zabbix New trigger formu: Name Web servisi cevap vermiyor, Severity High seçili ve işaretli, Expression kutusunda max(/lnx02/net.tcp.service[http,,80],#2)=0 ifadesi kırmızı çerçeve içinde
Belirti trigger'ı: son iki HTTP denemesi başarısızsa High problem açılır. Simple check'i Zabbix sunucusu yaptığı için agent dursa bile bu trigger doğru sonucu verir.

Lab’da nginx durdurulduktan sonra item’ın ilk 0 değeri bir dakika içinde geldi. İkinci 0 değeri bir dakika sonra geldi ve problem o anda açıldı: servis durduktan 1 dakika 48 saniye sonra. Aynı anda template’in Systemd: nginx.service: Service is not running trigger’ı 15:11:03’te, yani daha önce açıldı. O bir sebep göstergesidir ve önem derecesi Warning’dir. Panoda ilk bakılacak yer odur, ama kimseye ileti göndermedi.

Action ve Eskalasyon: Kime, Ne Zaman, Kaç Kez?

Eskalasyon, bir problemin süre geçtikçe bir sonraki kişiye taşınmasıdır. Zabbix’te bunu action’ın adımları yapar. Action, Alerts → Actions → Trigger actions → Create action yolundan açılır. Action sekmesinde action’ın adı (Sunucu alarmlari) ve koşulları yazılır:

  • A: Trigger severity is greater than or equals High
  • B: Host group equals Linux sunucular
  • Type of calculation: And

İki koşul birlikte, Linux sunucularındaki High ve Disaster problemlerini seçer. Warning ve Average problemler bu action’a girmez, panoda kalır.

Operations sekmesi iletinin takvimidir. Default operation step duration adımlar arasındaki süredir. Yeni action formunda 1 saat gelir, lab’da ölçümü kısaltmak için 2 dakika yapıldı. İki işlem tanımlandı:

AdımİşlemKoşul
1BT Operasyon grubuna e-postaYok, problem açılınca hemen
3Üst kademeye e-posta (lab’da aynı posta kutusu)Event is not acknowledged
  1. adımda işlem yoktur, yalnız süre işler. Bu boşluk, vardiyadaki kişiye iki adım süresi kadar zaman tanır. 3. adımın başlangıcı ekranda 00:04:00 olarak görünür: 2 dakikalık iki adım. Recovery operations ve Update operations altında Notify all involved vardır. Problem kapanınca ya da biri problemi güncelleyince, o problemle ilgili ileti almış herkes haberdar edilir.
Zabbix New action penceresinin Operations sekmesi: Default operation step duration 2m işaretli, Operations tablosunda adım 1 BT Operasyon grubuna Immediately, adım 3 kullanıcıya 00:04:00 satırları kırmızı çerçeve içinde, altta Recovery ve Update operations Notify all involved
Eskalasyonun takvimi: 1. adım hemen, 3. adım iki adım süresi sonra. Üst kademeye giden işlem yalnız problem onaylanmamışsa çalışır.

Sayfanın altındaki Pause operations for symptom problems ve Pause operations for suppressed problems kutuları varsayılan olarak işaretli gelir. İkincisi bakım penceresinin bölümünde ölçülen davranışı belirler.

Onaylanmayan Problem: Üst Kademe Uyanır

nginx yeniden durduruldu ve kimse problemi onaylamadı. İletilerin saati Zabbix’in alerts tablosundan:

SaatNe oldu
15:10:14systemctl stop nginx
15:12:02Web servisi cevap vermiyor açıldı, High
15:12:031. adım iletisi, BT Operasyon
15:16:033. adım iletisi, problem onaylanmamış
15:16:16systemctl start nginx
15:17:02Problem kapandı, recovery iletisi gitti
  1. adım iletisi 1. adımdan tam 4 dakika sonra gitti. 2. adımda işlem olmadığı için o adımın kaydı da yok. Problem 5 dakika sürdü, recovery iletisinin konusu Resolved in 5m 0s oldu.
Zabbix Event details ekranının Actions bölümü: Step sütununda 3 ve 1 numaralı satırlar 03:16:03 PM ve 03:12:03 PM saatleriyle kırmızı çerçeve içinde, en üstte Resolved in 5m 0s iletisi, hepsi Sent
Problemin olay ayrıntısı her iletiyi adım numarasıyla gösterir: 1. adım 15:12:03'te, 3. adım 15:16:03'te gitti. Sent durumu iletinin relay'e teslim edildiğini gösterir.
  1. adım ile 3. adım iletisinin gövdesi birebir aynıydı. Üst kademe, iletiyi okuyunca bunun bir eskalasyon olduğunu anlamaz. Biz bu yüzden üst kademe işleminde mesajı ayrıca yazmayı öneriyoruz: Operations sekmesinde 3. adımın Edit penceresinde Custom message kutusu işaretlenir ve konuya problemin onaylanmadığı yazılır.

Acknowledge: Onaylanan Problem Üst Kademeye Gitmez

Onay (acknowledge), “bu problemi gördüm, bakıyorum” demektir. Monitoring → Problems ekranında problemin satırındaki Update bağlantısı Update problem penceresini açar. Message kutusuna kısa bir not yazılır, Acknowledge işaretlenir ve Update’e basılır.

Zabbix Update problem penceresi: Message kutusunda Bakiyorum, nginx durmus notu kırmızı çerçeve içinde, Acknowledge kutusu işaretli ve kırmızı okla gösterilmiş, Change severity, Suppress ve Close problem kutuları boş
Onay penceresi. Not, problemi açan herkesin gördüğü kayda girer. Aynı pencere önem derecesini değiştirmeye, problemi bastırmaya ve elle kapatmaya da izin verir.

Aynı deneme bu kez onayla tekrarlandı:

SaatNe oldu
03:06:38systemctl stop nginx
03:08:02Problem açıldı, 1. adım iletisi gitti
03:09:22Problem onaylandı: Bakiyorum, nginx durmus
03:12:023. adımın saati geldi, ileti gitmedi
03:16:14systemctl start nginx
03:17:03Problem kapandı, recovery iletisi gitti
  1. adım iletisi, beklenen saatten 4 dakika sonrasına kadar gitmedi. Onay üst kademeyi susturdu, ama recovery iletisini susturmadı: problem kapandığında ileti almış herkes yine haberdar oldu.
Onaylı problemin Event details Actions listesi: 03:09:22 AM satırında onay işareti ve Bakiyorum, nginx durmus notu kırmızı çerçeve içinde, altında 1. adım iletisi, üstünde recovery iletisi, 3. adım satırı yok
Onaylı problemin geçmişi: 1. adım iletisi, 80 saniye sonra onay, sonra yalnız recovery. 3. adım satırı hiç oluşmadı.

Onaydan sonra Update operations altındaki Notify all involved bir ileti üretmedi. Zabbix belgesi bunu açıkça yazar: kullanıcılar kendi yaptıkları güncellemenin bildirimini almaz (update operations). Lab’da gruptaki tek kişi onu yapan kişiydi. Grupta başka kişiler varsa onlar notu e-postayla alır ve aynı problemle ikinci kez uğraşmaz.

Histerezis: Salınan Trigger’ı Recovery Expression ile Durdurmak

Histerezis, açılma ve kapanma için iki ayrı eşik kullanmaktır. Eşiğin hemen altında ve üstünde gidip gelen bir değer, tek bir eşikle kurulan trigger’ı her dakika açar ve kapatır. Recovery expression problemin kapanması için ayrı ve daha düşük bir koşul tanımlar. Lab’da lnx02’ye bu trigger eklendi, önem derecesi Warning:

Yapılandırma
Problem expression:   min(/lnx02/system.cpu.util,2m)>80
Recovery expression:  max(/lnx02/system.cpu.util,2m)<50

Trigger formunda (Data collection → Hosts → lnx02 → Triggers → Create trigger) OK event generation alanında Recovery expression seçilince ikinci kutu açılır. Problem, işlemci iki dakika boyunca yüzde 80’in üstünde kalınca açılır. Ancak iki dakika boyunca yüzde 50’nin altında kalınca kapanır. Aradaki bölge, yani 50 ile 80 arası, problemi ne açar ne kapatır. Örnekteki barajda savak kapaklarının su tehlike seviyesinin biraz altına indi diye kapatılmaması da aynı düzendir: açma ve kapatma kararı iki ayrı seviyeye bağlıdır.

Histerezisi sınamak için işlemciye önce yüzde 90, ara vermeden yüzde 60 yük verildi:

Bash
stress-ng --cpu 0 --cpu-load 90 --timeout 5m
stress-ng --cpu 0 --cpu-load 60 --timeout 4m

Zabbix’in ölçtüğü işlemci kullanımı 90 yükte yüzde 90,5 civarında, 60 yükte yüzde 61 civarında kaldı:

SaatİşlemciTrigger
15:31:10%77,52Kapalı, yük yeni başladı
15:34:10%90,54Problem açıldı, iki dakika boyunca 80’in üstü
15:36:10%65,16Açık, değer 50 ile 80 arasında
15:39:10%61,92Açık, 60 yük sürüyor
15:40:10%10,88Açık, iki dakikalık pencerede hala 61 var
15:42:10%0,96Kapandı

Problem yüzde 60 yük boyunca açık kaldı ve yük bittikten 2 dakika 51 saniye sonra kapandı. İfadenin hesabına göre recovery expression olmasaydı problem 15:36:10’da kapanırdı, çünkü o anda iki dakikalık pencerenin en küçük değeri 65,16 idi ve 80’in altındaydı. Tek eşikli bir trigger, değer 75 ile 85 arasında gidip geldikçe birkaç dakikada bir açılıp kapanırdı ve her açılış ayrı bir problem olurdu.

lnx02 CPU utilization grafiği: 15:31 ile 15:35 arasında yüzde 90 civarında düz çizgi, 15:36 ile 15:39 arasında yüzde 60 civarındaki bölüm kırmızı çerçeve içinde, 15:41'de sıfıra iniş, yüzde 90'da yatay kesikli template eşiği çizgisi
İki kademeli yük. Çerçevedeki yüzde 60 bölümünde problem açık kaldı, çünkü kapanma koşulu yüzde 50'nin altıdır. Kesikli çizgi template'in yüzde 90 eşiğidir.

Grafikteki kesikli çizgi template’in kendi High CPU utilization trigger’ının eşiğidir ve bu trigger aynı yükte açılmadı. İşlemci yüzde 90’ın biraz üstünde dört dakika kaldı, template ise beş dakikalık pencerenin tamamını ister. Kendi trigger’ınızı template’inkinin yanına eklerken hangisinin önce açılacağını hesaplayın: iki trigger aynı olayı iki kez bildirmemelidir. Template’in eşiğini değiştirmenin yolu host makrosudur.

Agent Durunca Hangi Alarm Gelir?

Agent’ın durması iki ayrı soruyu doğurur: sunucu çalışıyor mu ve sunucuyu görebiliyor muyuz? Lab’da lnx02’de zabbix-agent2 durduruldu ve 32 dakika kapalı tutuldu:

SaatNe olduİleti
15:45:12systemctl stop zabbix-agent2
15:51:28Linux: Active checks are not available açıldı, High1. adım iletisi
15:55:28Problem onaylanmamış3. adım iletisi
16:15:11Linux: Zabbix agent is not available (or nodata for 30m) açıldı, AverageYok
16:17:03systemctl start zabbix-agent2
16:17:28Active checks problemi kapandıRecovery iletisi
16:17:54Agent problemi kapandıYok

Template’in High trigger’ı agent durduktan 6 dakika 16 saniye sonra açıldı ve bizim action’ımızdan geçerek iki ileti üretti. Bu bir yanlış alarm değildir: agent durunca o sunucunun işlemcisi, diski ve servisleri görünmez olur ve birinin bakması gerekir. Average olan ikinci trigger tam 30 dakika sonra açıldı ve ileti göndermedi. Önem derecesi action’ın eşiğinin altında kaldığı için yalnız panoda göründü.

Web servisi trigger’ı bu sürede hiç açılmadı. Simple check’i Zabbix sunucusu yaptığı için item 32 dakika boyunca hep 1 döndürdü. Belirtiye kurulan alarm, izleme aracının kendi arızasından etkilenmedi. Template’in High trigger’larının hepsi, koşulu önem derecesi ve host grubu olan bir action’a girer. Action’ı kurduktan sonra template’lerin hangi trigger’larının High ya da Disaster olduğunu bir kez listeleyin. Gece birini kaldırmasını istemediğiniz biri varsa action’a bir trigger ya da etiket koşulu eklenir.

Bakım Penceresi: Yama Gecesinde Alarm Susar, Kayıt Sürer

Planlı bir iş (yama, yeniden başlatma, disk değişimi) sırasında açılan problemler beklenen problemlerdir. Bakım penceresi onları bastırır ama veriyi kaydetmeye devam eder. Pencere Data collection → Maintenance → Create maintenance period yolundan açılır. Zabbix 7.0’da bütün alanlar tek penceredir:

  • Name: Gece yama penceresi
  • Maintenance type: With data collection
  • Active since ve Active till: pencerenin geçerli olduğu tarih aralığı
  • Periods: One time only, başlangıç 16:22, süre 20 dakika
  • Hosts: lnx02

Pencere başlayınca host listesinde host adının yanında turuncu bir anahtar simgesi belirir. nginx bakım sırasında durduruldu ve 24 dakika durmuş kaldı:

SaatNe oldu
16:22:00Bakım başladı
16:23:26systemctl stop nginx
16:25:02Problem açıldı, bastırılmış (suppressed), ileti yok
16:42:00Bakım bitti
16:42:021. adım iletisi
16:46:023. adım iletisi, problem onaylanmamış
16:47:10systemctl start nginx
16:48:02Problem kapandı, recovery iletisi

Problem bakım boyunca açıktı, ama Problems ekranı varsayılan filtreyle bomboş göründü. Filtrede Show suppressed problems işaretlenince problem, Info sütununda üstü çizili bir göz simgesiyle listeye geldi. Host’un bakımdan önce açılmış problemleri de aynı simgeyle bastırılmıştı. Yani bakım penceresi host’un bütün problemlerini gizler, pencereden önce açılmış olanları da.

Zabbix Problems ekranı: Show suppressed problems kutusu işaretli ve kırmızı çerçevede, listede Web servisi cevap vermiyor High satırı ve lnx02'nin diğer üç problemi, Info sütunundaki üstü çizili göz simgeleri kırmızı çerçeve içinde
Bakımdaki host'un problemleri yalnız Show suppressed problems işaretliyken görünür. Üstü çizili göz, problemin açık ama bastırılmış olduğunu söyler.

İlk ileti, pencerenin bittiği andan 2 saniye sonra gitti ve sonraki adımlar o andan itibaren sayıldı. Zabbix belgesi bunu bakımda başlayan problemin eskalasyonunun bakımdan sonra başlaması olarak tarif eder. Belge ayrıca bakımda başlayan problemin recovery iletisinin gitmeyeceğini yazar. Lab’da problem bakımdan sonra da sürdüğü ve problem iletileri gittiği için recovery iletisi de gitti.

Bu davranışın pratik anlamı şudur: bakım penceresi bittiği saniyede gelen e-posta, işin temiz bitmediğini söyler. Pencereyi işin tahmini süresinden biraz uzun açın. Pencere kapandığında hala açık bir problem varsa o problem gerçek bir sorundur.

Alarm Yorgunluğunu Ölçmek

Alarm yorgunluğu, iletilerin çoğu eylem gerektirmediği için kimsenin iletileri okumamasıdır. Hangi trigger’ın gürültü ürettiğini görmenin ilk yolu Reports → Top 100 triggers ekranıdır: seçilen dönemde en çok problem açan trigger’ları sayısıyla listeler. Lab sunucusunda listenin başında, her yeniden başlatmada açılan Zabbix server has been restarted vardı.

Daha ayrıntılı sayım Zabbix veritabanından salt okunur sorgularla alınır. Lab’da PostgreSQL üzerinde çalışan sorgulardan ikisi:

mon02PostgreSQL
-- problem count by severity (0-5)
select severity, count(*) from events
 where source=0 and object=0 and value=1
 group by severity order by severity;

-- messages sent by actions: total, problem, recovery
select count(*),
       count(*) filter (where p_eventid is null) as problem_ileti,
       count(*) filter (where p_eventid is not null) as recovery_ileti
  from alerts;

Lab sunucusunun bir günlük geçmişinde 70 problem açılmıştı. 35’i Information, 20’si Warning, 11’i Average ve 4’ü High idi. Action 11 ileti gönderdi (7 problem, 4 recovery) ve hepsi bu 4 High problemin iletisiydi. Kapanan 62 problemin 10’u beş dakikadan kısa sürdü. Bu sayılar doğal bir ortamın değil, problemlerin bilerek üretildiği bir lab gününün sayılarıdır. Gösterdikleri şey severity koşulunun etkisidir: 70 problemden 4’ü birini aradı.

Canlı bir ortamda aynı sayımı haftada bir yapın. Beş dakikadan kısa süren ve sık tekrarlayan trigger’lar histerezis ya da daha uzun bir zaman penceresi ister. İleti üreten ama kimsenin bir şey yapmadığı trigger’ların önem derecesi düşürülür.

Zabbix Trigger ve Alarm Ayarında Sık Yapılan Hatalar

  1. Media type’ı açmayı unutmak. Hazır Email media type’ı ve varsayılan action kapalı gelir. Problem panoda görünür, ileti gitmez.
  2. Her önem derecesini bildirime bağlamak. Lab’daki bir günde 70 problemin 66’sı High’ın altındaydı. Hepsi e-posta olsaydı ilk hafta okunmaz hale gelirdi.
  3. Sebebe alarm kurmak. nginx.service Warning’i web servisinden önce açıldı, ama kullanıcıyı ilgilendiren belirti web portunun cevap vermemesidir. Sebep panoda, belirti bildirimde durur.
  4. Üst kademe adımını onay koşulsuz kurmak. Event is not acknowledged koşulu olmayan 3. adım, problemle ilgilenen biri olsa bile üst kademeyi uyandırır.
  5. Adım süresini çok kısa tutmak. Lab’daki 2 dakika ölçüm içindir. Canlıda adım süresi vardiyanın iletiyi görüp onaylamasına yetmelidir.
  6. Bakımı yapıp pencere açmamak. Yama gecesinin her yeniden başlatması bir ileti üretir ve ekip bir sonraki gerçek iletiyi de bakım sanır.

Sonuç: Zabbix’te Alarm Az ve Kesin Olmalı

Zabbix’te bir alarm düzeni, kaç trigger kurduğunuzla değil, kaç iletinin birini harekete geçirdiğiyle ölçülür. Doğru kurulan bir düzende ileti az gelir ve gelen ileti bir şey yapılmasını gerektirir.

Lab’da dört şey beklenenden farklı çıktı:

  1. Onay iletisi onu yapan kişiye gitmedi. Zabbix kişinin kendi güncellemesini ona bildirmez.
  2. Bakım bitince ilk ileti 2 saniyede geldi ve problem 17 dakika önce açılmıştı. Pencerenin sonu bir kontrol noktası gibi çalışır.
  3. Agent’ın durması High bir ileti üretti, çünkü template’in kendi trigger’ı High. Web servisi trigger’ı ise etkilenmedi.
  4. Üst kademe iletisi ilk iletinin birebir kopyasıydı. Eskalasyon olduğunu söylemesi için mesajı ayrıca yazmak gerekir.

Girişteki benzetmeye dönersek: seviye ölçer item’dır, dikkat ve tehlike seviyeleri trigger’ın önem dereceleridir. Vardiya teknisyeninin telefonu 1. adımdır, “bakıyorum” demek onaydır ve işletme şefinin telefonu yalnız o söz söylenmezse çalan 3. adımdır. Savak kapaklarının su belirgin biçimde düşene kadar açık kalması recovery expression’dır, ölçer bakımdayken susan ama kaydı süren alarm da bakım penceresi.

Sırada bu problemlerin tek ekranda okunması var: Zabbix dashboard’unun neyi göstermesi gerektiği ve neyi göstermemesi gerektiği. Ağ cihazlarının alarmları ise SNMP ile toplanan veriye kurulur. İzlemenin ve bildirimin bir hizmet olarak nasıl yürüdüğünü network izleme hizmeti sayfamızda anlattık.

Zabbix Trigger ve Alarm Hakkında Sık Sorulan Sorular

Bir ileti dört kapıdan geçer ve dördünden biri kapalıysa hiçbir şey gelmez. Sırayla bakılacak yerler şunlardır. Birincisi Alerts, Media types altındaki Email kaydıdır: yeni kurulumda Disabled gelir. İkincisi kullanıcının Media sekmesidir: adres yazılı ve o önem derecesi işaretli olmalıdır. Üçüncüsü trigger action'ının koşullarıdır: problemin önem derecesini ve host grubunu kapsamalıdır. Dördüncüsü kullanıcının o host grubundaki okuma iznidir. Son olarak Reports, Action log ekranı iletinin gönderilip gönderilmediğini ve hatasını gösterir.
Adım süresi, bir ileti ile bir sonraki adım arasındaki bekleme süresidir. Zabbix en az 60 saniye, en çok bir hafta kabul eder, yeni action formunda 1 saat gelir. Doğru değer vardiyadaki kişinin iletiyi görüp onaylamasına yetecek süredir. Zabbix belgesinin örneği 30 dakikadır. Üst kademe adımı bu süre geçip problem hala onaylanmamışsa çalışır, bu yüzden süre kısa tutulursa üst kademe gereksiz yere uyanır.
With data collection türünde evet. Veri kaydedilir, trigger'lar çalışır, problemler açılır ama bastırılmış olarak işaretlenir ve e-posta gitmez. Lab'da bakım sırasında açılan bir problem 17 dakika sessiz kaldı ve ilk ileti pencerenin bittiği andan 2 saniye sonra gitti. No data collection türünde ise belgeye göre veri toplanabilir ama veritabanına kaydedilmez, o sürenin grafiği boş kalır.
İlker Pehlivan
Yazan

BT Danışmanı | Ağ, Sistem ve Güvenlik Yönetimi

İlker Pehlivan, karmaşık BT altyapılarını ölçeklenebilir ve güvenli sistemlere dönüştürür. Buradaki rehberleri kendi laboratuvarında kurup ölçerek yazar.

LinkedIn

Benzer Makaleler

Zabbix Rehberi: Kurulumdan Alarma Adım Adım İzleme

Zabbix rehberi: kurulumdan agent'a, template'ten alarma ve dashboard'a on üç adımlık sıra. Her adım hangi kurumda gerekir, lab'da hangi yazıda ölçüldü.

15 dk okuma

Network İzleme Hizmeti: Sunucu, Hat ve Ağ Cihazları

Network izleme hizmeti: sunucu, internet hattı, switch ve firewall dakika dakika izlenir, alarm geldiğinde aynı ekip müdahale eder. Kapsam, süreç ve fiyat.

9 dk okuma

Zabbix 8.0 Upgrade: 7.0 LTS'den Yedekli Geçiş

Zabbix 7.0 LTS'den 8.0'a güncelleme adım adım: sürüm notları, veritabanı ve dosya yedeği, geri yükleme provası, depo paketi, otomatik veritabanı yükseltmesi ve kontrol.

18 dk okuma

Zabbix Health Check: Kuyruk, Poller ve Housekeeper

Zabbix health check lab ölçümüyle: sağlık panosu, queue, poller doluluğu, önbellek ve housekeeper. Agent, poller ve server durunca ne görünür?

16 dk okuma

Zabbix Dashboard: Widget, Network Map ve NOC Ekranı

Zabbix dashboard tasarımı: hangi widget neyi söyler, network map, Host navigator ile ayrıntı sayfası, slideshow ve kiosk, arıza anında ölçülen gecikmeler.

23 dk okuma

Zabbix Proxy: Şube İzleme, Kurulum ve Hat Kopukluğu

Zabbix proxy kurulumu: şubede ne zaman gerekir, aktif proxy, PSK ve agent ayarı, hat koptuğunda ölçülen davranış: yerel tampon, geç gelen veri ve alarm.

26 dk okuma