BT Sistem Yönetimi

Zabbix Dashboard: Widget, Network Map ve NOC Ekranı

Zabbix dashboard tasarımı: hangi widget neyi söyler, network map, Host navigator ile ayrıntı sayfası, slideshow ve kiosk, arıza anında ölçülen gecikmeler.

İlker Pehlivan

Zabbix dashboard, izlenen sistemlerin durumunu tek ekranda gösteren widget’lardan oluşan bir panodur. Değerli bir pano, ona bakan kişinin üç soruyu birkaç saniyede cevaplamasını sağlar: her şey yolunda mı, değilse neye bakmalıyım, ayrıntı nerede? Bunun için ilk sayfada az sayıda widget durur, yalnız eylem gerektiren problemler öne çıkar, tek bir sunucunun ayrıntısı ayrı bir sayfaya taşınır ve renk yalnız bir eşik aşıldığında kullanılır.

Bu yazı, trigger ve alarm düzeninin açtığı problemlerin ekranda nasıl okunacağını anlatır. Zabbix 7.0’da sıfırdan bir operasyon panosu kurdum: yedi widget’lık bir durum sayfası, bağlantıları kırmızıya dönen bir network map ve Host navigator’la çalışan bir ayrıntı sayfası. Sonra bir Ubuntu sunucudaki web servisini durdurdum ve her widget’ın arızayı kaç saniye sonra gösterdiğini ölçtüm. Doğrudan kuruluma geçmek isterseniz operasyon panosu bölümüne atlayabilirsiniz.

Bir otomobilin gösterge panelinde şoförün baktığı birkaç kadran vardır: hız, yakıt, motor sıcaklığı. Yağ basıncının ya da akü geriliminin sayısı orada yazmaz. Onların yerinde arıza lambaları durur ve bir lamba yalnız bir şey bozulduğunda yanar. Lamba yanınca şoför yolun kenarına çeker.

Arızanın ayrıntısı ise ustanın teşhis cihazındadır. Usta cihazı motora takar ve hangi parçanın ne zamandan beri arızalı olduğunu okur. Şoför teşhis cihazına bakarak otomobil kullanmaz. İyi bir Zabbix panosu da bu iki ekranı birbirinden ayırır.

Atölyede şoför kapısı açık lacivert bir otomobil. Gösterge panelinde üç kadran ve tek bir yanan arıza lambası görünüyor. Kapının yanında duran usta, kablosu panelin altındaki sokete giden el tipi teşhis cihazına bakıyor, sağda bir adım geride duran şoför ise yanan lambaya bakıyor.
Şoförün panelinde birkaç kadran ve yalnız arızada yanan bir lamba vardır, arızanın ayrıntısını usta teşhis cihazında okur. Zabbix'te de ilk sayfa az şey gösterir, tek bir sunucunun ayrıntısı ikinci sayfadadır.

Bu makale BT Sistem Yönetimi ana hizmetimizin izleme koluna, özellikle izleme verisinin ekranda okunmasına odaklanır.

Zabbix Dashboard Nasıl Olmalı?

Önce kısa cevap: ilk sayfa kaydırmadan tek ekrana sığar ve büyük resmi gösterir. Problems widget’ı yalnız eylem gerektiren ve henüz kimsenin üstlenmediği problemleri listeler. Ham değer yerine anlamı yazılır, 0 yerine Kapali gibi. Renk yalnız eşik aşılınca görünür. Harita ve durum widget’ları 1 dakikada bir yenilenir. Tek bir sunucunun grafikleri ikinci bir sayfada, seçilen hosta göre değişir.

Bu düzeni dört kaynak birlikte tarif ediyor:

  1. Stephen Few’un dashboard tanımı (Dashboard Confusion): dashboard, bir ya da birkaç hedefe ulaşmak için gereken en önemli bilginin tek ekranda toplandığı ve bir bakışta izlenebildiği görsel bir gösterimdir. Few’a göre tanımı belirleyen gösterilen bilginin türü değil, bilginin bir amaca hizmet edecek biçimde düzenlenmesidir.
  2. Few’un dashboard hataları çalışması (Common Pitfalls in Dashboard Design, 2006): pano izlemeyi üç adımda desteklemelidir. Önce büyük resim görülür, sonra dikkat isteyen öğeye odaklanılır, en son harekete geçmek için gereken ayrıntıya inilir. Few bu çalışmada 13 hata sayar. Bu yazıda en çok altısı karşımıza çıkacak: tek ekranı aşmak, sayıyı bağlamsız göstermek, gereksiz hassasiyet, değeri dolaylı ifade etmek, önemli olanı öne çıkaramamak ve rengi gereğinden çok kullanmak.
  3. Zabbix pano belgesi (Dashboards, 7.0): bir pano birden çok sayfa taşır. Sayfalar slideshow ile döner, pano kiosk modunda tam ekran açılır ve kullanıcılarla ya da kullanıcı gruplarıyla salt okunur paylaşılır.
  4. Zabbix widget belgesi (Widgets, 7.0): her widget’ın kendi yenileme aralığı vardır ve varsayılanı widget türüne göre değişir. Bir widget başka bir widget’ı veri kaynağı olarak seçebilir.
KararBu yazıdaki seçimNeden
İlk sayfada ne durur?Problem sayıları, onaysız problemler, harita, kaynak sıralamasıFew’un ilk iki adımı: büyük resim ve dikkat isteyen öğe
Ayrıntı nerede durur?İkinci sayfada, Host navigator’laÜçüncü adım, ilk sayfayı kalabalıklaştırmaz
Problems widget’ı neyi listeler?Average, High, Disaster ve onaylanmamışOnaylanan problemle zaten biri ilgileniyor
Ham değer mi, anlamı mı?Value mapping: 0 yerine KapaliOkuyan çeviri yapmaz
Renk ne zaman görünür?Yalnız eşik aşılıncaHer şey renkliyse hiçbir şey öne çıkmaz
Yenileme aralığı?1 dakika, harita dahilMap widget’ının varsayılanı 15 dakika
Ekran sayısı?Tek ekran, kaydırma yokFew’un ilk hatası
Duvar ekranı?Slideshow ve kiosk, salt okunur paylaşımKimse dokunmadan döner

Hangi problemin bildirim, hangisinin yalnız pano işi olduğunu Zabbix nedir yazısında anlattık: Warning ve Average panoda kalır, High ve Disaster birini arar. Pano, bildirim gitmeyen problemlerin okunduğu yerdir. Bu yüzden onu okunur tutmak, alarm düzeninin yarısıdır.

Zabbix’te Dashboard, Sayfa ve Widget Nedir?

Zabbix’te bir dashboard bir ya da birkaç sayfadan oluşur. Her sayfa bir ızgaradır ve üzerine widget yerleştirilir. Widget, tek bir soruyu cevaplayan kutudur: problem sayısı, bir item’ın son değeri, bir grafik, bir harita. Widget’lar düzenleme modunda sürüklenerek yerleştirilir ve kenarlarından çekilerek büyütülür.

Zabbix 7.0.32’de Add widget penceresinin Type listesinde 29 widget türü var. Otuzuncusu, Data overview, listenin sonunda Deprecated başlığı altında duruyor. Bu yazıdaki panoda bunlardan dokuzu kullanılıyor. Bir operasyon panosunun ihtiyaç duyduğu soruların karşılığı şöyle:

SoruWidgetLab’daki ayarı
Şu an kaç problem var, ne kadar ciddi?Problems by severityTotals, yatay
Neye bakmalıyım?ProblemsAverage ve üstü, onaylanmamış
Tek bir servis ayakta mı?Item valueValue mapping ve eşik rengi
Agent’lar veri gönderiyor mu?Host availabilityZabbix agent, active ve passive
Hangi sunucu zorlanıyor?Top hosts, Honeycombİşlemciye göre sıralı, 70 ve 90 eşikleri
Hangi bağlantı kopuk?MapLab ağının haritası
Bir sunucunun son bir saatiHost navigator ve Graph (classic)İkinci sayfa

Her widget kendi aralığıyla yenilenir. Widget menüsündeki Refresh interval seçenekleri şunlardır: No refresh, 10 saniye, 30 saniye, 1 dakika, 2 dakika, 10 dakika ve 15 dakika. Varsayılan türe göre değişir ve lab’da iki gruba ayrıldı:

  1. 1 dakika: Problems, Problems by severity, Item value, Honeycomb, Top hosts ve Graph (classic).
  2. 15 dakika: Host availability, Map, Clock ve System information.

Bu fark arıza anında belirleyici olur. Ölçümü arıza bölümünde gösteriyorum.

Hazır Panolar: Global View ve Template Dashboard’lar

Zabbix kurulunca Dashboards menüsünde Global view adlı bir pano gelir. Dokuz widget taşır: işlemciye göre en yoğun hostlar, saniyedeki değer sayısı, sistem bilgisi, saat, host erişilebilirliği, önem derecesine göre problemler, güncel problemler ve bir harita.

Zabbix 7.0 Global view panosu: ortada Problems by severity kutularında Information 32, altta Current problems listesinde lnx02'nin service has been restarted satırları mavi Information rengiyle kırmızı çerçeve içinde, sağ altta Riga şehrini gösteren Geomap haritası çerçeve içinde
Hazır panoda gözün ilk düştüğü yer 32 Information problemi ve başka bir şehrin haritası oluyor. Bu pano Zabbix'in neler gösterebildiğini tanıtır, bir operasyon ekranının işini görmez.

Bu pano lab’da iki kusur gösterdi:

  1. Current problems en alttaki önem derecesini de listeliyor. Ubuntu sunucunun açılışta yeniden başlayan servisleri 32 Information problemi açmıştı ve listenin ilk ekranı yalnız onlardan oluşuyordu. Few’un önemli olanı öne çıkaramama hatası tam olarak budur: Average önem dereceli dört problem aşağıda kalıyordu.
  2. Geomap başka bir şehri gösteriyor. Widget varsayılan olarak Riga’yı açıyor ve harita karolarını OpenStreetMap’ten, yani internetten çekiyor. İnternete çıkışı olmayan bir izleme sunucusunda bu kutu boş kalır.

Global view’a dokunmak yerine yeni bir pano kurmak daha temizdir. Hazır pano yeni kullanıcıların ilk gördüğü ekran olarak kalabilir.

Hazır panoların ikinci türü template dashboard’dur. Template’in içinde tanımlanır ve template’in bağlı olduğu her hostta kendiliğinden açılır. Monitoring > Hosts listesinde her hostun satırında bir Dashboards bağlantısı ve yanında pano sayısı durur. Lab’daki Ubuntu sunucuda iki template dört pano getirdi:

TemplatePanoSayfaWidget
Linux by Zabbix agent activeSystem performance19
Linux by Zabbix agent activeNetwork interfaces11
Linux by Zabbix agent activeFilesystems12
Systemd by Zabbix agent 2Systemd: Overview22
Zabbix Host dashboards ekranı, lnx02 için dört sekme: Filesystems, Network interfaces, Systemd: Overview ve seçili System performance, sekmeler kırmızı çerçeve içinde, altında Linux: System load, CPU usage, Memory usage ve Swap usage grafikleri
Template'in getirdiği System performance panosu tek bir sunucunun yük, işlemci, bellek ve swap grafiklerini yan yana koyar. Bir sunucuya bakmak için iyi bir yerdir, on sunucuyu birlikte izlemek için değil.

Bu panolar tek bir sunucunun ayrıntısı içindir. Filesystems panosundaki bir kutu lab’da boş göründü: bir dosya sistemi türü için hazırlanmış widget, sunucuda o türden bir dosya sistemi olmadığı için veri bulamadı. Template panosu her sunucuya aynı düzeni getirir, sunucunun kendisine göre ayarlanmaz.

Operasyon Panosu Kurmak: Yedi Widget, Tek Ekran

Operasyon panosu, ekibin gün boyu açık tuttuğu ilk sayfadır. Few’un üç adımının ilk ikisini, yani büyük resmi ve dikkat isteyen öğeyi taşır. Lab’da BT Operasyon - Durum adlı bir pano kurdum.

Dashboards > Create dashboard seçilince önce Dashboard properties penceresi açılır:

  1. Owner: panonun sahibi. Paylaşım ayarlarını yalnız sahip ve yöneticiler değiştirebilir.
  2. Name: BT Operasyon - Durum.
  3. Default page display period: slideshow’da her sayfanın ekranda kalacağı süre. Fabrika ayarında 30 saniyedir.
  4. Start slideshow automatically: fabrika ayarında işaretli gelir. Masadaki bir ekranda sayfaların kendi kendine dönmesi okumayı bozar, bu yüzden bu panoda işaretini kaldırdım. Duvar ekranında açılması NOC bölümünde.

Apply ile pencere kapanır, pano düzenleme modunda açılır. Widget’lar Add düğmesiyle ya da boş alana sürükleyerek eklenir. Yedi widget’ı şu ayarlarla kurdum:

WidgetAyarYeri
Problems by severityShow TotalsÜst sıra, sol
Host availabilityInterface type: Zabbix agent (active checks) ve (passive checks)Üst sıra, orta
Item valueItem Web servisi (HTTP 80), value mapping, eşik renkleriÜst sıra, sağ
ProblemsAverage, High, Disaster, Unacknowledged, önem derecesine göre sıralıOrta sıra, sol
MapHarita Lab agiOrta sıra, sağ
Honeycombİşlemci kullanımı, 70 sarı, 90 kırmızıAlt sıra, sol
Top hostsİşlemci, bellek ve kök dosya sistemi kolonları, işlemciye göre ilk 5Alt sıra, sağ

Üst sıra üç soruyu cevaplar: Kaç problem var? Agent’lar ayakta mı? Web servisi çalışıyor mu? Orta sıra dikkat isteyen öğeyi gösterir. Alt sıra kaynak sıkışmasını sıralar. Pano 1600×900 piksellik bir tarayıcı penceresine kaydırmadan sığdı.

Zabbix BT Operasyon - Durum panosu normal durumda: üstte Problems by severity, Host availability ve yeşil Item value kutusunda Acik (1.00), ortada Problems listesi ve Map widget'ında lab ağı haritası, altta Honeycomb ve Top hosts, Top hosts'ta kapalı ANKMUH01 ve SRV01 satırları kırmızı çerçeve içinde
Yedi widget'lık durum sayfası tek ekrana sığıyor. Çerçevedeki iki satır kapalı iki sunucuya ait: Top hosts onlar için hala değer gösteriyor.

Panonun normal hali üç kusur da gösterdi. Bunları aşağıdaki bölümlerde widget widget ele alıyorum:

  1. Top hosts kapalı sunucuların son değerlerini gösteriyor. SRV01 saatlerdir kapalıydı, bellek kolonunda yüzde 89,43 yazıyordu. Bağlamı olmayan bir sayı Few’un ikinci hatasıdır.
  2. Host availability kapalı iki sunucuyu Not available değil Unknown sütununda sayıyor. Widget 24 birimlik genişlikte Unknown sütununu da kesiyordu.
  3. Problems widget’ında uzun problem adları dört beş satıra kırılıyor. Dar bir kutuda ancak dört problem göründü, dördüncüsü yarım kaldı.

Problems Widget’ı: Ekranda Yalnız Bakılması Gereken

Örnekteki otomobilin arıza lambası panoda Problems widget’ıdır: yalnız bakılması gereken bir şey varken dolar. Onu Global view’dakinden farklı kılan dört ayar var:

  1. Severity: Average, High ve Disaster işaretli. Warning ve Information problemleri listeye girmez, sayıları Problems by severity’de görünür.
  2. Acknowledgement status: Unacknowledged. Onaylanmış bir problemle biri ilgileniyordur. Trigger yazısında onay üst kademe iletisini durdurmuştu, burada problemi listeden indirir.
  3. Sort entries by: Severity (descending). En ciddi problem en üstte durur.
  4. Show lines: 10.
Zabbix Add widget penceresi, Problems widget'ı: Severity alanında Average, High ve Disaster işaretli, Acknowledgement status alanında Unacknowledged seçili, Sort entries by alanında Severity (descending), bu üç alan kırmızı çerçeve içinde
Üç ayar listeyi eylem gerektiren ve kimsenin üstlenmediği problemlere indirir. Liste boşsa bakılacak bir şey yoktur.

Sıralamayı önem derecesine çevirince Show timeline kutusunun işareti kendiliğinden kalktı. Zaman çizgisi yalnız zamana göre sıralanan listede anlamlıdır.

Lab’da kutunun genişliği sorun çıkardı. Panonun yarısını kaplayan widget’ta Windows servis problemlerinin uzun adları dört beş satıra kırıldı ve 10 satırlık listenin ancak dördü göründü. Problems widget’ı panonun en geniş kutusu olmalı, ya da alt sıraya tam genişlikte konmalı.

Value Mapping: Ekranda 0 ve 1 Yerine Anlam

Web servisi item’ı net.tcp.service[http,,80] iki değer döndürür: 1 port cevap veriyor, 0 vermiyor. Item value widget’ı bu sayıyı olduğu gibi yazarsa ekrana bakan kişi bir an durup “1 iyi mi, kötü mü?” diye düşünür. Few bunu dolaylı ifade hatası sayar. Zabbix’te çözümü value mapping’dir: sayıya bir ad verir.

Value mapping host ya da template üstünde tanımlanır. Lab’da host formunun Value mapping sekmesinde Add ile şu eşlemeyi kurdum:

Zabbix Value mapping penceresi: Name HTTP durumu, Mappings tablosunda equals 0 eşittir Kapali ve equals 1 eşittir Acik satırları kırmızı çerçeve içinde
İki satırlık eşleme, item'ın ham değerini panoda okunan bir sözcüğe çevirir. Lab'daki adlar Türkçe harf taşımaz.

Sonra item formunun Value mapping alanında HTTP durumu seçilir ve item kaydedilir. Eşleme bundan sonra her yerde geçerlidir: widget’ta, Latest data ekranında, problem iletisinde.

Item value widget’ının Thresholds alanına iki satır girdim: 0 kırmızı, 1 yeşil. Zabbix eşiği “bu değer ve üstü” olarak uygular, bu yüzden “1’in altı kırmızı” demek için 0 satırına kırmızı, 1 satırına yeşil verilir. Widget normalde yeşil zemin üzerinde Acik (1.00) yazdı. Parantez içindeki 1.00 gereksiz hassasiyettir. Formdaki Decimal places alanı fabrika ayarında 2’dir ve 0 yapıldığında sayı tam sayı olarak görünür.

Honeycomb ve Top Hosts: Kaynak Sıkışmasını Sıralamak

Honeycomb widget’ı her host için bir altıgen çizer ve içine seçilen item’ın değerini yazar. Lab’da Linux sunucu grubu ile Zabbix sunucusunun grubunu seçtim, item deseni CPU utilization. Advanced configuration altındaki Thresholds alanına 70 sarı ve 90 kırmızı girdim. Değerler 70’in altındayken altıgenler gri kaldı. Renk yalnız eşik aşılınca gelir ve göz ilk ona gider.

Top hosts widget’ı bir tablodur: her kolon bir item, satırlar seçilen kolona göre sıralanır. Lab’da dört kolon kurdum: host adı, CPU utilization, Memory utilization ve FS [/]: Space: Used, in %. Order by işlemci, Host limit 5.

Zabbix Add widget penceresi, Top hosts widget'ı: Columns tablosunda Host name, CPU utilization, Memory utilization ve FS [/]: Space: Used, in % satırları kırmızı çerçeve içinde, Order by alanında CPU utilization, Host limit 5
Her kolon bir item adıdır. Zabbix bu adı seçilen her hostta arar, aynı adı taşımayan hostun hücresi boş kalır.

Top hosts tablosunda iki davranış bilinmeden okunursa yanıltır:

  1. Kolon item’ı adıyla eşler. Belgeye göre seçilen item’ın adı, bütün hostlarda aynı adı taşıyan item’ı bulmak için kullanılır (Top hosts). Linux template’inde kök dosya sisteminin item’ı FS [/]: Space: Used, in % adını taşır, Windows template’inde disk item’ları sürücü harfiyle adlandırılır. Bu yüzden iki Windows sunucunun disk hücresi boş kaldı. Windows ve Linux disklerini aynı tabloda sıralamak isteyen iki ayrı kolon kurar.
  2. Kapalı sunucunun son değeri tabloda kalır. ANKMUH01 ve SRV01 kapalıyken bellek kolonu yüzde 73,88 ve 89,43 göstermeye devam etti.

Kolonun Aggregation function alanını last, Time period alanını now-10m ile now arası yaptım: son on dakikada değer yoksa hücrenin boşalmasını bekliyordum. Satırlar yine yerinde kaldı. Nedeni veritabanında göründü. Windows template’indeki Memory utilization bir calculated item’dır (vm.memory.util): agent’tan gelmez, Zabbix sunucusu onu her dakika öteki item’lardan yeniden hesaplar ve yeni zaman damgasıyla kaydeder. Host kapalıyken de son on dakikada her dakika bir değer vardı. Bu yüzden Top hosts tek başına “bu sunucu çalışıyor” demez.

Top hosts aynı sayfadaki Host availability ile birlikte okunur. Orada kapalı iki sunucu Unknown sütunundaydı. Belgeye göre Unknown, bağlantının denenmediği ya da sonucun bilinmediği durumdur (Host availability). Lab’da Zabbix sunucusu açıldıktan sonra iki Windows sunucusundan hiç veri gelmemişti ve ikisi Not available yerine bu sütunda kaldı.

Network Map: Kopan Bağlantı Kırmızıya Döner

PRTG kullanmış biri Zabbix’te önce haritayı arar. Aradığı şey cihazların simgeleri, aralarındaki çizgiler ve arızada kırmızıya dönen bağlantıdır. Zabbix’te bunun karşılığı network map’tir. Harita önce Monitoring > Maps altında kurulur, sonra panoya Map widget’ıyla konur.

Lab’da Lab agi adlı haritayı şöyle kurdum:

  1. Monitoring > Maps > Create map: Name Lab agi, Width 1200, Height 600, arka plan resmi yok. Add.
  2. Harita listesinde haritanın adına, sonra Edit map’e tıklanır. Harita düzenleyicisi açılır.
  3. Map element: Add her tıklamada bir öğe ekler. Öğeye tıklanınca sağda bir panel açılır. Burada Type Host seçilir, Host alanına hostun adı yazılır, Label alanına {HOST.NAME} ve alt satırına {HOST.IP} yazılır. Konum sürükleyerek ya da X ve Y alanlarıyla verilir. Üç host ekledim: Zabbix sunucusu, lnx02 ve SRV01.
  4. Dördüncü öğe bir Image: bulut simgeli Internet. Bir host değildir, haritayı okunur kılar.
  5. Link iki öğe arasına çizilir. Önce bir öğe seçilir, Ctrl tuşuyla ikincisi eklenir ve Link: Add tıklanır. Üç link kurdum: Zabbix sunucusundan lnx02’ye, SRV01’e ve Internet’e.
  6. Linkin formunda Type (OK) Line ve Color (OK) yeşil, normal durumdaki çizgiyi belirler. Link indicators alanı çizgiyi bir trigger’a bağlar.
Zabbix harita düzenleyicisinde link formu: From Zabbix server, To lnx02, Type (OK) Line, Color (OK) yeşil, Link indicators tablosunda trigger lnx02: Web servisi cevap vermiyor, Type Bold line ve kırmızı renk kutusu satırı kırmızı çerçeve içinde
Link indicator çizgiyi bir trigger'a bağlar. Trigger problem açtığında çizgi bu satırdaki türe ve renge geçer.

Zabbix sunucusu ile lnx02 arasındaki linke trigger yazısında kurduğumuz Web servisi cevap vermiyor trigger’ını bağladım: tür Bold line, renk kırmızı. Formun alt kısmındaki Apply, sonra düzenleyicinin üstündeki Update haritayı kaydeder.

Haritanın normal halinde üç çizgi de yeşildi. Host etiketlerinin altında problem sayısı yazıyordu, problem tekse sayının yerine problemin adı görünüyordu. Host simgeleri problemde renk değiştirmedi. Harita özelliklerindeki Icon highlight fabrika ayarında kapalıdır.

Web servisi durunca harita şöyle göründü:

Zabbix Maps ekranında Lab agi haritası: soldaki lnx02 ile ortadaki Zabbix server arasındaki çizgi kırmızı ve kırmızı çerçeve içinde, lnx02 etiketinin altında 3 problems yazısı, SRV01 ve Internet çizgileri yeşil
Kopan servisin bağlantısı kırmızıya döndü, öteki iki çizgi yeşil kaldı. Harita arızanın nerede olduğunu söyler, nedenini söylemez.

Bu kare haritanın kendi ekranından. Aynı haritanın panodaki Map widget’ı ise arızayı geç gösterdi. Ölçümü arıza bölümünde veriyorum.

Ayrıntı Sayfası: Host Navigator ile Tek Sunucuya İnmek

Few’un üçüncü adımı ayrıntıdır ve ilk sayfaya sığmaz. Lab’da panoya Sunucu ayrinti adlı ikinci bir sayfa ekledim. Düzenleme modunda Add düğmesinin yanındaki ok Add page seçeneğini açar, sayfanın adı Dashboard page properties penceresinde verilir.

Sayfada dört widget var: solda Host navigator, sağda işlemci ve bellek için iki Graph (classic), altta bir Problems. Host navigator seçilen host gruplarındaki hostları listeler. Bir hosta tıklanınca öteki widget’lar o hostu göstermelidir. Zabbix 7.0’da bu bağ iki ayrı alanla kurulur:

  1. Override host: Graph (classic) formunda bu alanın yanındaki Select düğmesi Widget penceresini açar, listede Host navigator çıkar. Lab’da 29 widget türünün formunu tek tek açtım. Bu alan yalnız altısında var: Gauge, Graph (classic), Graph prototype, Item history, Item value ve URL.
  2. Hosts: Problems widget’ında Override host alanı yoktur. Seçimi Hosts alanı taşır: alanın yanındaki aşağı ok Widget ve Dashboard seçeneklerini açar, Widget seçilince listede yine Host navigator çıkar.
Zabbix Add widget penceresi, Graph (classic) widget'ı: Source Simple graph, Item alanında lnx02: CPU utilization, Override host alanında Host navigator, bu alan kırmızı çerçeve içinde
Grafiğin item'ı lnx02 için seçildi. Override host alanı onu Host navigator'da seçilen hosta taşır.
Zabbix Edit widget penceresi, Problems widget'ı: Hosts alanında Host navigator seçili ve yanında Select ile aşağı ok düğmesi, bu satır kırmızı çerçeve içinde
Problems widget'ında aynı bağ Hosts alanından kurulur. Alan bir host listesi yerine başka bir widget'ı gösterir.

İlk denemede Problems widget’ında Override host alanını aradım, bulamayınca alanları boş bıraktım. O haliyle widget hangi host seçilirse seçilsin aynı listeyi gösterdi. Hosts alanına Host navigator bağlanınca liste seçime uydu:

Zabbix BT Operasyon - Durum panosunun Sunucu ayrinti sayfası: solda Host navigator listesinde Zabbix server satırı sarı ve kırmızı çerçeve içinde, sağda CPU utilization ve Memory utilization grafikleri, altta Problems widget'ında iki satır, Host sütunundaki iki Zabbix server değeri kırmızı çerçeve içinde
Solda bir host seçilince grafikler de problem listesi de o hosta geçer. Ayrıntı ilk sayfayı kalabalıklaştırmadan bir tık ötede durur.

Sayfa açılınca Host navigator listenin ilk hostunu kendiliğinden seçti, hiç host seçilmemiş bir hal görmedim. Grafiklerin item’ı formda lnx02 için seçilmişti. Zabbix sunucusu seçilince iki grafik de onun değerlerine geçti. Böylece tek bir sayfa, her sunucu için ayrı pano kurmadan bütün sunucuların ayrıntısını taşır.

Yeni Graph widget’ında Override host alanı yoktur. Data set’in Item list türünde bir Add widget bağlantısı var, ama lab panosunda tıklandığında açılan pencere No compatible widgets. yazdı: Host navigator bu bağlantıya uygun sayılmadı. Item patterns türünde widget seçeneği hiç yok. Panoda Item navigator olmadığı için bağlantının neyi kabul ettiğini ölçemedim. Bu yüzden ayrıntı sayfasında Graph (classic) kullandım.

Arıza Anında Pano: Hangi Widget Ne Zaman Değişti?

Panonun asıl sınavı arıza anıdır. Lab’da lnx02’deki nginx servisini durdurdum. Pano sayfası açıkken bir betik her widget’ın metnini 4 saniyede bir okudu ve hangi kutunun ne zaman değiştiğini kaydetti. Sayfa bu sürede yeniden yüklenmedi, widget’lar yalnız kendi yenileme aralıklarıyla tazelendi.

Ölçümü iki kez yaptım: ilkinde Map widget’ı fabrika ayarındaki 15 dakikadaydı, ikincisinde 1 dakikaya indirdim. Olay saatleri Zabbix veritabanından, widget saatleri betiğin kaydından:

Olay1. ölçüm: harita 15 dk2. ölçüm: harita 1 dk
nginx durduruldu18:26:2318:55:52
Web servisi item’ı ilk kez 018:27:0218:56:02
Item value kırmızı, Kapali18:27:1418:56:44
Web servisi cevap vermiyor problemi açıldı (High)18:28:0218:57:02
İlk bildirim e-postası18:28:0318:57:02
Problems listesinde satır, Problems by severity’de High 118:28:1718:57:47
Map’te link kırmızı18:31:20’ye kadar değişmedi18:57:47
nginx başlatıldı18:32:4018:58:15
Problem kapandı18:33:0218:59:02
Zabbix BT Operasyon - Durum panosu arıza anında: Problems by severity'de High 1, kırmızı Item value kutusunda Kapali (0.00), Problems listesinin ilk satırında lnx02 için Web servisi cevap vermiyor ve 41s, Map widget'ında lnx02 ile Zabbix server arasındaki çizgi kırmızı, dört alan kırmızı çerçeve içinde
İkinci ölçümde 18:57:47'deki yenilemede dört widget arızayı birlikte gösterdi. Item value kırmızıya bir dakika önce dönmüştü.

Tablodan üç sonuç çıkıyor:

  1. Item value problemden önce kırmızıya döndü. İlk ölçümde 48, ikincisinde 18 saniye önce. Widget item’ın değerini gösterir, trigger’ı beklemez. Trigger ise trigger yazısında kurduğumuz gibi son iki ölçüm 0 olmadan problem açmaz ve item dakikada bir ölçüldüğü için bu bir dakika eder. Kırmızı kutuyu görüp Problems listesine bakan kişi orada bir dakikaya kadar karşılığını bulamayabilir.
  2. Problems listesi yenilemeyi bekledi. Satır, problem açıldıktan 15 ve 45 saniye sonra göründü. Widget’lar sayfanın yüklendiği andan itibaren dakikada bir tazelenir, bu yüzden gecikme 0 ile 60 saniye arasında değişir. İkinci ölçümde ilk e-posta problemle aynı saniyede gitti, panodaki satırdan 45 saniye önce. High problemde ekibi uyaran pano değil iletidir.
  3. Fabrika ayarındaki harita arızayı göstermedi. İlk ölçümde problem açıldıktan sonra harita üç dakikadan uzun süre yeşil kaldı ve ancak sayfa elle yenilenince kırmızıya döndü. 15 dakikalık aralıkta bu süre on beş dakikaya kadar uzayabilir. Map widget’ının Refresh interval alanı 1 minute yapılınca bağlantı, Problems listesiyle aynı yenilemede kırmızıya döndü.

NOC Ekranı: Slideshow, Kiosk ve Paylaşım

NOC (Network Operations Center), ağın ve sunucuların sürekli izlendiği operasyon odasıdır. Oradaki duvar ekranı kimsenin dokunmadığı bir panodur. Üç ayarı vardır: sayfaların kendi kendine dönmesi, menülerin gizlenmesi ve panonun izleyen ekibe salt okunur açılması.

Slideshow: panoda iki ya da daha çok sayfa varsa üstte Start slideshow düğmesi görünür. Basıldığında sayfalar Default page display period süresiyle döner. Sayfa başına ayrı süre Dashboard page properties penceresinden verilir. Lab’da 30 saniyelik süreyi tarayıcının saatiyle ölçtüm:

OlaySaatÖnceki geçişten
Start slideshow18:35:55,4
Sayfa 218:36:25,630,2 sn
Sayfa 118:36:55,730,1 sn
Sayfa 218:37:25,730,0 sn

Kiosk modu: pano adresinin sonuna &kiosk=1 eklenir. Kenar çubuğu, üst başlık ve sayfa sekmeleri kalkar, ekranda yalnız widget’lar kalır. Fare ekranın üst kenarına gelince sağ üstte dört düğme belirir: önceki sayfa, slideshow’u başlat ya da duraklat, sonraki sayfa ve kiosk modundan çık.

Zabbix panosu kiosk modunda: kenar çubuğu ve başlık yok, yalnız widget'lar, sağ üstte önceki sayfa, duraklat, sonraki sayfa ve kiosk modundan çık düğmeleri kırmızı çerçeve içinde
Kiosk modunda pano bütün ekranı kullanır. Düğmeler yalnız fare üst kenara gelince görünür.

Kiosk modu kullanıcının profilinde kalır. Lab’da &kiosk=1 ile açtıktan sonra aynı kullanıcıyla açılan her pano sayfası, adreste kiosk olmasa da kiosk düzeninde geldi. Normal düzen &kiosk=0 ile döndü. Sağ üstteki çıkış düğmesi de aynı işi yapar. Tıklandıktan sonra yeniden yüklenen sayfalar da normal düzende geldi.

Duvar ekranı için ayrı bir Zabbix kullanıcısı açmak bu yüzden iyi bir fikirdir: kiosk o kullanıcının profilinde kalır, ekibin kendi oturumlarına taşmaz.

Paylaşım: yeni pano fabrika ayarında Private’tır, yalnız sahibi görür. Panonun menüsünden Sharing penceresinde bir kullanıcı grubu ya da kullanıcı eklenir ve her biri için Read-only ya da Read-write seçilir. Lab’da BT Operasyon grubuna Read-only verdim. Grup panoyu görür, widget’ları değiştiremez. Panoyu Public yapmak herkese açar. Paylaşım widget’ların gösterdiği veriye ayrıca yetki vermez. Kullanıcı bir host grubunu okuyamıyorsa o grubun problemleri panoda da görünmez.

Zabbix Dashboard Tasarımında Sık Yapılan Hatalar

  1. Global view’u operasyon panosu sanmak. Hazır pano Information dahil bütün problemleri listeler ve başka bir şehrin haritasını gösterir. Ekip için ayrı bir pano kurulur.
  2. Her önem derecesini Problems widget’ına almak. Lab’da 32 Information problemi dört Average problemini ilk ekrandan itti.
  3. Haritayı varsayılan yenilemede bırakmak. Map widget’ı 15 dakikada bir yenilenir. Problems widget’ı arızayı gösterirken harita yeşil kalır ve iki widget birbirini yalanlar.
  4. Ham değeri göstermek. 1.00 yerine Acik, dört ondalık yerine tam sayı. Okuyanın çeviri yapması gereken her değer bir bakışı uzatır.
  5. Windows ve Linux’u tek kolonla sıralamak. Top hosts item’ı adıyla eşler ve iki işletim sisteminin disk item’ları farklı adlar taşır.
  6. Panoyu ekrana sığdırmamak. Kaydırma gerektiren bir pano, aşağıda kalan widget’ın hiç okunmaması demektir.
  7. Kiosk’u kişisel kullanıcıyla açmak. Mod profilde kalır ve aynı kişinin masasındaki oturum da menüsüz açılır.
  8. Ayrıntı sayfasındaki Problems widget’ını seçime bağlamamak. Bu widget’ta Override host alanı yoktur, bağ Hosts alanından kurulur. Kurulmazsa liste hangi host seçilirse seçilsin aynı kalır.

Sonuç: Zabbix Panosu Az Şey Göstermeli

Zabbix’te değerli bir pano, kaç widget taşıdığıyla değil, ona bakan kişinin bir soruyu kaç saniyede cevapladığıyla ölçülür: Bakmam gereken bir şey var mı? Doğru kurulan bir panoda bu cevap birkaç saniye sürer ve cevabın ayrıntısı bir tık ötededir.

Lab’da dört şey beklenenden farklı çıktı:

  1. Harita fabrika ayarında arızayı geç gösterir. Map widget’ı 15 dakikada bir yenilenir. İlk ölçümde Problems listesi arızayı gösterirken harita üç dakikadan uzun süre yeşil kaldı. Aralık 1 dakikaya inince ikisi aynı yenilemede değişti.
  2. Item value problemden önce kırmızıya döner. Widget item’ı izler, trigger’ı beklemez. Fark lab’da 18 ve 48 saniye oldu.
  3. Kiosk modu profilde kalır. Adreste kiosk olmasa da pano menüsüz açılır. Çıkış düğmesi ya da &kiosk=0 düzeni geri getirir.
  4. Kapalı sunucu tabloda değer göstermeye devam eder. Top hosts kapalı Windows sunucusunun belleğini her dakika yeniden hesaplanan bir item’dan gösterdi. Host availability aynı sunucuyu Unknown saydı.

Girişteki benzetmeye dönersek: kadranlar Problems by severity, Item value ve Honeycomb’dur, her an bir değer gösterirler. Arıza lambası Problems widget’ıdır ve yalnız eylem gerektiren bir problem varken yanar. Ustanın teşhis cihazı ikinci sayfadır. Orada Host navigator’da bir sunucu seçilir ve grafikler o sunucunun son bir saatini anlatır. Şoför yoldayken teşhis cihazına bakmaz, operasyon ekibi de gün boyu ilk sayfaya bakar.

Sırada şubelerin izlenmesi var: Zabbix proxy’nin, merkezle bağlantısı koptuğunda veriyi nasıl biriktirdiği. Ağ cihazlarının haritaya girmesi ise SNMP ile toplanan veriyle olur. İzlemenin bir hizmet olarak nasıl yürüdüğünü network izleme hizmeti sayfamızda anlattık.

Zabbix Dashboard Hakkında Sık Sorulan Sorular

Sayıyı ekran belirler: ilk sayfa kaydırmadan tek ekrana sığmalıdır. Stephen Few'a göre kaydırma ya da ekran değiştirme gerektiren bir pano, bilgiyi kısa süreli belleğe bırakır ve karşılaştırmayı bozar. Lab'daki operasyon panosunun durum sayfası yedi widget taşıdı ve 1600×900 piksellik bir pencereye kaydırmasız sığdı. Tek bir sunucunun grafikleri ilk sayfaya değil, Host navigator'la çalışan ikinci bir sayfaya konur.
Map widget'ının varsayılan yenileme aralığı 15 dakikadır, Problems ve Item value widget'larınınki 1 dakika. Lab'da web servisi durdurulduğunda Problems widget'ı problemi 15 saniye sonra gösterdi, açık duran panodaki harita üç dakikadan uzun süre hiç değişmedi. Çözüm, Map widget'ının Refresh interval alanını 1 dakikaya çekmektir. İkinci ölçümde bu ayarla harita, Problems listesiyle aynı yenilemede kırmızıya döndü.
Panoya en az iki sayfa eklenir ve Start slideshow düğmesine basılır ya da pano özelliklerinde Start slideshow automatically işaretlenir. Sayfa süresi Default page display period alanından gelir. Lab'da 30 saniyelik süre 30,0 ile 30,2 saniye arasında ölçüldü. Kiosk modu adrese kiosk=1 eklenerek açılır ve kullanıcı profilinde kalır, kapatmak için kiosk=0 ya da ekranın sağ üstündeki çıkış düğmesi kullanılır.
Template'in içinde tanımlanan ve template'in bağlı olduğu her hostta kendiliğinden açılan panodur. Host listesindeki Dashboards bağlantısından açılır. Lab'daki Ubuntu sunucuda iki template dört pano getirdi: Linux template'i Filesystems, Network interfaces ve System performance, systemd template'i Systemd: Overview. Bu panolar tek bir sunucunun ayrıntısı için hazırdır, operasyon panosunun yerini tutmaz.
İlker Pehlivan
Yazan

BT Danışmanı | Ağ, Sistem ve Güvenlik Yönetimi

İlker Pehlivan, karmaşık BT altyapılarını ölçeklenebilir ve güvenli sistemlere dönüştürür. Buradaki rehberleri kendi laboratuvarında kurup ölçerek yazar.

LinkedIn

Benzer Makaleler

Zabbix Rehberi: Kurulumdan Alarma Adım Adım İzleme

Zabbix rehberi: kurulumdan agent'a, template'ten alarma ve dashboard'a on üç adımlık sıra. Her adım hangi kurumda gerekir, lab'da hangi yazıda ölçüldü.

15 dk okuma

Network İzleme Hizmeti: Sunucu, Hat ve Ağ Cihazları

Network izleme hizmeti: sunucu, internet hattı, switch ve firewall dakika dakika izlenir, alarm geldiğinde aynı ekip müdahale eder. Kapsam, süreç ve fiyat.

9 dk okuma

Zabbix 8.0 Upgrade: 7.0 LTS'den Yedekli Geçiş

Zabbix 7.0 LTS'den 8.0'a güncelleme adım adım: sürüm notları, veritabanı ve dosya yedeği, geri yükleme provası, depo paketi, otomatik veritabanı yükseltmesi ve kontrol.

18 dk okuma

Zabbix Health Check: Kuyruk, Poller ve Housekeeper

Zabbix health check lab ölçümüyle: sağlık panosu, queue, poller doluluğu, önbellek ve housekeeper. Agent, poller ve server durunca ne görünür?

16 dk okuma

Zabbix Proxy: Şube İzleme, Kurulum ve Hat Kopukluğu

Zabbix proxy kurulumu: şubede ne zaman gerekir, aktif proxy, PSK ve agent ayarı, hat koptuğunda ölçülen davranış: yerel tampon, geç gelen veri ve alarm.

26 dk okuma

Zabbix Template ile Sunucu İzleme: CPU, RAM, Disk ve Servis

Zabbix template ile Windows ve Linux sunucuda CPU, RAM, disk ve servis izleme: makroyla eşik, disk keşfi ve trigger'ın açılma süresi lab ölçümüyle anlatılıyor.

17 dk okuma