BT Sistem Yönetimi

Grafana Alert: SQL Sorgusuna E-posta Alarmı ve Silence

Grafana alert kurulumu: SMTP, salt okunur MySQL data source, eşik ve pending period, DatasourceError ve silence, lab'da saatle ölçülen bildirimlerle.

İlker Pehlivan

Grafana alert, bir sorgunun sonucu belirlenen eşiği belirli bir süre aştığında Grafana’nın kendi başına bildirim göndermesidir. Grafana’nın bu işi yapan bölümüne Grafana Alerting denir. Zabbix izleyen bir kurumda doğru düzen şudur: Zabbix’in izlediği şeyin alarmı Zabbix’te doğar, Grafana alert yalnız kendi alarm mekanizması olmayan bir kaynak için kurulur.

Bu yazı Grafana rehberimizin 5. adımıdır. Lab’da GLPI’ın veritabanındaki açık talep sayısı eşiği aşınca Grafana’nın e-posta göndermesini kurdum. GLPI’da talep açıp çözerek alarmın Pending, Alerting ve Resolved anlarını saatle ölçtüm. Veritabanı bağlantısını keserek kaynak kopunca ne olduğunu sınadım, bakım için bir silence kurdum.

Grafana nedir yazısında Grafana’yı akşam haberlerindeki hava durumu bültenine benzetmiştik. Bültenin verisinin çoğu Meteoroloji Genel Müdürlüğü’nden (MGM) gelir. Fırtına yaklaşınca turuncu kodlu uyarıyı MGM yayımlar, bülten o uyarıyı yeniden üretmez, ekrana taşır. Ama bülten bir de üniversitenin polen istasyonundan sayım alır. İstasyon sayımı yayımlar, kimseyi uyarmaz. Polen eşiği aşınca alerji hastalarını uyarmak bültenin işidir. Bunun için masada yazılı bir kural durur: sayım bir süre eşiğin üstünde kalırsa nöbetçi editör aranır.

Gravür üslubunda gece bir hava durumu bülteninin haber odası. Solda bir görevli iki ekranlı konsolun başında çalışıyor. Ortadaki kemerli pencereden karşıdaki tuğla binanın çatısında lambayla aydınlanan polen istasyonu ve rüzgar gülü görünüyor. Sağdaki masada nöbetçi editör çalan telefonun ahizesini kaldırmış, önünde çerçeveli kural kartı, masa saati ve bir kağıt destesi duruyor.
Polen sayımı bir süre eşiğin üstünde kalınca masadaki kural editörü telefona çağırır, Grafana alert de bir sorgunun sonucunu aynı biçimde izleyip e-posta gönderir.

Alarm Zabbix’te mi, Grafana’da mı Doğar?

Alarm tek yerde doğar. Zabbix’in izlediği bir sunucunun alarmı Grafana’da da kurulursa aynı arıza iki ayrı bildirim üretir. İki ayrı bakım penceresi ve iki ayrı alıcı listesi bakım ister. Ekip kısa sürede ikisinden birini susturmayı öğrenir, hangisini susturduğu da kişiden kişiye değişir.

KaynakAlarm nerede doğarNeden
Zabbix’in izlediği sunucu, servis, ağ cihazıZabbixEskalasyon, bakım penceresi ve alıcı listesi orada
Kendi alarmı olmayan bir veritabanı sorgusu (açık talep sayısı, bekleyen sipariş)GrafanaKaynak yalnız veriyi tutar, eşiği izleyen başka bir sistem yok
Zabbix verisinden çizilen bir panel değeriZabbixGrafana’daki alarm Zabbix’teki trigger’ın kopyası olur

Zabbix’te trigger’ın ve bildirimin nasıl kurulduğunu Zabbix trigger ve alarm yazısında anlattık. Örnekteki bültende MGM’nin istasyonları Zabbix’tir, kodlu uyarı da Zabbix’in trigger’ı ve eylemidir. Polen istasyonu GLPI’ın veritabanıdır, veriyi tutar ama eşiği izlemez. Masadaki kural da Grafana’daki alert rule olur.

Grafana Alerting Nasıl Çalışır?

Bir Grafana alarmı beş parçadan kurulur. Her parça ayrı bir ekranda tanımlanır ve bir öncekine dayanır.

  1. Alert rule (alarm kuralı): bir sorgu ve bir koşul. Sorgu data source’tan sayı getirir, koşul o sayının eşiği aşıp aşmadığına bakar.
  2. Evaluation group (değerlendirme grubu): kuralların kaç saniyede ya da dakikada bir çalışacağını belirler. Aynı gruptaki kurallar aynı aralıkla değerlendirilir.
  3. Pending period (bekleme süresi): koşulun alarm sayılmadan önce ne kadar sürmesi gerektiği. Kısa bir sıçrama bu süreyi dolduramaz, alarm üretmez.
  4. Contact point (bildirim adresi): bildirimin gideceği yer ve biçim. Bu yazıda bir e-posta adresi.
  5. Notification policy: hangi alarmın hangi contact point’e, hangi gruplamayla ve ne sıklıkla gideceğini söyleyen kural ağacı. Kural doğrudan bir contact point’e de bağlanabilir, o zaman alıcıyı policy ağacı değil kural seçer.

Değerlendirme belgesine göre kural her değerlendirmede bir durumdadır. Normal koşulun sağlanmadığını söyler. Pending koşul sağlandı ama bekleme süresi dolmadı demektir. Alerting bekleme süresi doldu ve koşul sürüyor demektir, bildirim bu durumda gider. Koşul ortadan kalkınca kural Normal’e döner ve bir “Resolved” bildirimi gönderir. İki özel durum daha var: No Data sorgunun çalıştığını ama veri döndürmediğini, Error sorgunun çalışamadığını söyler.

Örnekteki bültende alert rule masadaki yazılı kuraldır. Değerlendirme aralığı sayıma kaç dakikada bir bakıldığı, bekleme süresi de sayımın eşiğin üstünde ne kadar kalması gerektiğidir. Nöbetçi editörün telefonu contact point, kimin hangi durumda aranacağının listesi de notification policy’dir.

Grafana Alert Nasıl Olmalı?

Grafana’nın alarm belgesi önerilerini araçtan bağımsız yazıyor. Altısı bu kurulumun kararlarını belirledi:

Belgenin önerisiBu kurulumda
Alarm ilk müdahale edene göre yazılır: neden var, ne tetikledi, nereden bakılırAçıklamada o anki değer ve eşik, runbook linkinde GLPI’ın talep listesi
Her alarmın sahibi ve kapsamı olurekip=bt-operasyon ve kaynak=glpi etiketleri
Kısa sıçrama alarm üretmez, koşul belirli bir süre sürmelidir1 dakikalık değerlendirme, 5 dakikalık pending period
Aynı kökten gelen bildirimler tek bildirimde toplanırNotification policy’nin gruplaması, klasöre ve kural adına göre
Eylem gerektirmeyen bilgi alarm değil dashboard’durAlarm yalnız eşik aşımında, sayının günlük seyri için ayrı bir panel kurulur (bu yazının konusu değil)
Silence kapsamı dar tutulur, ilgisiz alarmı susturmazSilence yalnız kaynak=glpi etiketine

Belge bir şeyi daha söylüyor: alarmlar teknik borç gibidir, kurması kolay, bakımı pahalıdır. Sonuç doğurmayan alarm düzenli gözden geçirmede silinir.

1. E-posta Yolu: SMTP Ayarı Olmadan Test Geçmez

Grafana e-postayı kendisi teslim etmez, bir SMTP sunucusuna bırakır. E-posta entegrasyonu belgesi bunu açık söylüyor. Grafana OSS’te e-posta bildirimi açılmadan önce grafana.ini’nin [smtp] bölümü yapılandırılır.

Contact point Alerting → Notification configuration altındaki Contact points sekmesinde + New contact point ile açılır, Integration listesinden Email seçilir ve Addresses alanına alıcı yazılır. Sırayı tersinden denedim. BT nobet e-posta adlı contact point’i SMTP ayarından önce kaydedip Test düğmesine bastım. Grafana kaydı kabul etti, test şu metinle düştü:

mon02Çıktı
Test notification failed
SMTP not configured, check your grafana.ini config file's [smtp] section

Yani contact point’in kaydedilmesi e-postanın gideceğini göstermez. Bunu Test düğmesi gösterir.

Postfix yalnız yerel teslim yapar. Lab’da Grafana’nın e-postasını aynı sunucudaki Postfix aldı ve yerel bir posta kutusuna teslim etti. Postfix kurulumda Local only seçeneğiyle kuruldu, yalnız 127.0.0.1:25’te dinliyor ve dışarıya posta göndermiyor. Kurumda bu adres şirketin posta sunucusu ya da bir relay olur. Grafana tarafında değişen yalnız host satırıdır.

mon02Bash
export DEBIAN_FRONTEND=noninteractive
echo "postfix postfix/main_mailer_type select Local only" | sudo debconf-set-selections
echo "postfix postfix/mailname string mon02.lab" | sudo debconf-set-selections
sudo -E apt-get install -y postfix mailutils

İki debconf-set-selections satırı kurulumun soracağı iki soruyu önceden cevaplar: posta sunucusunun türü Local only, posta adı mon02.lab. Kurulum etkileşimli yapılırsa aynı iki soru ekranda sorulur.

Alarm e-postalarının gideceği yerel kullanıcı bt-nobet. Parolasız ve kilitli bir hesap, yalnız bir posta kutusu, kimse onunla oturum açmaz.

[smtp] bölümü. Fabrika grafana.ini’de bölümün bütün satırları yorum. Değiştirdiğim satırlar, yedekle yeni dosyanın farkı:

mon02Bash Çıktısı
1104,1105c1104,1105
< ;enabled = false
< ;host = localhost:25
---
> enabled = true
> host = 127.0.0.1:25
1112,1113c1112,1113
< ;from_address = admin@grafana.localhost
< ;from_name = Grafana
---
> from_address = grafana@mon02.lab
> from_name = Grafana
1117c1117
< ;startTLS_policy = NoStartTLS
---
> startTLS_policy = NoStartTLS

startTLS_policy satırını açmamın sebebi yerel Postfix’te şifreli bağlantıya gerek olmaması. Fabrika değeri OpportunisticStartTLS’tir, yani sunucu destekliyorsa bağlantı şifrelenir. Kurumun posta sunucusuna giden bağlantıda bu satır fabrika değerinde kalır ya da MandatoryStartTLS olur, credential (kimlik bilgisi) de user ve password satırlarına girer. Ayar, servis yeniden başlatılınca geçerli olur.

Aynı contact point’in testi bu kez geçti. Gelen e-postanın başlıkları:

mon02Çıktı
From: Grafana <grafana@mon02.lab>
To: bt-nobet@mon02.lab
Subject: [FIRING:1] TestAlert Grafana
Content-Type: text/html; charset="UTF-8"

Test e-postası gerçek bir alarm gibi [FIRING:1] ile başlar. Posta kutusunda onu gerçek alarmdan ayıran şey konu satırındaki TestAlert adıdır.

2. GLPI Veritabanına Salt Okunur Bağlantı

Alarmın sorgusu GLPI’ın MariaDB veritabanına gidecek. Grafana’ya açılan hesap bir tabloyu okumaktan fazlasını yapamamalı, çünkü hiçbir panelin ya da alarmın veritabanına yazmaya ihtiyacı yoktur.

MariaDB yalnız yerelde dinliyordu. GLPI ile veritabanı aynı sunucuda olduğu için MariaDB fabrika ayarında 127.0.0.1’i dinler. Grafana başka sunucudan bağlanacağı için adres değişti:

itsm01Bash Çıktısı
27c27
< bind-address            = 127.0.0.1
---
> bind-address            = 192.168.1.27

GLPI veritabanına localhost üzerinden bağlanıyor. Değişiklikten sonra GLPI’ın açıldığını ayrıca denetledim, açıldı.

Hesap tek tabloyu okur. grafana_okuma hesabı yalnız Grafana sunucusunun adresinden bağlanabilir ve yalnız glpi_tickets tablosunu okur:

itsm01MariaDBroot
CREATE USER 'grafana_okuma'@'192.168.1.29' IDENTIFIED BY 'parola-yoneticisinin-urettigi-dizi';
GRANT SELECT ON glpi.glpi_tickets TO 'grafana_okuma'@'192.168.1.29';

Güvenlik duvarı 3306’yı yalnız Grafana’ya açar. itsm01’de ufw kapalıydı. Açmadan önce SSH, HTTP ve HTTPS izinleri eklendi. 3306 yalnız Grafana sunucusuna açık:

itsm01Bash Çıktısı
     To                         Action      From
     --                         ------      ----
[ 1] 22/tcp                     ALLOW IN    Anywhere
[ 2] 80/tcp                     ALLOW IN    Anywhere
[ 3] 443/tcp                    ALLOW IN    Anywhere
[ 4] 3306/tcp                   ALLOW IN    192.168.1.29

Aynı ağdaki başka bir makineden 3306 kapalı göründü, 443 açık.

Data source ve yetki ölçümü. Grafana’da Connections → Data sources → Add new data source → MySQL ile GLPI adlı bir data source açıldı: host 192.168.1.27:3306, veritabanı glpi, kullanıcı grafana_okuma. Save & test Database Connection OK döndürdü. Grafana parolayı kendi veritabanında tutar, ama arayüze geri göstermez.

Sonra aynı hesapla dört sorgu gönderdim. Sayım çalıştı, diğer üçünü veritabanı reddetti. Grafana arayüzde yalnız db query error: query failed yazıyor, sebebi Grafana’nın log’unda:

mon02Çıktı
Error 1142 (42000): SELECT command denied to user 'grafana_okuma'@'192.168.1.29' for table `glpi`.`glpi_users`
Error 1142 (42000): UPDATE command denied to user 'grafana_okuma'@'192.168.1.29' for table `glpi`.`glpi_tickets`
Error 1142 (42000): DELETE command denied to user 'grafana_okuma'@'192.168.1.29' for table `glpi`.`glpi_tickets`

Hesap kullanıcı tablosunu okuyamıyor, talep tablosuna yazamıyor. Grafana panelini ya da alarmını ele geçiren biri de bu hesabın izin verdiğinden fazlasını göremez.

3. Alarm Kuralı: Sorgu, Eşik ve Pending Period

Kural Alerting altında Alert rules, New alert rule ile açılır. Form altı numaralı bölümden oluşur. Kuralın adı GLPI acik talep sayisi.

Sorgu. GLPI talebin durumunu sayıyla tutar. GLPI’ın kaynak kodundaki sabitlere göre 1 yeni, 2 ve 3 işlemde (atanmış ve planlanmış), 4 beklemede, 5 çözülmüş, 6 kapalıdır. Açık talep sayısı ilk dördünün toplamıdır, silinen talepler dışarıda kalır:

SQL
SELECT COUNT(*) AS acik_talep FROM glpi_tickets WHERE is_deleted = 0 AND status IN (1,2,3,4)

Sorgu Code kipinde yazıldı, Format alanında Table seçildi. Time series biçimi bu sorguda hata verdi (db has no time column), çünkü sorgu zaman sütunu döndürmüyor, yalnız tek bir sayı döndürüyor. Alarm koşulu için bu tek sayı yetiyor.

Grafana 13.3.1 New alert rule formunun 2. bölümü: data source GLPI, Format Table, Code kipinde SELECT COUNT(*) AS acik_talep sorgusu ve sonuç tablosunda Series 1 satırında 21 değeri; Format, sorgu satırı ve sonuç satırı kırmızı çerçeveyle işaretli.
Sorgu o an 21 açık talep sayıyor. Format Table, çünkü sorgu zaman sütunu döndürmüyor.

Eşik. Sayı o an 21’di. Eşiği 22 koydum, böylece iki yeni talep alarmı tetikleyecekti. Formun basit kipinde koşul tek satırdır: WHEN Last OF QUERY IS ABOVE 22. Arka planda Grafana bunu iki ifadeye çevirir: sorgunun son değerini alan bir Reduce ve eşiği uygulayan bir Threshold.

Alert condition satırında WHEN Last OF QUERY IS ABOVE 22 koşulu ve altında Series 1 için 0 değeri ile yeşil Normal etiketi; eşik alanı ve Normal satırı kırmızı çerçeveyle işaretli.
Önizleme 21 ile koşulun sağlanmadığını gösteriyor: koşulun sonucu 0, durum Normal.

Klasör ve etiketler. Kural Izleme klasörüne kondu, iki etiket aldı: kaynak=glpi ve ekip=bt-operasyon. Etiket bu yazıda iki iş görüyor: e-postada alarmın sahibini söylüyor, silence da alarmı bu etiketle buluyor.

Değerlendirme. Yeni bir evaluation group açıldı: adı glpi, aralığı 1 dakika. Pending period 5 dakika, Keep firing for sıfır, yani koşul düzelince alarm hemen Normal’e döner.

New alert rule formunun 4. bölümü Set evaluation behavior: Evaluation group and interval alanında glpi seçili, altında All rules in the selected group are evaluated every 1m yazısı, Pending period alanında 5m; üçü kırmızı çerçeveyle işaretli, Keep firing for 0s.
Grup her dakika değerlendiriliyor. Koşul 5 dakika sürmeden alarm doğmuyor.

No Data ve Error. Configure no data and error handling bölümü fabrika ayarında bırakıldı: veri gelmezse kural No Data, sorgu çalışamazsa Error durumuna geçer. Bu ayarın ne ürettiğini 6. bölümde ölçtük.

4. Bildirim: Contact Point ve Mesaj

Formun 5. bölümünde Contact point olarak BT nobet e-posta seçildi. Belge bu yola “simplified routing” diyor. Alıcıyı kural seçer, notification policy ağacı atlanır. Tek kurallı bir kurulumda policy ağacı kurmak gereksiz.

Kuralın Muting, grouping and timings bölümü boş bırakıldı. Bildirimlerin zamanlaması varsayılan policy’nin değerleriyle aynıydı: group wait 30 saniye, group interval 5 dakika, repeat interval 4 saat. Gruplama belgesine göre group wait yeni bir alarm grubunun ilk bildiriminden önceki bekleme, group interval gruptaki bir değişikliğin bildirimi için bekleme, repeat interval da süren alarmın hatırlatma aralığıdır. Bu üç sayı 5. bölümdeki saatleri açıklıyor.

  1. bölüm mesajdır. Özet (Summary), açıklama (Description) ve Runbook URL:
New alert rule formunun 5. ve 6. bölümleri: Contact point alanında BT nobet e-posta, Summary alanında Acik talep sayisi esigi asti, Description alanında $values.B.Value şablonu taşıyan cümle, Runbook URL alanında GLPI talep listesi adresi; contact point ve description kırmızı çerçeveyle işaretli.
Açıklama, değerlendirme anındaki değeri $values.B.Value şablonuyla yazıyor. Runbook linki GLPI'ın talep listesine gidiyor.

Açıklama şablonu {{ $values.B.Value }} değerlendirme anındaki sayıyı yazıyor. B, sorgunun son değerini alan Reduce ifadesinin adı. Kuralın dışa aktarımı formun kaydettiğini kod olarak verir. Sorgu ve ifade modelleri kısaltılmış hali:

YAML
groups:
    - orgId: 1
      name: glpi
      interval: 1m
      rules:
        - title: GLPI acik talep sayisi
          condition: C
          noDataState: NoData
          execErrState: Error
          for: 5m
          annotations:
            description: 'GLPI acik talep sayisi {{ $values.B.Value }}, esik 22 (ham: {{ $values.B }})'
            runbook_url: https://glpi.ad.sistemkusu.com/front/ticket.php
            summary: Acik talep sayisi esigi asti
          labels:
            ekip: bt-operasyon
            kaynak: glpi
          notification_settings:
            receiver: BT nobet e-posta

for: 5m pending period’dur, receiver kuralın kendi seçtiği contact point. Aynı kural bu dosyayla başka bir Grafana’ya provisioning ile kurulabilir.

5. Zaman Çizgisi: Talepten E-postaya Altı Dakika

GLPI’da iki gerçek talep açtım: Yazici calismiyor ve VPN baglantisi kopuyor. Açık talep sayısı 23’e çıktı. Kuralın durumunu on saniyede bir okudum, e-postanın geliş saatini Postfix log’undan aldım. Saatler Türkiye saati:

SaatOlayBir önceki adımdan
00:03:05İlk talep açıldı (ikincisi 00:03:10)
00:03:40Kural Pending35 sn, bir sonraki değerlendirme
00:08:40Kural Alerting5 dk, pending period
00:09:10E-posta teslim edildi30 sn, group wait
00:10:15İki talep çözüldü
00:10:40Kural Normal25 sn, bir sonraki değerlendirme
00:14:10Resolved e-postası teslim edildi3 dk 30 sn

Talepten e-postaya 6 dakika 5 saniye geçti. Bu sürenin 5 dakikası bilerek seçilen pending period. Kalanı değerlendirme aralığı ve group wait. Daha hızlı bildirim istenirse pending period kısaltılır, ama o zaman kısa süreli dalgalanmalar da alarm üretir.

Resolved e-postası Normal’den 3 dakika 30 saniye sonra geldi. Sebep group interval: grubun ilk bildirimi 00:09:10’da gitmişti, aynı gruba ikinci bildirim 5 dakika dolmadan gitmez. 00:09:10 artı 5 dakika, 00:14:10.

Grafana'nın gönderdiği alarm e-postası: Izleme klasöründe GLPI acik talep sayisi, 1 firing instances, Summary Acik talep sayisi esigi asti, Description GLPI acik talep sayisi 23, esik 22, Values A=23 B=23 C=1, etiketler alertname, ekip, grafana_folder, kaynak, runbook_url ve altta Observed 30s before this notification was delivered satırı; özet, açıklama ve Observed satırı kırmızı çerçeveyle işaretli.
Alarm e-postası değeri ve eşiği taşıyor. En alttaki satır group wait'i gösteriyor: durum 30 saniye önce gözlenmiş.

E-postanın konusu [FIRING:1] GLPI acik talep sayisi Izleme (bt-operasyon glpi). Konu kuralın adını, klasörünü ve etiketlerin değerlerini taşıyor, böylece posta kutusunda alarmın sahibi açılmadan görünüyor.

Alert rules listesinde kuralın adına tıklanınca açılan sayfanın History sekmesi aynı zaman çizgisini kendi kaydıyla verir. Her satırda durum, saat ve o anki değerler var:

GLPI acik talep sayisi kuralının History sekmesi: üstte DatasourceError örneğinin Pending (Error) 00:17:12, Error 00:23:22 ve Normal (Missingseries) 00:24:25 satırları, altta asıl kuralın Pending 00:03:40, Alerting 00:08:40, Normal 00:10:40, Pending 00:30:40, Alerting 00:35:40 ve Normal 00:41:40 satırları; Error satırları ve ilk Pending-Alerting çifti kırmızı çerçeveyle işaretli.
Altta ilk eşik aşımı: Pending 00:03:40, Alerting 00:08:40. Üstte 6. bölümdeki bağlantı kopması ayrı bir etiket kümesiyle kayıtlı.

6. Kaynak Kopunca: DatasourceError

Örnekteki polen istasyonunun hattı koparsa ne olur? Bülten için bu, sayımın sıfır gelmesi değil, hiç gelmemesidir. Grafana’da bunun karşılığı Error durumudur.

Alarm Normal’deyken itsm01’de 3306 iznini kaldırdım. İlk sürpriz burada çıktı: kural silindikten sonra Grafana’nın veritabanına açık iki bağlantısı yaşamaya devam etti ve kural Normal kaldı. Güvenlik duvarı yeni bağlantıyı durdurur, kurulmuş bağlantıyı kesmez. Grafana data source’u bağlantı havuzu kullandığı için kopmayı ancak açık bağlantılar da kapanınca gördü. Bağlantıları MariaDB’de KILL ile kapattım.

No Data ve Error belgesine göre sorgu 30 saniyede cevap alamazsa zaman aşımına düşer, Error durumu da pending period’a uyar. Grafana Error’da ayrı bir DatasourceError alarmı üretir. Ölçülen zaman çizgisi:

SaatOlay
00:14:343306 izni kaldırıldı, kural Normal kaldı
00:14:42Açık iki bağlantı kapatıldı
00:17:12Kural Pending (Error)
00:23:22Kural Error, DatasourceError e-postası teslim edildi
00:24:153306 izni geri eklendi
00:24:25Kural sağlıklı, Normal
00:28:22DatasourceError için Resolved e-postası

Bağlantının kesilmesinden e-postaya 8 dakika 40 saniye geçti. Eşik aşımından daha uzun, çünkü her değerlendirme cevap vermeyen veritabanını zaman aşımına kadar bekledi.

Belgenin uyardığı ayrıntı da ölçümde göründü: DatasourceError, asıl alarmdan farklı etiketler taşır. alertname DatasourceError olur, datasource_uid ve rulename eklenir. Bu yüzden asıl alarm için kurulan bir silence ya da notification policy ona uymayabilir. Bu kurulumda kural doğrudan contact point’e bağlı olduğu için DatasourceError da aynı adrese gitti. Belge bunu söylüyor, ölçüm de doğruladı.

DatasourceError e-postası: Izleme klasöründe DatasourceError, Summary Acik talep sayisi esigi asti, Description GLPI acik talep sayisi [no value], esik 22, etiketlerde datasource_uid, ref_id ve rulename, Annotations altında DeadlineExceeded hata metni; DatasourceError adı, özet ve [no value] taşıyan açıklama kırmızı çerçeveyle işaretli.
Konu ve başlık DatasourceError diyor, ama özet kuralın kendi cümlesi: "eşiği aştı". Değer yok.

İkinci sürpriz e-postanın gövdesindeydi. DatasourceError, kuralın özetini ve açıklamasını aynen taşıdı. Özet “Açık talep sayısı eşiği aştı” diyordu, oysa veritabanına ulaşılamıyordu. Açıklamadaki değer [no value] oldu. Gece 03:00’te bu e-postayı okuyan nöbetçi, başlığa bakmazsa talep yığılması arar.

Bundan çıkan kural: özete eşik iddiası yazılmaz. Özet kuralın neyi izlediğini söyler (“GLPI açık talep sayısı kuralı”), değer ve eşik açıklamada kalır. DatasourceError’u ayıran şey konu satırındaki DatasourceError adıdır. Ayrı bir alıcıya gitmesi istenirse alertname=DatasourceError etiketiyle bir notification policy kurulur.

7. Bakım Penceresi: Silence

GLPI’ın bakım günü talep sayısı yükselebilir ve bu bilinen bir durumdur. Böyle bir pencerede kural silinmez ya da durdurulmaz, alarm bildirimleri silence ile susturulur.

Alerting altında Silences, Add Silence ile açılan formda kaynak = glpi eşleşmesi, 30 dakikalık süre ve Bakim penceresi yorumu girildi. Silence etiket arar, kural adı aramaz. Bu yüzden aynı etiketi taşıyan bütün kurallar susar, etiketi taşımayan hiçbiri susmaz.

Silence sürerken iki talep daha açtım. Kural 5 dakika sonra Alerting oldu, ama e-posta gelmedi. Silence listesi bastırılan alarmı sayıyordu:

Grafana Silences listesi: Active durumunda bir silence, Matching labels kaynak=glpi, Alerts silenced sütununda 1, Schedule 2026-11-14 00:30 ile 01:00 arası; Active etiketi ve 1 değeri kırmızı çerçeveyle işaretli.
Silence etkin ve bir alarmı bastırıyor. Kural Alerting, e-posta yok.

Bakım erken bitti diyelim. Silence’ı Unsilence ile 00:37:52’de kaldırdım, ek onay penceresi çıkmadı. Bastırılan alarmın e-postası 00:41:10’da geldi, 3 dakika 18 saniye sonra. Silence kalkınca e-posta hemen gitmedi, grubun bir sonraki bildirim turunu bekledi. Turlar group interval aralığıyla, 5 dakikada bir dönüyordu.

Silence kuralın değerlendirmesini durdurmaz. History sekmesinde bu pencerenin Pending ve Alerting satırları da kayıtlı. Bakımdan sonra “pencerede ne oldu” sorusunun cevabı orada kalır.

Zabbix Verisine Grafana Alarmı Kurulur mu?

Kurulabilir. Zabbix eklentisinin belgesi eklentinin Metrics ve Item ID sorgularının alarm kuralında çalıştığını yazıyor. Lab’da yeni kural formunda data source Zabbix, host Zabbix server, item CPU utilization seçildi ve önizleme son 10 dakikanın değerlerini çizdi. Kural kaydedilmedi.

Teknik olarak mümkün olması doğru yer olduğunu göstermez. Zabbix’in izlediği bir sunucunun CPU alarmı Zabbix’te zaten vardır. Grafana’da ikinci bir kural, yazının başındaki tablonun son satırıdır: aynı arıza için iki bildirim.

Grafana Alert Doğru Kuruldu mu?

Kurulumdan sonra şu yedi soru sorulur:

  1. Contact point’in Test düğmesi e-postayı teslim ettiriyor mu, posta sunucusunun log’unda teslim satırı var mı?
  2. Data source hesabı yalnız gereken tabloyu okuyabiliyor mu, yazma ve başka tabloyu okuma denemesi reddediliyor mu?
  3. Kuralın önizlemesi bugünkü değeri gösteriyor mu, eşik bugünkü değerin üstünde mi?
  4. Kuralın etiketleri sahibini (ekip) ve kaynağını (kaynak) söylüyor mu?
  5. Özet eşik iddiası taşımıyor mu, açıklama değeri ve eşiği yazıyor mu?
  6. Kaynak kopunca DatasourceError e-postası doğru adrese gidiyor mu?
  7. Kural en az bir kez gerçek koşulla tetiklenip Resolved e-postası da alındı mı?

Son soru en çok atlanandır. Hiç tetiklenmemiş bir alarmın çalıştığı bilinmez, yalnız varsayılır.

Sonuç: Grafana Alert Kendi Alarmı Olmayan Kaynağa Kurulur

Grafana alert’in kurulumu bir saatlik iştir: SMTP satırları, salt okunur bir veritabanı hesabı, bir sorgu, bir eşik ve bir contact point. Asıl karar alarmın nerede doğacağıdır. Zabbix’in izlediği şeyin alarmı Zabbix’te kalır, Grafana alert kendi alarmı olmayan kaynağa kurulur.

Beklenenden farklı çıkanlar:

  • Güvenlik duvarı açık bağlantıyı kesmedi. 3306 izni kaldırıldıktan sonra Grafana’nın havuzdaki bağlantıları yaşadı, kural Normal kaldı. Kopma, bağlantılar kapatılınca görüldü.
  • DatasourceError kuralın özetini taşıdı. E-posta “eşiği aştı” diyordu, değer yoktu. Özet bu yüzden eşik iddiası taşımamalı.
  • Kaynak kopmasının bildirimi eşik aşımından yavaş geldi. Kopmadan e-postaya 8 dakika 40 saniye geçti, eşik aşımında 6 dakika 5 saniye.
  • Silence kalkınca e-posta hemen gitmedi. Bastırılan alarm grubun 5 dakikalık bildirim turunu bekledi ve 3 dakika 18 saniye sonra geldi.

Girişteki benzetmeye dönersek: bülten MGM’nin kodlu uyarısını yeniden yayımlamaz, Zabbix’in alarmı da Grafana’da tekrarlanmaz. Polen istasyonunun kendi uyarısı yoktur, onun için masaya yazılı bir kural konur. Kural sayıma her dakika bakar, sayım beş dakika eşiğin üstünde kalırsa nöbetçi editör aranır. İstasyonun hattı koparsa bülten “polen yükseldi” demez, “istasyondan veri gelmiyor” der. Grafana’da bu ayrımı özetin cümlesi kurar. Rehberin bir sonraki adımı Grafana’nın yedeği ve sürüm yükseltmesidir.

Grafana Alert Hakkında Sık Sorulan Sorular

Zabbix'in izlediği sunucu, servis ve ağ cihazının alarmı Zabbix'te kurulur, çünkü eskalasyon, bakım penceresi ve alıcı listesi orada tanımlıdır. Aynı alarm Grafana'da da kurulursa bir arıza iki bildirim üretir. Grafana alert, kendi alarm mekanizması olmayan bir kaynak için kurulur. Bu yazıdaki örnek GLPI veritabanındaki açık talep sayısıdır: veritabanı sayıyı tutar ama eşiği izleyen bir sistem yoktur.
Değerlendirme aralığı, pending period ve group wait toplamı kadar. Lab'da kural dakikada bir değerlendirildi, pending period 5 dakikaydı. İki talep açıldıktan 35 saniye sonra kural Pending'e geçti, 5 dakika sonra Alerting oldu ve e-posta 30 saniye sonra geldi. Talepten e-postaya 6 dakika 5 saniye geçti. Koşul düzelince Resolved e-postası 3 dakika 30 saniye sonra geldi, çünkü aynı gruba ikinci bildirim group interval (5 dakika) dolmadan gitmez.
Verir. Sorgu çalışamayınca kural Error durumuna geçer ve Grafana DatasourceError adlı ayrı bir alarm gönderir. Lab'da güvenlik duvarı kuralı ve açık bağlantılar kesildikten 8 dakika 40 saniye sonra bu e-posta geldi, çünkü pending period Error için de işler. E-postanın konu satırı DatasourceError diyordu, ama gövdedeki özet kuralın kendi cümlesiydi. Bu yüzden özete eşik iddiası yazılmaz.
Silence ile. Silence bir etikete göre eşleşir ve süresi boyunca o etiketi taşıyan alarmların bildirimini durdurur. Kural yine değerlendirilir ve Alerting olur, yalnız e-posta gitmez. Lab'da kaynak=glpi etiketine 30 dakikalık silence kuruldu, kural Alerting olunca e-posta gelmedi. Silence erken kaldırılınca bastırılan alarmın e-postası 3 dakika 18 saniye sonra, grubun bir sonraki bildirim turunda geldi.
İlker Pehlivan
Yazan

BT Danışmanı | Ağ, Sistem ve Güvenlik Yönetimi

İlker Pehlivan, karmaşık BT altyapılarını ölçeklenebilir ve güvenli sistemlere dönüştürür. Buradaki rehberleri kendi laboratuvarında kurup ölçerek yazar.

LinkedIn

Benzer Makaleler

Grafana Rehberi: Kurulumdan Dashboard'a Adım Adım

Grafana rehberi: kurulumdan Zabbix bağlantısına, dashboard'dan yedeğe altı adımlık sıra. Her adım hangi kurumda gerekir, lab'da hangi yazıda ölçüldü.

14 dk okuma

Network İzleme Hizmeti: Sunucu, Hat ve Ağ Cihazları

Network izleme hizmeti: sunucu, internet hattı, switch ve firewall dakika dakika izlenir, alarm geldiğinde aynı ekip müdahale eder. Kapsam, süreç ve fiyat.

9 dk okuma

Grafana Upgrade: Yedek, 12'den 13'e Geçiş ve Geri Dönüş

Grafana güncellemesi adım adım: grafana.ini, eklenti ve PostgreSQL yedeği, geri yükleme provası, önce eklentiler, 12.4'ten 13.3'e geçiş ve doğru geri dönüş.

14 dk okuma

Grafana Dashboard Oluşturma: Panel, Değişken ve USE

Grafana dashboard oluşturma: USE yöntemiyle panel seçimi, Zabbix verisiyle değişkenler, tekrarlayan panel, yenileme yükü ve Viewer sınırı, lab ölçümüyle.

19 dk okuma

Grafana Kurulumu: Ubuntu 26.04'te PostgreSQL ve Apache

Ubuntu 26.04'e Grafana kurulumu: APT deposu, PostgreSQL veritabanı, Apache arkasında /grafana, admin hesabını kapatmak ve sıkılaştırma adım adım.

17 dk okuma

Grafana Nedir? Ne İşe Yarar, Zabbix'ten Farkı Ne?

Grafana nedir: Zabbix, Prometheus ve veritabanlarındaki veriyi okuyup tek ekranda gösteren açık kaynak araç. Data source, panel, sürüm ve Zabbix farkı.

12 dk okuma