Outlook Kesintisi: Havuzun Klor Alarmı E-postada Kaldı
Microsoft'un e-posta kesintisinde bir otel havuzunun klor alarmı kimseye ulaşmadı ve 15 misafir etkilendi. Alarmlarınız hangi yoldan geliyor, nasıl sınanır?
Bebeğinizi yatırdınız, oda kapısını aralık bıraktınız ve bebek telsizinin alıcısını salona aldınız. Verici beşiğin yanında, alıcı sehpanın üstünde duruyor. Alıcıdan ses gelmiyorsa bebeğin uyuduğunu düşünür, çayınızı içmeye devam edersiniz.
Oysa alıcı başka durumlarda da susar. Pili bitmişse, verici prizden çıkmışsa ya da iki cihaz arasındaki bağlantı kopmuşsa bebek ağlasa bile salona ses gelmez. Salondaki sessizlik iki ayrı anlama gelebilir: ya bebek uyuyor ya da haber yolda kaldı. Birçok bebek telsizinde bu yüzden bir menzil uyarısı vardır: bağlantı kopunca alıcı kendisi öter.
Binalardaki alarmlar da çoğu zaman böyle bir yoldan geçer. Ölçen cihaz sağlamdır ve alarmı verir, ama alarmı insana taşıyan tek bir yol vardır. Yedeği olmayan böyle bir yola single point of failure, yani tek hata noktası denir: ikincisi olmayan ve durunca arkasındaki her şeyi durduran parça.
Bu yazıda, Microsoft’un e-posta kesintisinde bir otel havuzunun klor alarmının kimseye neden ulaşmadığını ve kendi binanızdaki alarmların yolunu nasıl sınayacağınızı anlatıyoruz.
Ne Oldu?
Almanya’da, Köln yakınlarındaki Brühl’de bulunan Phantasialand eğlence parkının Hotel Ling Bao’sunda, 13 Kasım Cuma öğleden sonra havuz bölümüne klor gazı yayıldı. Brühl İtfaiyesi’nin duyurusuna göre teknik bir arıza yüzünden havuza fazla dozda klor verilmişti. İtfaiye ekiplerinin ölçümü, havuzun otomatik dozaj sisteminde bir arıza gösterdi.
Alman yayın kuruluşu WDR’ın haberine göre önce 13 misafir solunum yollarında tahriş şikayetiyle başvurdu, etkilenenlerin sayısı sonra 15’e çıktı. Havuz bir süre kapatıldı, suyu değiştirildi ve yeniden açıldı.
Olayı bir teknoloji haberine çeviren, işletmenin Cumartesi günü WDR’a yaptığı açıklamadır. İşletmeye göre spa bölümünün bakım ve güvenlik sistemi aşırı kloru fark etmiş ve alarmı e-postayla göndermişti. Microsoft’un e-posta servisi o saatlerde aksıyordu ve iletiler gelmedi. Alarmı bu yüzden kimse görmedi.
Kaynaklar hastaneye kaldırılanların sayısında ayrışıyor. WDR önce beş kişi dedi, sonra sayıyı dörde düzeltti ve birinin orta derecede yaralanmayla gözlem altında kaldığını yazdı. Olayı İngilizce aktaran The Register ise beş kişi diyor.
Kesinti Klorun Sebebi Olmadı
Haber başlıklarda dolaşırken sanki e-posta kesintisi havuza klor pompalamış gibi okunuyor. Kaynaklar böyle bir şey söylemiyor. Aynı gün iki ayrı arıza üst üste geldi: dozaj sistemi fazla klor verdi, e-posta servisi de alarmı taşıyamadı. İtfaiyenin duyurusu yalnız birincisini anlatıyor, ikincisi işletmenin açıklamasından geliyor.
Klor fazlası bir makine arızasıdır ve her makine bir gün arızalanabilir. Alarm sistemi de tam bu gün için kurulur. Havuzu ölçen sistem görevini yaptı ve alarmı verdi. Arıza, alarmın bir insana ulaşmasını sağlayan yoldaydı: e-posta. The Register da otelde ikinci bir alarm ya da klor beslemesini kendiliğinden kesen bir düzen olup olmadığının bilinmediğini yazıyor.
Örnekteki bebek telsiziyle anlatırsak: bebek gerçekten ağladı ve verici sesi yolladı. Arıza alıcıya giden yoldaydı ve salona hiç ses gelmedi.
Microsoft kesintisinin kendisini Gece Nöbeti Sayı 4’te anlattık. O yazıdan sonra Microsoft ön olay raporunu müşterilerine yayımladı. The Register’ın aktardığına göre hata, Temmuz’da Microsoft 365’in ağ geçidi sunucularına yapılan bir değişiklikle gelmiş, aylarca sessiz kalmış ve 12 Kasım’da yük artınca ortaya çıkmıştı.
En kötü anda sunucuların %80’inden fazlası yanıt vermiyordu ve en uzun kesilen servis, Outlook’un arkasındaki posta servisi Exchange Online oldu. Exchange Online’daki bir posta kutusuna giden her alarm, bu süre boyunca yerine zamanında ulaşamadı.
Kaynaklar düzelme saatinde de ayrışıyor. Microsoft’un ön raporuna göre hizmet Türkiye saatiyle 13 Kasım 19:10’da yeniden sağlıklıydı. The Register’ın önceki haberine göre ise Microsoft’un durum hesabı son bölgelerin düzeldiğini Cumartesi sabahı duyurdu.
E-posta Alarm Kanalı Olarak Neden Zayıf?
E-posta, iletiyi geç de olsa kaybetmeden teslim etmek üzere tasarlandı. Posta sunucusu iletiyi karşıya ulaştıramazsa kuyrukta tutar ve aralıklarla yeniden dener. E-postanın standardı RFC 5321, bu denemelerden vazgeçmeden önce en az dört beş gün beklenmesini öneriyor. Microsoft da bu kesintide geciken iletiler kaybolmasın diye bekleme süresini 48 saate çıkardı.
Yazışma için bu iyi bir özelliktir: geciken ileti kaybolmaz, sonunda gelir. Alarm için ise gecikme kayıpla aynı sonucu verir. İki saat geç gelen klor alarmı, havuzdaki misafirler için hiç gelmemiş sayılır. SMTP relay yazısındaki lab ölçümünde internet çıkışı dört dakika kesildiğinde alarm kaybolmadı, 241 saniye gecikti. Kesinti bir gün sürerse gecikme de bir gün olur.
E-postanın ikinci zayıflığı, sustuğunu söylememesidir. Gelen kutusunda yeni alarm olmaması ile alarmın gelememesi ekranda aynı görünür. İletiyi okuyacak kişinin mesai dışında posta kutusuna bakmaması ve iletinin spam klasörüne düşmesi de ayrı risklerdir. Örnekteki bebek telsizinin menzil uyarısı e-postada yoktur.
Binada E-postaya Bağlı Başka Ne Var?
Havuz bu olayın nesnesiydi, ama aynı düzen birçok işletmede başka cihazlarla kurulu durur. Alarmını sıklıkla e-postayla gönderen cihazlar şunlardır:
- UPS, elektriğin kesildiğini ve akünün azaldığını bildirir.
- Sunucu odasının kliması ya da sıcaklık sensörü, odanın ısındığını bildirir.
- NAS ve RAID kartı, bir diskin arızalandığını bildirir.
- Yedekleme yazılımı, gece işinin başarısız olduğunu bildirir.
- Soğuk odanın ve kazan dairesinin denetleyicisi, sıcaklığın ya da basıncın sınırı aştığını bildirir.
Bu cihazların e-posta ayarı çoğu zaman kurulum günü yapılır ve bir daha açılmaz. Alarmın gittiği adres işten ayrılmış birine ait olabilir. Gönderen hesabın parolası değiştiği gün gönderim durmuş da olabilir. Her iki durumda da cihaz alarm vermeye devam eder, alarm yalnız kimseye ulaşmaz.
Bu düzenin insan tarafı daha zor görünür. Alarm sistemi, kimse her saat havuza ya da sunucu odasına gidip bakmak zorunda kalmasın diye kurulur. O günden sonra güvenlik, alarmın yoluna emanet edilmiştir. Tek hata noktasının yıllarca neden fark edilmediğini single point of failure yazımızda anlattık: hiç sınanmayan parça, bozulduğu güne kadar sağlam görünür.
Yarın Sabah Ne Yapmalı?
- Alarm gönderen her cihazı bir listeye yazın. Her satırda üç bilgi dursun: cihaz neyi ölçüyor, alarmı kime gönderiyor ve hangi yoldan gönderiyor. Listenin kendisi, ikinci kanalı olmayan alarmları ilk bakışta gösterir.
- Her alarmın yolunu sonuna kadar izleyin. Cihazın e-postayı hangi sunucu üzerinden gönderdiğine ve alarmın gittiği adresin bugün işte çalışan birine ait olup olmadığına bakın. Cihazların e-postayı tek bir noktadan nasıl gönderdiğini ve kuyruğun nasıl davrandığını SMTP relay yazısında anlattık.
- İnsan sağlığına ve binaya dokunan alarma ikinci bir kanal ekleyin. SMS, telefon araması ya da cihazın bulunduğu yerde sesli ve ışıklı uyarı olabilir. İkinci kanal ilkiyle aynı servise bağlı olmamalı: iki bildirim de aynı Microsoft hesabından geçiyorsa tek kanal sayılır.
- Alarmı bir kişiye değil, bir sıraya bağlayın. İlk kişi alarmı belirli bir sürede onaylamazsa alarm ikinci kişiye geçsin. Bu düzenin bir izleme aracında nasıl kurulduğu Zabbix trigger yazısının eskalasyon bölümünde adım adım duruyor.
- Sessizliği de alarm sayın. İzleme sistemi her gün aynı saatte “çalışıyorum” diyen bir test iletisi göndersin. O ileti gelmediği gün alarm yolunun koptuğunu öğrenirsiniz. İzleme sisteminin kendisi durduğunda neden kendi alarmını gönderemediği Zabbix sağlık kontrolü yazısında lab’da ölçüldü.
- Alarmı ayda bir kez bilerek tetikleyin. Gerçeğine en yakın biçimde bir alarm üretin ve kimin, kaç dakikada gördüğünü yazın. Gelmeyen alarmı tatbikatta bulmak bedelsizdir. Tatbikatın bir plana nasıl bağlandığı iş sürekliliği planı yazımızda duruyor.
Alarm Yolu da İzlenir
Girişteki benzetmeye dönersek: bebek telsizine güvenen ebeveyn bebeği değil alıcıyı dinler. İyi bir alıcı bu yüzden yalnız ağlamayı değil, bağlantının koptuğunu da duyurur. Brühl’deki otelde havuzu ölçen sistem verici gibi görevini yaptı. Alıcıya giden yol koptu ve koptuğunu kimseye söylemedi.
Bir alarmın işe yarayıp yaramadığı, eşiğiyle birlikte kime ve kaç dakikada ulaştığına da bağlıdır. Kurulmuş ama kimsenin okumadığı, bir e-posta klasörüne akan alarmların nasıl yeniden işe yarar hale geldiğini network izleme hizmeti sayfamızda anlattık.
Outlook Kesintisi ve E-posta Alarmı Hakkında Sık Sorulan Sorular
BT Danışmanı | Ağ, Sistem ve Güvenlik Yönetimi
İlker Pehlivan, karmaşık BT altyapılarını ölçeklenebilir ve güvenli sistemlere dönüştürür. Buradaki rehberleri kendi laboratuvarında kurup ölçerek yazar.
LinkedInSonraki Adım
Bu konuda destek almak ister misiniz?
İstanbul'da yerinde hizmet veriyoruz. Projenizi anlayıp size özel çözüm sunuyoruz. Aynı gün geri dönüş.
Ücretsiz Değerlendirme
Sunucu odanızın alarmı kime, hangi yoldan gidiyor? Alarm yolunu birlikte çizelim mi?
Diğer Yazılar
Hizmetlerimiz