BT Sistem Yönetimi

RAID Nedir? Seviyeleri ve RAID 0, 1, 10 Farkı

RAID nedir, nasıl çalışır? Striping, mirroring ve parity, RAID 0, 1, 5, 6 ve 10 karşılaştırması, rebuild süresi, hot spare ve RAID'in neden yedek olmadığı.

İlker Pehlivan

RAID (Redundant Array of Independent Disks), birden çok diski işletim sistemine tek bir disk gibi gösteren düzenlemedir. Veriyi disklere bölerek hız kazandırır. Veriyi kopyalayarak ya da kaybolan parçayı hesaplamaya yeten bir sağlama bilgisi tutarak disk arızasına dayanıklılık kazandırır. Hangisini ne ölçüde verdiğini RAID seviyesi belirler: RAID 0 yalnız hız verir, RAID 1 ve RAID 10 kopya tutar, RAID 5 ve RAID 6 hesap tutar.

Doğru kurulmuş bir RAID dizisinde bir disk arızalandığında sunucu çalışmaya devam eder ve veri yerinde kalır. Yeni disk takılınca eksik kısım öteki disklerden yeniden kurulur. RAID’in vermediği şey ise yedektir. Silinen bir dosya bütün disklerden aynı anda silinir. Sunucuda hangi diskin hangi dizide duracağını ve hangi seviyenin seçileceğini nasıl belirlediğimizi sunucu kurulumu hizmetimizde anlattık.

Büyük bir iş hanının çay ocağını düşünün. Çaycı her katın siparişini bir deftere yazar, katlar da ay sonunda hesabı bu deftere göre öder. Tek defterle iki sorun çıkar:

  1. Birinci sorun hızdır. Bütün siparişler aynı deftere yazıldığı için yoğun saatte defterin başında kuyruk birikir.
  2. İkinci sorun kayıptır. Defterin üstüne bir bardak çay dökülürse ayın bütün hesabı gider.

Yazı boyunca çaycının bu iki soruna bulduğu çözümleri izleyeceğiz. Her RAID seviyesi bu çözümlerden birine karşılık gelir.

RAID benzetmesi: iş hanının çay ocağı, solda ocakta tüten bakır çaydanlık, üstteki rafta üzerine çay dökülmüş açık bir defter ve devrilmiş bardak, ortada tezgahta açık üç defter, çaycı ortadakinde parmağıyla bir satırı izliyor ve sağdakine yazıyor, arkada pencere, sağda açık kapıdan dört bardak çaylı tepsiyle geçen çırak
Islanan defterin hesabı kaybolmaz: çaycı onu öteki defterlerden yeniden yazar, çırak da çay taşımayı sürdürür. Korumalı bir RAID dizisinde de arızalanan diskin verisi kalan disklerden yeniden kurulurken sunucu çalışmaya devam eder.

RAID Nedir? Birden Çok Disk, Tek Bir Sürücü

RAID, işletim sistemine birden çok fiziksel disk yerine tek bir mantıksal disk gösterir. Sunucu dört diskli bir dizinin tamamını tek bir sürücü olarak görür ve dosyayı ona yazar. Verinin hangi diske, hangi sırayla ve kaç kopya halinde gideceğine RAID katmanı karar verir. Dizideki her diske üye disk denir.

Kısaltmanın açılımı zamanla değişti. Terimi 1988’de ortaya koyan makale, Kaliforniya Üniversitesi Berkeley’den Patterson, Gibson ve Katz’ın çalışması, I harfini Inexpensive, yani ucuz diye açar. Amaç pahalı ve büyük tek bir disk yerine ucuz küçük disklerden bir dizi kurmaktı. Linux’un md(4) belgesi de dahil bugünkü kaynakların çoğu aynı harfi Independent, yani bağımsız diye açar. Bugünkü açılım dizinin amacını da anlatır: diskler, biri arızalandığında ötekiler işi sürdürsün diye bir araya getirilir.

Donanım RAID ve Yazılım RAID

RAID’in hesabını yapan katman iki yerde durabilir. Donanım RAID’de sunucudaki RAID kartı (RAID controller) diskleri yönetir ve işletim sistemine hazır bir disk verir. Yazılım RAID’de aynı işi işletim sistemi yapar. Linux’ta bu iş çekirdeğin md sürücüsündedir (Multiple Device driver), Windows Server’da Storage Spaces’tedir. Seviyelerin mantığı iki yolda da aynıdır. Değişen, hesabın hangi işlemcide yapıldığı ve dizinin bilgisinin nerede saklandığıdır.

Kartın yazma önbelleğini, anakarttaki RAID’in neden yazılım sayıldığını ve hangi durumda hangisinin seçildiğini donanım RAID ile yazılım RAID farkı yazımızda anlattık.

Linux sunucuda RAID dizisinin üstüne çoğu zaman LVM (Logical Volume Manager), yani diski esnek bölümlere ayıran katman kurulur ve dosya sistemi en üstte durur. Bu katmanların sırasını ve LVM’in kendi başına disk arızasına karşı neden korumadığını Linux disk yönetimi yazımızda anlattık.

RAID Nasıl Çalışır? Striping, Mirroring ve Parity

Bütün RAID seviyeleri üç tekniğin birleşimidir: veriyi bölmek, veriyi kopyalamak ve kaybolanı hesaplamak. Seviyelerin farkı, bu üç tekniğin hangisini hangi oranda kullandığıdır.

Striping: Veriyi Disklere Bölmek

Striping (şeritleme), veriyi sabit boyutlu parçalara bölüp parçaları disklere sırayla yazmaktır. Bu parçaya chunk denir. Dört diskli bir dizide birinci parça birinci diske, ikinci parça ikinci diske gider ve beşinci parça yeniden birinci diskin sırasına döner. Aynı hizada duran parçaların oluşturduğu sıraya stripe denir. Büyük bir dosya okunurken dört disk aynı anda çalışır ve okuma tek diskten hızlı biter.

Örnekteki çay ocağında striping, siparişleri iki deftere sırayla yazmaktır. Çaycı yanına iki çırak alır ve her defterin başına birini oturtur. Birinci sipariş birinci deftere, ikinci sipariş ikinci deftere geçer. İki çırak aynı anda yazdığı için kuyruk yarıya iner. Defterlerden birine çay dökülürse her iki siparişten biri kaybolur ve ayın hesabı hiçbir kat için çıkmaz.

Mirroring: Aynı Veriyi İki Diske Yazmak

Mirroring (aynalama), her parçayı birden çok diske aynen yazmaktır. İki diskli bir aynada iki disk de verinin tamamını taşır. Biri giderse öteki tek başına çalışır. Bedeli kapasitedir: iki diskin yalnız biri kadar alan kullanılır. Her yazma iki diske ayrı ayrı gider, okuma ise kopyalardan herhangi birinden yapılabilir.

Örnekteki çaycı her siparişi iki deftere birden yazar ve kopya defteri ayrı bir rafta tutar. Asıl deftere çay dökülse de ayın hesabı kopya defterden eksiksiz çıkar. Bunun bedeli, her siparişi iki kez yazmak ve iki defter almaktır.

Parity: Kaybolan Diski Hesaplayarak Geri Getirmek

Parity (eşlik bilgisi), bir stripe’taki veri parçalarından hesaplanan ve kaybolan parçayı yeniden üretmeye yeten sağlama bilgisidir. Verinin kopyasını tutmaz. Kaybolan parçayı hesaplamaya yeten tek bir sonucu tutar. md sürücüsünde bu hesap XOR işlemidir (md(4)). XOR, iki bit aynıysa 0, farklıysa 1 veren işlemdir. Toplamaya benzer ama elde tutmaz, bu yüzden sonucu her zaman tek bir parça boyundadır.

Üç diskli bir dizide iki veri parçası ve bir parity parçası şöyle çalışır:

  1. Birinci diskteki parça 1010, ikinci diskteki parça 0110 olsun.
  2. Parity iki parçanın XOR’udur: 1010 XOR 0110 = 1100. Sonuç üçüncü diske yazılır.
  3. İkinci disk arızalanır. Eksik parça kalan ikisinden hesaplanır: 1010 XOR 1100 = 0110.
  4. Çıkan sonuç ikinci diskteki parçanın kendisidir.

Örnekteki çaycı defter sayısını üçe çıkarır ve yanına bir toplam defteri açar. Toplam defterinin her satırına öteki üç defterin aynı numaralı satırlarındaki tutarların toplamını yazar. Bir defter kaybolursa her satır geri hesaplanır: toplam eksi kalan iki tutar, kaybolan tutarı verir. Dört defterle üç defterlik sipariş korunur ve koruma için yalnız bir defter harcanır.

Üç RAID düzeni yan yana, her biri dört stripe ile. RAID 0, iki diskte A1 ve A2 parçalarını iki diske bölüştürür, kopya tutmaz. RAID 1, iki diskte her parçanın aynısını iki diske yazar. RAID 5, dört diskte her stripe'a üç veri parçası ve bir parity parçası koyar. Parity parçası A stripe'ında dördüncü diskte, B'de üçüncüde, C'de ikincide, D'de birinci diskte durur. RAID 0 · 2 disk RAID 1 · 2 disk RAID 5 · 4 disk Disk 1 Disk 2 Disk 1 Disk 2 Disk 1 Disk 2 Disk 3 Disk 4 A1 A2 B1 B2 C1 C2 D1 D2 A1 A1 B1 B1 C1 C1 D1 D1 A1 A2 A3 B1 B2 B3 C1 C2 C3 D1 D2 D3 A parity B parity C parity D parity Her satır bir stripe'tır. RAID 0 bölüştürür, RAID 1 kopyalar, RAID 5 her stripe'a bir parity parçası ekler. Kullanılabilir alan: RAID 0'da iki disk, RAID 1'de bir disk, RAID 5'te üç disk kadardır. RAID 5 parity parçasını her stripe'ta başka bir diske koyar, böylece hiçbir disk bütün yazmaları tek başına taşımaz. RAID 0 iki diske bölüştürür, RAID 1 her parçayı iki diske kopyalar, RAID 5 dört diskte her stripe'a bir parity parçası ekler ve parity'nin diskini her stripe'ta kaydırır. RAID 0 · 2 disk RAID 1 · 2 disk RAID 5 · 4 disk Disk 1 Disk 2 Disk 1 Disk 2 Disk 1 Disk 2 Disk 3 Disk 4 A1 A2 B1 B2 C1 C2 D1 D2 A1 A1 B1 B1 C1 C1 D1 D1 A1 A2 A3 B1 B2 B3 C1 C2 C3 D1 D2 D3 A parity B parity C parity D parity Her satır bir stripe'tır. Alan: RAID 0 iki disk, RAID 1 bir disk, RAID 5 üç disk. RAID 5'te parity her stripe'ta başka diskte durur.
Aynı dört stripe üç düzende. RAID 0 hız için bölüştürür, RAID 1 her parçanın kopyasını tutar, RAID 5 kopya yerine her stripe'ta bir parity parçası tutar ve onu disklere dağıtır.

RAID Seviyeleri: RAID 0, 1, 5, 6 ve 10 Karşılaştırması

RAID seviyeleri, bu üç tekniğin hangi oranda kullanıldığına göre ayrılır. Aşağıdaki tablo her seviyeyle dizi kurmak için en az kaç disk gerektiğini, n diskten ne kadar alan verdiğini ve kaç disk arızasına dayandığını gösterir. Değerler md(4) belgesindeki tanımlara dayanır. Son sütundaki maliyeti, parity’nin bedelini anlatan bölüm açıklar.

SeviyeTeknikDiziyi kurmak için en az diskKullanılabilir alan (n disk)Dayandığı arızaKüçük bir yazmanın maliyeti
RAID 0Striping2n disk0 disk1 yazma
RAID 1Mirroring21 diskn − 1 diskn yazma
RAID 5Striping ve tek parity3n − 1 disk1 disk2 okuma ve 2 yazma
RAID 6Striping ve çift parity4n − 2 disk2 disk3 okuma ve 3 yazma
RAID 10Aynaların üstüne striping4n/2 diskEn az 1 disk, her ayna çiftinden biri giderse n/2 disk2 yazma

Kapasite tablosunu kendi disk sayınız ve boyutunuzla görmek isterseniz RAID hesaplama aracımız aynı seviyeleri hesaplar.

RAID 0: Yalnız Hız

RAID 0 yalnız striping yapar ve hiçbir kopya ya da parity tutmaz. md(4) onu sıfır yedeklilikli dizi olarak tanımlar. Dizinin bütün kapasitesi kullanılır ve okuma ile yazma disk sayısı kadar paralel yürür. Bedeli ağırdır: disklerden herhangi biri giderse dizinin tamamı gider, çünkü her dosyanın parçaları bütün disklere dağılmıştır. Dört diskli bir RAID 0’ın arıza olasılığı bu yüzden tek bir diskin yaklaşık dört katıdır.

RAID 1: Ayna

RAID 1 her parçayı dizideki bütün disklere yazar. En sık iki diskle kurulur ve iki diskten biri giderse öteki tek başına çalışır. md sürücüsünde ikiden fazla diskle de kurulabilir: üç diskli bir aynada iki disk birden gidebilir (md(4)). Alan her durumda tek bir disk kadardır. İki diskli küçük bir sunucuda disk arızasına karşı koruma veren tek seviye budur.

RAID 5 ve RAID 6: Parity ile Koruma

RAID 5 her stripe’a bir parity parçası ekler ve parity’yi her stripe’ta başka bir diske koyar. n diskli bir RAID 5 n − 1 disk kadar alan verir ve herhangi bir diskin kaybına dayanır. RAID 6 her stripe’a iki ayrı parity parçası ekler, n − 2 disk kadar alan verir ve herhangi iki diskin kaybına dayanır (md(4)).

Parity’nin neden dolaştığı, adı az anılan RAID 4 ile anlaşılır. RAID 4 bütün parity’yi tek bir diske yazar. Her yazma o diske de uğradığı için bütün yazmalar aynı diskin kuyruğunda bekler. RAID 5 parity’yi disklere dağıtarak bu kuyruğu dağıtır. md(4) da RAID 5’in RAID 4’ten farkını daha fazla paralellik olarak tanımlar.

Örnekteki çay ocağında tek toplam defteri, her siparişte açılması gereken defterdir ve başında kuyruk birikir. Çaycı toplam satırını her sırada başka bir deftere yazmaya başlayınca kuyruk dört deftere dağılır. RAID 6’nın ikinci parity’si ise ikinci bir toplamdır: çaycı her tutarı defterin sıra numarasıyla çarpıp ayrıca toplar. İki defter birden kaybolduğunda elinde iki bilinmeyen ve iki ayrı denklem olur, iki tutar da geri hesaplanır.

İkinci parity birincinin kopyası değildir, farklı bir denklemle hesaplanır. Bu yüzden iki disk birden gittiğinde de eksik iki parça bulunabilir. md(4), RAID 6’nın normal çalışmada ve tek disk eksikken RAID 5’e yakın hızda olduğunu, iki disk eksikken ise çok yavaşladığını yazar. İki seviye arasındaki seçimi ve büyük disklerin RAID 5’i neden zorladığını RAID 5 ve RAID 6 farkı yazımızda ayrıca anlattık.

RAID 10: Aynaların Üstüne Striping

RAID 10, diskleri ikişer ikişer aynalar ve veriyi bu aynalar arasında bölüştürür. md(4) onu RAID 1 ile RAID 0’ın birleşimi olarak tanımlar ve RAID 1+0 adıyla da anar. Dört diskli bir RAID 10’da birinci ve ikinci disk bir ayna çifti, üçüncü ve dördüncü disk ikinci ayna çiftidir. Veri bu iki çift arasında striping ile bölünür. Alan iki disk kadardır, yani kapasitenin yarısı kopyaya gider.

Dayanıklılığı hangi diskin gittiğine bağlıdır. Her ayna çiftinden bir disk giderse dizi ayakta kalır. Aynı çiftin iki diski giderse o çiftin taşıdığı parçaların kopyası hiçbir yerde kalmaz ve dizi gider. Dört diskli bir RAID 10 bu yüzden garanti olarak bir diske, iki disk farklı çiftlerden giderse iki diske dayanır. Aynı dört diskle kurulan RAID 6 aynı alanı verir ve herhangi iki diskin kaybına dayanır.

Lab’daki dört diskli RAID 10’da iki farklı çiftten birer diski arızalı işaretlediğimde dizi clean, degraded durumunda çalışmaya devam etti ve deneme dosyasının SHA-256 hash’i değişmedi. Aynı çiftin ikinci diskini düşürmek istediğimde mdadm komutu reddetti: Cannot remove /dev/sdb from /dev/md0, array will be failed. Diski sistemden zorla kaldırınca dizi FAILED durumuna geçti ve dosya okunamadı. mdadm’ın bu reddi, aynı çiftin son diskinin dizinin tamamını taşıdığını gösterir.

RAID 10’u veritabanı ve sanal makine diskleri için öne çıkaran iki özelliktir:

  1. Küçük yazmada okuma yoktur. Her yazma ayna çiftinin iki diskine gider ve parity hesaplanmaz. Klasik yolda RAID 5’in dört ve RAID 6’nın altı disk işlemine karşılık iki yazma yapılır.
  2. Rebuild yalnız eşi kopyalar. Yeni disk ayna eşinden kopyalanır. Parity hesabı yapılmaz ve kalan bütün diskleri baştan sona okumak gerekmez.

Linux’un md sürücüsü RAID 10’u kopyaların disklere yerleşimine göre üç düzende kurar: near, far ve offset. Near düzeni klasik RAID 1+0’dır. Far düzeni sıralı okumayı RAID 0 hızına yaklaştırır, bedeli yazmanın belirgin biçimde yavaşlamasıdır (md(4)). md’de disk sayısının çift olması da gerekmez. Beş diskli ve iki kopyalı bir RAID 10 iki buçuk disk kadar alan verir ve her bloğu iki ayrı diskte tutar.

Örnekteki çaycı dört defteri ikişerli iki çift yapar. Her çiftin iki defteri birbirinin kopyasıdır ve siparişler iki çift arasında sırayla yazılır. Bir çiftten bir defter ıslanırsa eşi o çiftin bütün siparişlerini taşır. Aynı çiftin iki defteri birden ıslanırsa o çiftin siparişleri hiçbir yerde kalmaz.

RAID 50 ve RAID 60

RAID 50 birden çok RAID 5 dizisinin üstüne, RAID 60 birden çok RAID 6 dizisinin üstüne striping kurar. Rebuild sırasında yalnız arızalı diskin bulunduğu alt dizi okunur, bu yüzden çok diskli storage ünitelerinde kullanılır. Dört ile sekiz diskli bir sunucuda bu katmana gerek kalmaz.

Parity’nin Bedeli: Küçük Bir Yazma Dört Disk İşlemidir

RAID 5’te tek bir parçayı değiştirmek dört disk işlemi ister. Yeni parity baştan hesaplanmaz, eski parity’den bulunur: eski veri ile yeni verinin farkı eski parity’ye XOR’lanır. Bunun için dizi sırayla şunları yapar:

  1. Eski veri parçasını okur.
  2. Eski parity parçasını okur.
  3. Yeni veri parçasını yazar.
  4. Yeni parity parçasını yazar.

Bu hesap 1988’deki Berkeley makalesinde de aynı biçimde geçer: küçük bir yazma iki diskte dört erişimdir, iki okuma ve iki yazma. Bu ek işleme yazma cezası (write penalty) denir. RAID 6’da iki parity güncellendiği için aynı yazma altı işleme çıkar. Aynada ise hiçbir şey okunmaz, ceza kopya sayısı kadar yazmadır.

Bu hesabı lab’daki Ubuntu 26.04 sunucusunun md dizilerinde ölçtüm. Her diziye yarım dakika boyunca 4 KB’lık rastgele yazma gönderdim ve üye disklere düşen okuma ile yazmaları diskin kendi sayaçlarından (/proc/diskstats) saydım. Dört diskli RAID 5’te dizinin aldığı her yazmaya üye disklerde yaklaşık iki okuma ve iki yazma düştü. RAID 1 ve dört diskli RAID 10’da her yazmaya iki yazma düştü, okuma neredeyse hiç olmadı. Berkeley makalesinin dört işlemlik hesabı md’nin RAID 5 dizisinde de geçerlidir.

RAID 6’nın altı işlemi klasik yoldur ve az diskli dizide sayı düşebilir. Parity eski parity’den güncellenmek yerine stripe’ın öteki veri parçalarından da hesaplanabilir. Dört diskli bir RAID 6 stripe’ında yalnız iki veri parçası vardır ve okunması gereken tek bir parça kalır.

Lab’daki dört diskli RAID 6’da her yazmaya yaklaşık bir okuma ve üç yazma düştü: veri parçası ve iki parity. Üç diskli RAID 5’te de okuma bire indi. Yazma sayısı parity sayısıyla sabittir, okuma sayısı ise dizinin genişliğine göre değişir.

Ceza en çok küçük ve dağınık yazmada belirir. Dizi büyük ve sıralı bir yazmada bir stripe’ın bütün veri parçalarını birden yazıyorsa eski bir şey okumaz, parity’yi yeni parçalardan hesaplar. Veritabanı ve sanal makine diski sık ve küçük yazar. Arşiv ve yedek ise büyük ve sıralı yazar. Seviye seçiminde iş yükünün türü bu yüzden kapasite kadar önemlidir.

Örnekteki çaycı bir siparişi düzeltirken dört iş yapar: eski tutarı okur, eski toplamı okur, yeni tutarı yazar ve düzeltilmiş toplamı yazar. Öteki defterleri baştan toplamasına gerek yoktur, çünkü toplamın ne kadar değişeceğini eski ile yeni tutarın farkı söyler.

Bir Disk Gidince: Degraded Dizi ve Rebuild

Bir disk arızalandığında RAID dizisi durmaz, degraded (eksik) durumda çalışmaya devam eder. md sürücüsü yazma hatası veren diski hemen arızalı (faulty) olarak işaretler ve kalan disklerle çalışır (md(4)). RAID 1 ve RAID 10’da eksik diskin verisi eşinden okunur. RAID 5’te ise eksik parçaya düşen her okuma kalan parçalardan yeniden hesaplanır. Dizi çalışır, ama bir arızaya dayanma payını harcamıştır.

Lab’daki dört diskli RAID 5’te bir diski arızalı işaretlediğimde dizi durmadı. cat /proc/mdstat arızalı diski (F) ile işaretledi, eksik diskin yerini de durum alanında alt çizgiyle gösterdi:

raid01Bash Çıktısı
md0 : active raid5 sdd[4] sdc[2](F) sdb[1] sda[0]
      9427968 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/3] [UU_U]

[4/3] dört diskin üçünün çalıştığını söyler. Diziye önceden yazdığım 500 MB’lık dosyanın SHA-256 hash’i değişmedi. Aynı dosyayı okumak ise sağlam diziye göre yaklaşık üç kat uzun sürdü, çünkü eksik diske düşen her parça kalan üç diskten hesaplandı. Lab’ın diskleri tek bir SSD üstündeki sanal disklerdi, bu oran gerçek disklerde farklı çıkabilir.

Disk sunucu kapalıyken gittiğinde de dizi açılışı durdurmadı. Lab sunucusunu kapattım, bir diskini sanal makineden çıkardım ve yeniden başlattım. mdadm paketinin mdadm-last-resort zamanlayıcısı eksik disk için 30 saniye bekledi, ardından diziyi üç diskle başlattı. Rebuild, dizide boşta bekleyen yedek diskte kendiliğinden başladı ve dosya sistemi rebuild sürerken bağlandı. Açılış yaklaşık 40 saniye sürdü, sağlam dizinin açılışının üç katı kadar. Eksik diskli sunucu açılır, yalnız o bekleme kadar geç açılır.

Yerine yeni disk takıldığında rebuild (yeniden yapılandırma) başlar. Aynada rebuild, eşin yeni diske kopyalanmasıdır. Parity dizisinde ise kalan bütün diskler baştan sona okunur ve yeni diske yazılacak her parça hesaplanır. Rebuild bitene kadar RAID 5 dizisi ikinci bir arızaya karşı korumasızdır.

Örnekteki çay ocağında bir defter suya düştüğünde çaycı yeni bir defter açar. Yeni defterin her satırı için öteki üç defterin aynı satırını okuyup hesap yapar. Bu sırada katlardan sipariş gelmeye devam eder ve iş ikiye katlanır. Yeni defter dolmadan ikinci bir defter kaybolursa ayın hesabı geri dönüşsüz biter.

Rebuild Ne Kadar Sürer?

Rebuild’in en kısa süresi, yeni diskin baştan sona yazılma süresidir: disk kapasitesi bölü rebuild hızı. Diskler büyüdükçe bu süre uzadı. RAID hesaplama aracımızın varsayılan örneğinde, sekiz adet 18 TB diskli bir RAID 5’te pencere yaklaşık üç gündür. Araç aynı hesabı kendi diskleriniz için yapar ve sonucun neden alt sınır olarak okunması gerektiğini anlatır.

Gerçek süre bu alt sınırdan uzundur, çünkü rebuild sunucunun normal işiyle aynı diskleri paylaşır. md sürücüsü dizide başka iş varken rebuild’i kendiliğinden yavaşlatır ve hızın alt ve üst sınırını iki ayardan okur (md(4)). Mesai saatinde çalışan bir dosya sunucusunda rebuild bu yüzden gece olduğundan yavaş ilerler. Ubuntu 26.04’te bu iki ayarın fabrika değerleri saniyede yaklaşık 1 MB ve 200 MB’tır (speed_limit_min 1000, speed_limit_max 200000 KB/s).

Lab’daki 3 GB’lık disklerle kurulu RAID 5’te boştaki rebuild yarım dakikadan kısa sürdü. Diziye aynı anda rastgele okuma ve yazma gönderdiğimde aynı rebuild bir dakikayı geçti ve ortalama hızı üçte birin biraz üstüne indi. Bu ölçümde lab bilgisayarının diski de zaman zaman yavaşladı, farkın ne kadarının md’nin kendi frenlemesinden geldiğini ayıramadım. Rebuild süresi planlanırken sunucunun gündüz yükü bu yüzden hesaba katılır.

İkinci Arıza Neden Tahminden Sık Gelir?

Rebuild sırasında ikinci bir diskin gitme olasılığı, disk kataloğundaki ortalama arızasız çalışma süresinden (MTTF) hesaplanandan yüksektir. Carnegie Mellon Üniversitesi’nden Schroeder ve Gibson’ın 2007 çalışması yaklaşık 100.000 diskin saha kaydını inceledi. Kataloglardaki MTTF değerleri yılda yüzde 1’in altında arızaya karşılık geliyordu. Sahada ise yıllık değişim oranı çoğu sistemde yüzde 2 ile 4 arasındaydı ve bazı sistemlerde yüzde 13’e çıktı. Rebuild penceresinin taşıdığı risk bu yüzden katalogdaki sayıdan hesaplanandan büyüktür.

Aynı çalışmada arızalar birbirinden bağımsız gelmedi. Bir haftada değiştirilen disk sayısı, ertesi haftanın sayısını güçlü biçimde önceden haber veriyordu. Çalışma bunun olası sebepleri arasında aynı odadaki bütün diskleri birlikte etkileyen sıcaklık gibi ortam etkenlerini sayar. Rebuild sırasında ikinci arızanın olasılığının, yıllık arıza oranını birkaç saate bölerek iyi tahmin edilemeyeceğini de yazar. Örnekteki defterler de aynı rafta, aynı rutubette durur ve birlikte yıpranır.

Okunmamış Sektör ve Düzenli Tarama

Rebuild’in ikinci tehlikesi, sağlam sanılan disklerdeki okunamayan sektörlerdir. Disk bir sektörün bozulduğunu ancak o sektörü okumaya çalıştığında fark eder. Aylardır açılmayan bir arşiv dosyasının sektörü bu sürede sessizce bozulmuş olabilir. Buna gizli sektör hatası (latent sector error) denir. Wisconsin-Madison Üniversitesi’nden Bairavasundaram ve arkadaşlarının 2007 çalışması 32 ay boyunca 1,53 milyon diski izledi ve disklerin yaklaşık otuzda birinde en az bir gizli sektör hatası buldu. Rebuild sırasında ise hayatta kalan her disk baştan sona okunur ve bu sektörlerin hepsine uğranır.

Oran disk sınıfına göre değişti. Büyük kapasiteli ve arşiv işi için üretilen nearline sınıfı disklerde gizli hata, aynı yaştaki enterprise sınıfı disklerin iki katı kadar sık görüldü. Sağlam bir dizide bu hata zararsızdır: md sürücüsü okunamayan bloğun verisini öteki disklerden bulur ve bozuk bloğun üstüne yeniden yazar (md(4)). Tehlike, aynı hatanın RAID 5 rebuild’inde çıkmasıdır. O anda eksik parçayı hesaplayacak başka kaynak kalmamıştır ve o stripe’ın verisi geri hesaplanamaz.

Çözüm, hatayı yedeklilik dururken bulmaktır. md(4), bozuk blokları erken yakalamak için dizideki bütün disklerin bütün bloklarının düzenli olarak okunmasını önerir ve bu işe scrubbing (tarama) der. Tarama aynada kopyaların, parity dizisinde parity’nin tutarlı olup olmadığını da denetler. Bairavasundaram’ın verisinde gizli hataların yarısından fazlası bu tür düzenli taramayla bulundu, yani diski kullanan bir uygulama o sektöre hiç ulaşmadan.

Ubuntu 26.04’te mdadm paketi taramayı zamanlayan iki zamanlayıcıyla gelir. mdcheck_start.timer ayın ilk pazarı gece başlayacak biçimde kuruludur ve başlangıcı bir güne kadar rastgele kaydırır. Açıklaması “MD array scrubbing - continuation” olan mdcheck_continue.timer her gün çalışır. Lab sunucusunda sıradaki tarama zamanlayıcı listesinde ayın ilk pazarına kurulu göründü.

Taramanın neyi düzelttiğini lab’daki dört diskli RAID 5’te denedim. Dizi bağlı değilken bir üye diskin ortasına 64 KB rastgele veri yazdım. Disk o bölgeyi hatasız okuyordu, dizi de bozuk veriyi hata vermeden döndürdü. echo check > /sys/block/md0/md/sync_action ile başlattığım tarama tutarsızlığı buldu ve mismatch_cnt değeri 128 oldu. md(4)‘e göre sayı sektör cinsindendir ve 64 KB, 512 baytlık 128 sektördür. Yani tarama, hiçbir okumanın hata vermediği bir bozulmayı da bulur.

Ardından aynı sysfs dosyasına repair yazarak onarım taramasını çalıştırdım. Sonraki taramada mismatch_cnt sıfıra döndü, ama bozduğum bölge hem diskte hem dizide aynı bozuk veriyle okunmaya devam etti. Dört diskli RAID 6’da sonuç aynı çıktı. md(4)‘e göre repair, RAID 5 ve RAID 6’da tutmayan stripe’a yeni parity yazar. Yani veri parçası doğru kabul edilir ve parity ona uydurulur.

Tarama okunamayan sektörü öteki disklerden onarır, okunabilen ama yanlış olan veriyi ise yalnız sayar. md(4), sağlam bir RAID 5 ya da RAID 6 dizisinde sıfırdan büyük bir mismatch_cnt değerinin bir donanım sorununa işaret ettiğini yazar. Bu sayı bu yüzden izlenir, çünkü sıfırdan büyük bir değer repair’in düzeltemeyeceği bir bozulmanın haberidir.

Örnekteki çaycı defterleri düzenli aralıklarla baştan sona okur. Silinmeye yüz tutmuş bir satır bulursa onu öteki defterlerden hesaplayıp yeniden yazar. Bir defter kaybolduğunda soluk satırla karşılaşmamanın yolu, o satırı defterler sağlamken bulmaktır. Okunan ama yanlış yazılmış bir tutarda ise çaycı yalnız toplamın tutmadığını görür. Hangisinin yanlış olduğunu bilemez ve toplamı tutara göre düzeltir.

Hot Spare: Rebuild’i Bekletmeyen Yedek Disk

Hot spare, dizide boşta bekleyen ve bir disk arızalandığında kimse müdahale etmeden rebuild’i başlatan yedek disktir. md sürücüsü arızalı diski işaretlediği anda yedek diskte eksik veriyi kurmaya başlar (md(4)). Hot spare yoksa korumasız süre arızayla başlar ve yeni disk gelip takılana kadar uzar. Cuma akşamı arızalanan bir disk, pazartesi sabahına kadar rebuild’i başlamamış bir dizi demektir.

Lab’daki dört diskli RAID 5’e beşinci diski hot spare olarak ekleyip bir diski arızalı işaretledim. Çekirdek log’unda arıza satırı ile rebuild’in başladığını söyleyen satır arasında birkaç milisaniye vardı ve araya hiçbir komut girmedi. Yedek disk arızalı diskin yerini aldı, arızalı disk ise /proc/mdstat çıktısında (F) işaretiyle listede kaldı. Rebuild bitince dizi dört sağlam diskle çalışıyordu, ama artık yedeği yoktu.

Yedeğin kimseye sormadan devreye girmesi, arızanın kendiliğinden fark edilmeyeceği anlamına da gelir. Dizi sağlam görünür ve yerine yeni bir yedek takılmazsa sıradaki arızada korumasız süre yine arızayla başlar. Arızanın haberi bu yüzden izleme sisteminden gelmelidir. Linux’ta bu uyarının yolunun nasıl sınandığını donanım RAID ve yazılım RAID yazımızda anlattık.

Hangi Seviye Hangi Sunucuya?

Seviyeyi iş yükü, disk sayısı ve disk boyutu birlikte belirler. Aşağıdaki eşlemeler bu üç ölçüte göre kurulmuştur.

SenaryoUygun seviyeGerekçe
İki diskli küçük sunucu: domain controller, küçük dosya sunucusuRAID 1İki diskle disk arızasına karşı koruma veren tek seviyedir
Veritabanı ya da sanal makine diskleri: sık ve küçük yazmaRAID 10Parity cezası yoktur, rebuild yalnız eşin kopyalanmasıdır
Dört ile sekiz büyük diskli arşiv ya da yedek hedefiRAID 6Sıralı yazma ağırlıklıdır, rebuild süresince de bir arızaya dayanır
Diskleri birkaç TB’ı geçmeyen, okuma ağırlıklı diziRAID 5Rebuild saatler içinde biter, kapasitenin yalnız bir diski korumaya gider
Kaybolursa yeniden üretilebilen geçici veriRAID 0Yalnız hız verir, asıl veri başka bir yerde durur

Microsoft’un Storage Spaces belgesi aynı ayrımı Windows’un üç düzeni için yapar. Mirror düzenini çoğu kurulum için önerir ve genel amaçlı dosya paylaşımını örnek verir. Parity düzenini arşiv ve yedek gibi çoğunlukla sıralı yazılan iş yüklerine ayırır. Yedekliliği olmayan simple düzeninin ise yalnız geçici ya da kolayca yeniden üretilebilen veride kullanılmasını ister.

Seviyenin yanında iki karar daha verilir. Birincisi hot spare’dir: rebuild penceresinin ne zaman açılacağını o belirler. İkincisi düzenli taramadır: rebuild sırasında okunamayan bir sektörle karşılaşma olasılığını o düşürür.

RAID Yedekleme Değildir

RAID yalnız disk arızasına karşı korur, veri kaybının öteki sebeplerine karşı korumaz. Yanlışlıkla silinen bir klasör bütün disklerden aynı anda silinir. Fidye yazılımının şifrelediği dosya bütün kopyalarda şifrelenir. RAID katmanı yazılan verinin doğru olup olmadığını sorgulamaz, onu yalnız bütün disklere tutarlı biçimde dağıtır. Sunucu yandığında ya da su bastığında dizinin bütün diskleri birlikte gider.

Örnekteki çaycı yanlış bir siparişi yazdığında hata kopya deftere de aynen geçer. Çay ocağını su bastığında asıl defter de kopya defter de aynı raftadır. Hesabı gerçekten koruyan, defterlerin fotokopisinin her akşam binanın dışına götürülmesidir.

Yedeğin kuralları, yani kopyaların farklı ortamda ve farklı yerde durması, veri yedekleme ve felaket kurtarma yazımızın konusudur. Orada da altı çizilen bir ayrıntı var: aynı RAID havuzundaki iki disk iki ayrı ortam sayılmaz. Tek bir RAID dizisinin kurumda nasıl tek nokta arızasına dönüştüğünü single point of failure yazımızda anlattık.

Sonuç: Seviyeyi Rebuild Penceresi Belirler

RAID, bir diskin arızasını işin durmasından ayırır. Seviyeler bu ayrımı farklı bedellerle yapar: RAID 1 ve RAID 10 kapasitenin yarısını, RAID 5 ve RAID 6 küçük yazmalarda ek disk işlemini öder. Seviyeyi seçerken sorulacak soru, bir disk gittiğinde dizinin ne kadar süre ve kaç arızaya karşı korumasız kalacağıdır. Hot spare bu sürenin ne zaman başlayacağını, düzenli tarama da o sürede sürpriz çıkıp çıkmayacağını belirler.

Girişteki benzetmeye dönersek: defterler diskler, satırlar chunk’lar, aynı numaralı satırlar stripe’tır. Siparişi iki deftere sırayla yazmak RAID 0, kopya defter RAID 1, toplam defteri ise parity’dir. Toplamın her sırada başka deftere yazılması RAID 5’i, ikinci toplam RAID 6’yı verir. Defterlerin fotokopisini binanın dışına götürmek ise RAID’in hiçbir seviyesinin yapmadığı iştir: yedek.

RAID Hakkında Sık Sorulan Sorular

RAID 1. İki diskle disk arızasına karşı koruma veren tek seviye aynadır: iki disk aynı veriyi taşır ve biri giderse öteki tek başına çalışır. Bedeli kapasitenin yarısıdır, iki adet 4 TB disk 4 TB kullanılabilir alan verir. RAID 0 aynı iki diskle 8 TB verir, ama disklerden biri giderse bütün veri gider.
RAID 1, 5, 6 ve 10'da durmaz. Dizi degraded duruma geçer ve kalan disklerle çalışmaya devam eder. Bu sırada dizi bir arızaya dayanma payını harcamış olur. RAID 5 ve iki diskli RAID 1, yeni disk takılıp rebuild bitene kadar ikinci bir arızaya dayanmaz. RAID 0'da ise tek bir diskin arızası dizinin tamamını durdurur.
Dört ile sekiz adet büyük diskli bir dizide RAID 6. RAID 5 rebuild süresince ikinci bir disk arızasına ya da okunamayan bir sektöre karşı korumasızdır ve 18 TB'lık bir diskin rebuild'i günler sürer. RAID 6 aynı süre boyunca bir arızaya daha dayanır. Bedeli bir diskin kapasitesidir.
Evet. RAID yalnız disk arızasına karşı korur. Silinen dosya, fidye yazılımının şifrelediği klasör ve bozuk yazılan veritabanı bütün disklere aynı anda yazılır. Yedek ise verinin başka bir ortamda ve başka bir yerde duran, geçmiş bir tarihe ait kopyasıdır. RAID bunların hiçbirini sağlamaz.
İlker Pehlivan
Yazan

BT Danışmanı | Ağ, Sistem ve Güvenlik Yönetimi

İlker Pehlivan, karmaşık BT altyapılarını ölçeklenebilir ve güvenli sistemlere dönüştürür. Buradaki rehberleri kendi laboratuvarında kurup ölçerek yazar.

LinkedIn

Benzer Makaleler

Sunucu Kurulumu: Fiziksel, Sanal ve Raporlu Teslim

Sunucu kurulumu: fiziksel ve sanal sunucu, rol kurulumu, yedekleme ve temel sıkılaştırma. Kurulum yerinde bitiyor, teslim ölçülmüş ve raporlu oluyor.

11 dk okuma

RAID 5 Nedir? RAID 6 ile Farkı ve Hangisi Seçilmeli

RAID 5 nedir, RAID 6'dan farkı ne? Kapasite, küçük yazma maliyeti, rebuild sırasında korumasız kalmak, okunamayan sektör ve hangi diziye hangisi seçilir.

16 dk okuma

RAID Controller Nedir? Donanım RAID ile Yazılım RAID Farkı

RAID controller nedir, donanım RAID ile yazılım RAID farkı ne? Yazma önbelleği ve bataryası, BIOS RAID, HBA modu, Linux md ve Storage Spaces arasında seçim.

9 dk okuma

Sunucu ve Kabinet Taşıma: Veri Merkezi Geçişi Planı

Sunucu ve kabinet taşıma: keşif ve kesinti planı, fiziksel söküm ve montaj, yeni tesiste ağ ve ISP geçişi, sistemlerin doğrulanması ve raporlu teslim.

8 dk okuma

Sunucu ve Storage Satışı: Kapasite, Tedarik, Kurulum

Sunucu ve storage satışı: iş yüküne göre kapasite analizi, rack ve tower sunucu, NAS ve SAN tedariki, kurulum ve garanti süresini izleyen yenileme planı.

7 dk okuma

Dosya Sunucusu ve NAS Kurulumu: Yetki Matrisi ve Güvenlik

Dosya sunucusu ve NAS kurulumu: departman bazlı yetki matrisi, fidyeye karşı sürüm koruması, dosya erişim kaydı ve eski sunucudan izinleriyle veri taşıma.

12 dk okuma