RAID problemi...

[yooyo]

Prvo da navedem konfiguraciju pa cu onda da pricam o problemima...
MB: Intel DQ965DF sa integrisanim Intel RAID kontrolerom
CPU: Core 2 Duo
RAM: 1GB
HDD: 1x Maxtor 320GB (za OS)+ 3x Seagate 500GB (za podatke).
OS: Ubuntu 7.04 (i server i desktop)

Hteo bih da postavim RAID5 sa ova 3 Seagatea i Ubuntu na Maxtora. Problem je sto Ubuntu vidi RAID5 vezu kao 3 odvojena diska umesto kao jedan od ~1TB. Pokusao sam da napravim RAID5 iz BIOS-a kontrolera, pa cak i da ih ostavim u AHCI modu ali bez uspeha... i dalje vidi 3 odvojena diska. Problem sam privremeno resio sa mdadm koji je od 3 uredjaja (/dev/sda, /dev/sdb, /dev/sdc) napravio jedan /dev/md0. Taj novi device sam formatirao u ext3 u mountovao i lepo radi... Ono sto mi smeta je software RAID iako ploca navodno podrzava hardware RAID.

Zanima me da li je noeku uspeo da natera ovakav sistem da radi kao hardware RAID5?

Ako nije moguce naterati ovaj on-board kontroler da radi u hw modu, da li mozete da mi preporucite neki hw PCI-X RAID SATA2 kontroler.

 

[salac]

Prvo da navedem konfiguraciju pa cu onda da pricam o problemima...
MB: Intel DQ965DF sa integrisanim Intel RAID kontrolerom
CPU: Core 2 Duo
RAM: 1GB
HDD: 1x Maxtor 320GB (za OS)+ 3x Seagate 500GB (za podatke).
OS: Ubuntu 7.04 (i server i desktop)

Hteo bih da postavim RAID5 sa ova 3 Seagatea i Ubuntu na Maxtora. Problem je sto Ubuntu vidi RAID5 vezu kao 3 odvojena diska umesto kao jedan od ~1TB. Pokusao sam da napravim RAID5 iz BIOS-a kontrolera, pa cak i da ih ostavim u AHCI modu ali bez uspeha... i dalje vidi 3 odvojena diska. Problem sam privremeno resio sa mdadm koji je od 3 uredjaja (/dev/sda, /dev/sdb, /dev/sdc) napravio jedan /dev/md0. Taj novi device sam formatirao u ext3 u mountovao i lepo radi... Ono sto mi smeta je software RAID iako ploca navodno podrzava hardware RAID.

Zanima me da li je noeku uspeo da natera ovakav sistem da radi kao hardware RAID5?

Ako nije moguce naterati ovaj on-board kontroler da radi u hw modu, da li mozete da mi preporucite neki hw PCI-X RAID SATA2 kontroler.

Intelovi ICH kontroleri koji poseduju RAID podrsku u stvari i nisu pravi hardverski raid kontroleri. Otprilike su daleko od pravih RAID kontrolera isto onoliko koliko su winmodemi daleko od externih serijskih modema. Jasno, postoji neki hardver koji je zaduzen za raid ali generalno gro posla obavlja drajver i CPU, a vrlo malo toga kontrolerska logika.

Posto koristis sata diskove evo ti spisak pravih hardverskih i softverskih SATA raid kontrolera :

http://linuxmafia.com/faq/Hardware/sata.html

poz.

 

[alfaunits]

yooyo, jesi instalirao driver ili za Linux nema driver??
RAID5 definitivno radi na ICH-u, ali sto reche salac nije hardverski - *nix mdraid je negde i bolji cak.

 

[zeleni_zub]

Ono sto mi smeta je software RAID iako ploca navodno podrzava hardware RAID.

Zanima me da li je noeku uspeo da natera ovakav sistem da radi kao hardware RAID5?

Ako nije moguce naterati ovaj on-board kontroler da radi u hw modu, da li mozete da mi preporucite neki hw PCI-X RAID SATA2 kontroler.

Na prvo pitanje su ti već odgovorili - taj kontroler na ploči nije HW RAID kontroler (većinu posla rade drajveri) i veoma teško ćeš ga naterati da radi pod Linuxom (ako je uopšte moguće).

A što se tiče dodatnog SATA2 kontrolera... da li ti treba PCI-X ili PCI Express? U svakom slučaju srećno sa potragom ako ti je hitno. Mi smo skoro tražili PCI Express kontroler za jedan backup server i našli smo samo Arecu ARC-1220 (ja pre toga nikada čuo za Arecu, ali mi je alfaunits rekao da su to dobri kontroleri). Skupo smo ga platili, ali je kontroler stvarno odličan (mnogo bolji od Adapteca, meni se čini da je tu negde sa IBM Serveraidom): web interface, sva moguća podešavanja u BIOSu i što je meni bilo najvažnije drajveri za Linux Evo ga sada radi pod Fedorom 6 kao sat.

Ako ti treba PCI-X kontroler mogu da se nađu Adaptec kontroleri (Asbis uvozi Adaptec i Promise).

 

[Stator]

Jap takvi kontroleri za PCI-E su oko 500 e ja sam uradio SW raid i evo ga radi ko sat vec godinu dana. (Naravno na serveru)

 

[salac]

Ja sam cak negde procitao da se ovakvi 'raid kontroleri' mogu napraviti prakticno od bilo koje ploce uz sitne modifikacije bios-a

Poenta je - u slucaju svih SW raid kontrolera softverski raid u linuxu je isto sto i 'raid' na windowsu koji se dobija formiranjem raid polja iz bios-a i koriscenjem win drajvera . I u jednom i u drugom slucaju sve radi CPU.

Inace pravi hardverski RAID kontroleri na sebi imaju poseban procesor koji oslobadja glavni CPU od bilo kakvog uplitanja u funkcionisanje raid polja (XOR-ovanje, provera parity-ja itd). O performansama je izlisno govoriti

 

[yooyo]

Podigao sam RAID5 pomocu mdadm i za sada lepo radi. Iznervirala me cinjenica da se Intel hvali sa HW RAID-om na ploci a u stvari to je fakeRAID. Pomocu teksta na http://mywheel.net/blog/index.php/software-raid-in-ubuntu/ uspeo sam da namesti soft raid.
U principu... masina sluzi samo kao fileserver i interni web server gde ce se vrteti bugzilla i phpbb. Ne verujem da ce biti nesto mnogo opterecena.
Interesuje me sigurnost ovakvog RAID5 sistema. Ako neki disk crkne da li ce kada ubacim novi disk, OS sam da sredi parity ili moram da se ja cimam oko toga?

U svakom slucaju hvala na brzim odgovorima. Pokusacu da nadjem hw raid kontroler ali ako je preskup odustacu i ostavicu ovakav soft-raid sistem.

 

[alfaunits]

Linux RAID je sigurniji od onboard zavitlancija. Plus imas vecu kontrolu. Moras da se cimas, sem ako nema opcije hot-spare.. (Intel RAID ima cini mi se!)
Intel se ne hvali hardverskim RAID-om na ploci!

 

[Ace Rimmer]

Podigao sam RAID5 pomocu mdadm i za sada lepo radi. Iznervirala me cinjenica da se Intel hvali sa HW RAID-om na ploci a u stvari to je fakeRAID. Pomocu teksta na http://mywheel.net/blog/index.php/software-raid-in-ubuntu/ uspeo sam da namesti soft raid.
U principu... masina sluzi samo kao fileserver i interni web server gde ce se vrteti bugzilla i phpbb. Ne verujem da ce biti nesto mnogo opterecena.
Interesuje me sigurnost ovakvog RAID5 sistema. Ako neki disk crkne da li ce kada ubacim novi disk, OS sam da sredi parity ili moram da se ja cimam oko toga?

U svakom slucaju hvala na brzim odgovorima. Pokusacu da nadjem hw raid kontroler ali ako je preskup odustacu i ostavicu ovakav soft-raid sistem.

Većina (ako ne i svi) RAID čipovi na desktop pločama ne spadaju čak ni u skupinu RAID akceleratora. Ako to i postoji Linux kernel to ne koristi jer kernel developeri kreću od pretpostavke da će današnji CPU te zadaće raditi brže (a možda nije dovoljno dokumentirano ili im je jednostavno tako lakše ). Tako da se preporučuje isključiti u BIOSu RAID opcije i napraviti softverski RAID.

 

[zeleni_zub]

(a možda nije dovoljno dokumentirano ili im je jednostavno tako lakše ). Tako da se preporučuje isključiti u BIOSu RAID opcije i napraviti softverski RAID.

Ovo je verovatno najveći razlog zbog čega nemamo drajvere za razne SoftRAID kontrolere.

 

[alfaunits]

Danasnji procesori mogu nepisano brzhe da rade prosto XOR. Recimo C2D @ 2.33 (single threaded rad) mozhe da obradi XOR 1.5GB/s. Ali tu mu je limit bez obzira na broj XOR-a. Ovo je idealna situacija gde se BUFFER XOR BUFFER2 -> BUFFER radi Ako se radi u BUFFER3 ide sporije.
E, sad, dodajte 4-ti, pa 5-ti disk - vec throughtput opadne < 400MB/s (a posto diskovi ne mogu da rade idealno kao gore vec ima treci buffer, ta brzina za 5 diskova u RAID5 bi bila <300MB/s). RAID6 da ne pominjem.
To je cak jako optimizovan kod, koji ne radi diskove, kad se doda interrupt handling, broj operacija koje se izvrshe... nije nimalo lepo.
E, sad ako se CPU XOR multithreaduje - excellent. DO tada, samo za 3-4 diska vredi.

OVO JE 100% CORE UTILIZATION, pa izracunajte kako je sa 20%

E, da, a XOR ASIC procesori mogu da voze 800MB/s sa 16 diskova, provereno, a ako budem u mogucnosti isprobacu i nove IOP348 koji kazhu da mogu 1.5GB/s

 

[Ace Rimmer]

Inace je C2D zaista imao 100% opterećenje sa RAID5, pisalo se o tome dosta netom nakon što je Intel predstavio Conroe liniju procesora. Performanse su bile u redu, ali CPU bio do kraja opterećen. Iz nekog razloga AMD nije patio od toga. Doduše, Teo Valich je pisao tome, sad sam provjerio .

 

[alfaunits]

To je driver nesto zeznuo tada - a AMD nije imao nista na tom planu, vec nVidia (ATI nisam video da je imao RAID5 na chipsetu pre akvizicije).
Mada ja ne kapiram cemu limitiranje CPU koriscenja, izgleda da ne umeju nijedni da naprave dobar driver