SoftwareRAID pomoc

[mad_max0204]

Napravio sam kombinaciju da od jedne male ploce i procesora napravim NAS, a da pritom ne puknem milione para. Elem, na konfiguraciju se biti povezano 8x 1TB SATA diskova. Posto sam se odlucio za software raid iz razloga sto su iole pristojne kartice za hw raid za 8 diskova 200e pa na gore i sto ako mi ista crkne mogu da molim boga da cu identicnu naci, treba mi pomoc ljudi koji su upuceni u materiju.

Trazim resenje koje ce mi dati fleksibilnost i pouzdanost. Sta to znaci ? Znaci da mi treba provereno resenje za sw RAID 5, a sa druge strane da mogu da ga po potrebi expandujem. Prelistao sam tone tekstova na ovu temu pa reko da se mozda jos dodatno posavetujem.

Od samog software-a mi je izbor pao na FreeNAS. Sada ostaje pitanje samog RAID-a. Koliko sam uspeo da procitam ZFS se cini kao najbolje resenje za ono sto meni treba u kombinaciji sa FreeNAS. Da li neko ima neki drugi savet ? Linkovi ka dodatnim uputstvima pozeljni.

 

[Stator]

FreeNAS odbacuje BSD i ZFS. Tako da je ZFS fakticki sada mrtav projekat do daljeg te ti ne bi saverovao da ides na to.

Odmah da se razumemo fleksibilnost i pouzdanost mozes samo da sanjas sa tim budzetom od malo preko hiljadu evra.
Jedna stabilna opcija je da stavis CentOS na tu masinu i RAID 5. Cak imas i gui prilikom instalacije za pravljenje SW RAID-a.

 

[mad_max0204]

Sta znaci RAID 5 pod CentOS-om ? Da li je to mdadm raid ?

ZFS mi izgleda zanimljivo zbog dual parity opcije i drugacijeg kreiranja samog raid-a,
tj RaidZ2.

 

[Lemilica]

posto i mene interesuje u buducnosti slicna solucija, da ubacim jedno pitanjce:

Da li se u Softverski RAID sistem mogu dinamicki, kasnije, dodavati novi diskovi, konvertovati iz RAID5 u RAID6, ili razbiti RAID, a da se sacuvaju podaci?

Ovo pitam iz perspektive da cu vremenom menjati diskove za novije i vece, ali ne verujem da cu imati kesha da ih menjam odjednom...

 

[Stator]

Sta znaci RAID 5 pod CentOS-om ? Da li je to mdadm raid ?

Svi Linux soft raidovi su isti.

Sto ne probas sa ovako necim http://www.engadget.com/2010/04/06/drobo-fs-finally-data-robotics-releases-a-drobo-nas-drive/

Mislim da ti je to bolje resenje.

 

[mad_max0204]

Mozda zato sto to kosta boga i oca, a ovaj hardware koji planiram za storage
masinu vec imam. I sta ako mi crkne taj drobo ? Gde naci drugi ? Ko ispunjava
garanciju ?

Koliko sam uspeo da iscitam nisu svi linux raid-i isti i zato sam i postavio ovde
pitanje (mozda silno gresim ali covek uci i gresi).

Bacam se za vikend na dalje obrazovanje pa cu da vidim. Vec sam testirao
FreeNAS pod vmware-om i uspeo sam uspesno sa podacima da prosirim single
parity RaidZ. GUI i mogucnosti samog FreeNAS-a mi se jako svidjaju. Sigurno
necu brzati pa da mi zbog toga propadne tona podataka.

Ako imas neke novije how-to ili guide linkove na ovu temu bio bih ti silno zahvalan.
Naravno ako mozes da podelis i tvoje iskustvo sa Linux SW raid-om mnogo bi mi znacilo.

 

[e6111]

ako ti treba gui mozes da probas i openfiler koji koristi linux software raid i lvm.

ne znam sta te tacno interesuje u vezi linux soft-raid-a, ali kolko se secam on ti je uvek ista implementacija linux MD drajvera.

mdadm ti je utility za management linux soft-raid-a (npr. CentOS koristi mdadm utility).

 

[trx]

linux RAID5 i RAID6 su u savremenim verzijama mdadm-a prosirivi. istu tu mogucnosti prosirivanja mora da ima i filesystem koji je na particiji.

ja sam koristio reiserfs, xfs, a sad koristim ext4.
btw, vecina fs-ova ima i nekih dodatnih opcija za optimizovanje rada na RAID-u. xfs uglavnom prepozna sve sam, ext4 ceni kad mu se dodaju stride i stripe-width opcije prilikom kreiranja. -O dir_index takodje pomaze.
noviji kreneli sami prepoznaju RAID prilikom mountovanja, pa se opcije ne moraju dodavati u fstab.
zgodno poboljsavanje performansi se dobija ovime:
echo 8192 > /sys/block/mdX/md/stripe_cache_size
probajte iozone pre i posle toga

flexibilnost i pouzdanost... da, moze CentOS i RAID5... mada, statore, moze i Gentoo i RAID5, veruj mi
evo, pitaj titana

uglavnom, gledajte samo da ne zabodete neki praistorijski kernel i mdadm. u poslednje vreme se mnogo radi na tome (i softraid, a ext4 posebno) i svako novo izdanje donosi znacajne pomake.

[edit]
sad se setih, zgodno je ubaciti i
mdadm /dev/mdX -Gb internal
da se prilikom ispada nekog od diskova ili ne-daj-boze pojave necitljivog sektora ne bi sinhronizovao ceo niz nego samo menjani/nevalidni stripe-ovi.

kao cronjob jednom u ne-znam-koliko moze da se ubaci
echo check >> /sys/block/mdX/md/sync_action
te da se time s vremena na vreme iscita ceo niz i proveri da li su se na nekom od diskova pojavili "pending sectors". ako jesu, a neki drugi disk vrisne, ode ceo RAID.

treca stvar u ovom dodatku, nije lose ispratiti ovaj thread jer govori kako ponasanje desktop diskova prilagoditi RAID okruzenju (sto se tice vracanja greske za citanje umesto beskonacnog cekanja i retry-ovanja):
http://forums.storagereview.com/index.php/topic/28333-tler-cctl/

eh... toliko za sada
[/edit]

 

[mad_max0204]

Evo testirao sam par dana OpenFiler. Mnogo mi je robusniji od FreeNAS-a.
Napravio sam raid iz konzole sa mdadm-om, upeo da uradim grow sa nesto
podataka na njemu i za sada sve sljaka ok. Testirao sam ispadanje diska iz
RAIDa i recovery kao i koriscenje hotspare-a. Sve to radim pod VMware-om
kako bi izbegao rebuild diskova od 1TB sto je suicide definitivno. Jedina losa
stvar sa OpenFiler-om je to sto dolazi sa jako starom verzijom mdadm i ne
znam kako da to update-ujem trenutno.

Masina na kojoj ce sve ovo biti radi stvarno super za sve pare. U pitanju je
E3300 i 4GB DDR3. Problem ce mi jedino biti sto na ploci ima samo 6 sata
konektora ali naci cu vec one PCIe to Sata kartice.

Jedan od problema je taj sto mogu da obezbedim 5 diskova od 1TB za pocetni
RAID niz, ali cu kasnije posle kopiranja podataka morati da idem na expand.
Ne znam tacno koliko je to sigurno ali citajuci dosta o tome kazu da je to danas
normalna stvar na SW raid-u i da sve funkcionise kako treba.

Videcu jos kako stvari stoje. Moram dobro ovo istestirati pre nego sto pocnem
da koristim prave podatke.

 

[trx]

PCIe to SATA mogu da budu ne tako jeftine ako su sa vise od 2 porta.
ja sam svoje nabavio kod telephant-a (digitus).

sto se tice SW raid-a, ovako (fizicki) to izgleda kad se kombinuje vise raznih nizova i neurajdovanih particija na 16 x 1.5TB:

 

[SINTER]

Samo da napomenem da fakeraid radi out of the box na ubuntu 10.04. Ranije je grub2 pravio probleme, odnosno bio je potreban downgrade (i jos neke sitne gluposti). Tako da ako nekome treba dual boot sa windows-om i zeli raid moze sve to da dobije bez imalo truda.

 

[mad_max0204]

Gde si rekao da zivis ?

Salim se. Pogledao sam kod telephant-a ali ne vidim da imaju te digitus
kartice koje spominjes.

 

[trx]

kartice su ove:
http://www.digitus.info/en/products/accessories/?c=1202&p=15608

porucio sam ih kod njih i cekao nekoliko nedelja.
nemaju na stanju, al' mogu da nabave prakticno ceo digitus program, koliko sam ja razumeo...

 

[magick]

@mad_max0204:

Ako bi bio malo određeniji po pitanju namene tog storedža verovatno bih mogao da ti pomognem.

BTW, 4GB RAM-a je strahoviti overkill za NAS. To ima smisla jedino ako ćeš da držiš na njemu neku bazu podataka ili već nešto što može da se (makar parcijalno) kešira u toliki RAM. Ja sam radio sa NAS-ovima koji imaju STR >800MB/s i na stotine MB/s barsta malih fajlova, a da pri tome nemaju više od 256MB RAM-a.

Kao što već napomenuh, ne znam ni koja ti je tačno konfiguracija, ni za šta ćeš koristiti taj NAS, ali takvu (izvini na izrazu) budževinu mogu da podržim samo ako je u pitanju neka neobavezna kućna primena u kojoj je važan kapacitet, a redundansa onako usput. Softverski RAID 5 preko 8 diskova... to ne zvuči obećavajuće. :S

 

[mad_max0204]

@magick

Vidim da ljudi kazu da je raid5 za preko 4 diska problematican pogotovo sto su
danas diskovi od 1TB normalni. Prilikom rebuilda je aktivnost diska najveca i vece
su sanse da crkne i drugi disk. Razmisljam da bi bilo mozda pametno sa tih 8
diskova odmah ici na raid6.
Storage bi koristio za smestanje svega sto mi i sada stoji na diskovima ali bi da
dodam barem neku vrstu redudancije. Do sada nisam imao nikakve probleme sa
svojim diskovima, ali mi je kolicina podataka znacajno porasla i ne zelim da cekam
da se nesto prvi put desi. Zato sam i uzeo te komponente koje imam i namenio
za to sto sam namenio. Zato i jeste "budzevina" kao sto ti kazes ali ne vidim
poentu da sad tu uzimam neki prastari komp iz oglasa cisto da bi imao konfiguraciju
sa 256mb rama. Mozda eventualno stavim samo jedan stap od 2GB rama i to je to.
Namena neka bude tako kao sto si rekao da je kucna upotreba, a redudansa onako
usput. Koje bi bilo tvoje resenje ? Verovatno si vec video da sam testirao openfiler
i freenas jer takvo resenje sa GUI-jem mi najvise odgovara. Sta ti kazes ?

@trx

Iscimacu te jos za savete i uputstva oko optimizacije raid-a

 

[Stator]

Software RAID 6 sa sata diskovima ume da bude bolno spor u nekim slucajevima.

 

[trx]

Software RAID 6 sa sata diskovima ume da bude bolno spor u nekim slucajevima.

pa to jeste, al' on ce taj niz koliko ja shvatam uglavnom koristiti za skladistenje vecih media file-ova, i nece imati toliko mnogo ozloglasenih malih random write access-ova.

@mad_max0204
sto se tice verovatnoce da prilikom rebuild-a RAID-a 5 ode jos neki disk, meni se cini da ona nije nista veca od verovatnoce da bilo koji disk ode prilikom linearnog citanja od pocetka do kraja medijuma.

 

[magick]

@magick

Vidim da ljudi kazu da je raid5 za preko 4 diska problematican pogotovo sto su
danas diskovi od 1TB normalni.

Biće ovo poduži post vidim...

Kod velikih softverskih RAID masiva danas više nije problem zauzeće CPU-a, koji generiše redundansu, već I/O opterećenje južnog mosta, odnosno integrisanih SATA kontrolera. Tih 6 SATA portova, kol'ko imaju noviji Intel južni mostovi, su u stvari realizovani preko dva dvoportna SATA kontrolera i port multiplier-a, koji obezbeđuje dodatna dva priključka (SATA2 & SATA3). To znači da su između tih šest portova neki resursi deljivi, te da ćeš već sa petim diskom imati degradaciju performansi pri simultanom pristupu. A ako svemu tome još dodaš i inegrisani eth adapter dobiješ jedan jako problematičan NAS. :S:

Nisam siguran kakva je situacija sa NVidia, SiS, VIA i AMD čip setovima, ali ne verujem da iko posvećuje pažnju performansama pri simultanom pristupu više od 4 diska na desktop pločama. Od mejnstrim korisnika se jednostavno ne očekuje da imaju ni više od 4 HDD-a, a kamo li 6+ i to vezanih u RAID. JBOD je jedno, ali RAID je nešto sasvim drugo... Tako da, kome to treba taj lepo kupi RAID kontroler i završi pos'o. ,)

Prilikom rebuilda je aktivnost diska najveca i vece
su sanse da crkne i drugi disk. Razmisljam da bi bilo mozda pametno sa tih 8 diskova odmah ici na raid6.

Pitanje je šta ti pokušavaš da zaštitiš. P0rn? :d Šalu na stranu... RAID nije i nikada neće biti zamena za bekap! RAID je rešenje za povećanje performansi i availability-a, odnosno smanjenje downtime-a.

Vidim da ti baš znači da "zaštitiš" svoje podatke, čim ti RAID-6 pada na pamet, pa ti moram napomenuti da bez valjanog UPS-a i eventualno čak i redundantnog napajanja ni ne razmišljaš o write-back keširanju na diskovima u sw RAID-u. Hw RAID kontroleri sa battery back-up modulom su po tom pitanju mnogo zahvalniji/pouzdaniji.

Drugo... ako je u pitanju ploča sa Intel čip setom, valjalo bi da na njoj bude neki ICHxR južni most, ali ne zbog fakeRAID-a (koji nećeš ni koristiti) već zbog pune AHCI podrške (NCQ & hot-swap).

Što se add-on SATA kontrolera za preostale diskove tiče, kod nas ćeš naći samo kartice bazirane na Sil3112 i Sil3114 čipovima, a ni jedan ni drugi ne podržavaju NCQ, tako da je to još jedan korak u nazad u pogledu performansi.

Uzimajući sve to u obzir, nakačiti 6 diskova na ICHx + još dva preko nekog jeftinog SATA-to-PCI kontrolera, pa sve to vezati u RAID-5 ili 6 je po meni totalno suludo, jer je u suprotnosti sa suštinom takvog RAID masiva. Em će performanse biti smešne, em će pouzdanost i portabilnost takvog sistema biti smanjena zbog upotrebe dva različita kontrolera/drajvera.

Mislim, da se razumemo... to će da radi. Ali ja o takvom setapu nemam da kažem ništa pozitivno, niti mi je jasan njegov smisao. :trust:

Storage bi koristio za smestanje svega sto mi i sada stoji na diskovima ali bi da dodam barem neku vrstu redudancije.
...
Namena neka bude tako kao sto si rekao da je kucna upotreba, a redudansa onako
usput. Koje bi bilo tvoje resenje ?

Što se rešenja tiče, nisam siguran kakav savet da ti dam jer mislim da nisi dobro percipirao svoje potrebe.

Ne ide mi u glavu da imaš preko 5TB "veoma važnih" podataka, koji ti mogu zatrebati svakog trenutka (on-line storage), te da si spreman da daš 500-600€ za diskove, a da ti je problem da se otvoriš za još 200-300€ za hw RAID kontroler koji bi rešio dobar deo gore pomenutih problema.

Ako nemaš para ni za jedan takav entry level host RAID kontroler, onda barem pokušaj da racionalizuješ svoje zahteve. Možda da napraviš jedan RAID-5 masiv od 4 diska i na njemu držiš samo neke BAŠ važne podatke, koji ti povremeno trebaju, a ostatak diskova da prosto spanuješ u jedan veliki logički tom? Važne podatke koje ne koristiš često jednostavno drži off-line.

Ukoliko nećeš hw kontroler, a ipak insistiraš na tome da svi diskovi imaju redundansu, te si kol'ko vidim spreman da žrtvuješ dva od osam diskova, onda bih ja išao na dva RAID-5 masiva sastavljena od po 4 diska. Jedan masiv na ICH-u, a drugi na Sil3114 kontroleru koji možeš kupiti kod nas u radnjama za ~35€. Ta dva masiva možeš onda dalje spanovati u jedan veliki logički tom ili ih pak particionisati i montirati kako ti odgovara. Glavno je da ne preopterećuješ ICH pogotovo ako ćeš da koristiš i njegov integrisani Gbit LAN.

BTW, da li si razmišljao o unRAID-u?

Verovatno si vec video da sam testirao openfiler i freenas jer takvo resenje sa GUI-jem mi najvise odgovara. Sta ti kazes ?

Openfiler bez dvojbe. Pogotovo ako ćeš se na taj NAS kačiti i sa nekog Windows-a preko SMB-a.

 

[trx]

uh, bre, nacrne mi setup :d

(odmah ogradjivanje: just my 2 cents)

ok, naravno da sw resenje ne moze da se meri sa hw resenjem globalno gledano, ali za njegove potrebe je po meni sw sasvim ok.
ono sto mozda nece imati jeste ludacku brzinu i potpuno iskoriscenje sekvencijalne brzine pristupa diskovima.

s druge strane gledano, imace vise nego dovoljno brzine za sve sto njemu treba. da ne govorimo o tome sto ce konkurentnost pristupa biti max 2.

sto se Intel-ovog SATA kontrolera tice, jeste da s povecanjem diskova postaje usko grlo, al' to niko ko koristi taj kontroler ne bi trebalo da oseti. mozda nece moci da izvuce 250MB/s po portu, mozda ni 150MB/s, al' ce biti vise nego zadovoljan kad dobije 60 - 70 MB/s po portu. u najsporijem slucaju tj. RAID6 setup-u sa 8 diskova bi to znacilo nekih 60 * 6 = 360MB/s korisnih podataka. gigabitni LAN moze da mu prenese svega 100MB/s. kapiram da ce mu sve to biti sasvim ok.

recimo, kod mene lepo radi sistem sa 2 gigabitna LAN-a (ima ih jos, al' ova dva su iole optereceni). 6 diskova su na famoznom ICH9R, dva na marvell-u integrisanom na plocu, i jos 8 na dve dodatne PCI-E x4 kartice bazirane na marvell-ima. blago poboljsanje performansi nizova na PCI-E karticama sam dobio stavljanjem istih u PCI-E 8x slotove namenjene za graficke. time se preskocilo usko grlo PCI-E bridge-a na southbridge-u Asus-a P5Q Premium koji obezbedjuje dodatne PCI-E slotove. PCI-E x8 slotovi su nakaceni na north bridge. elem, kad pustim check svih nizova istovremeno, u nekom od trenutaka svi diskovi pocnu da se citaju istovremeno. tu se moze nazreti teoretski maximum linearnog citanja, jer ipak ima malo mrdanja glava (OS radi na istim tim diskovima i ima dosta aktivnih servisa), a to mrdanje glava ubija performanse EcoGreen-a F2 veoma efikasno. :eyebrows:
i, tako dodjosmo do:

sto nam grubo daje nekih ~75MB/s na svih 16 diskova. ponovo grubo, dolazimo do ~450MB/s za 6portni Intel ICH9R. sasvim dovoljno za kucnu upotrebu.

@writeback cache & ups
ups je uvek dobar i apsurdno je praviti bilo kakav storage, pa makar i da nije RAID, bez njega. medjutim, savremeni filesystem-i se dosta dobro oporavljaju od chupanja iz struje, a sa default konfiguracijom vecine linux-a i trenutnim velicinama bafera na diskovima (16 do 64MB), tesko da ce neko izgubiti vise od 5 sekundi upisa koji je upravo bio u toku. ovde se ogradjujem od XFS-a.
ponovo, mislim da ce on sa tog niza mnogo cesce chitati, a ako nesto propadne prilikom upisa, bice toga svestan odmah i ponovice upis.
nazad na pocetak: obavezno ups!

:wave:

 

[magick]

uh, bre, nacrne mi setup :d

Kol'ko sam ja shvatio ti imaš gomilu diskova u JBOD režimu, a ne soft RAID-5 preko njih 16. :trust:

ok, naravno da sw resenje ne moze da se meri sa hw resenjem globalno gledano, ali za njegove potrebe je po meni sw sasvim ok.
ono sto mozda nece imati jeste ludacku brzinu i potpuno iskoriscenje sekvencijalne brzine pristupa diskovima.

Potpuno mašiš poentu. Prednost hw kontrolera nije (samo) brzina već failure management, a kada su performanse u pitanju... ako kontroler ima keš, onda će imati prednost u random pristupu (a naročito upisu), a ne u sekvencijalnom.

Kod ICH9R svaki SATA port ima svoj DMA endžin, a i brzine SATAII protokola su tolike da se ne daju zagušiti mejnstrim 7200 diskovima. Ipak, kada je simultani pristup u pitanju (kao kod RAID-5) tu se već sa petim diskom pokaže ko kosi a ko vodu nosi.

da ne govorimo o tome sto ce konkurentnost pristupa biti max 2.

Ne ako bude koristio RAID-5.

sto se Intel-ovog SATA kontrolera tice, jeste da s povecanjem diskova postaje usko grlo, al' to niko ko koristi taj kontroler ne bi trebalo da oseti. mozda nece moci da izvuce 250MB/s po portu, mozda ni 150MB/s, al' ce biti vise nego zadovoljan kad dobije 60 - 70 MB/s po portu. u najsporijem slucaju tj. RAID6 setup-u sa 8 diskova bi to znacilo nekih 60 * 6 = 360MB/s korisnih podataka.

Ufff... Taman da pričaš o sekvencijalnom očitavanju i to u idealnim uslovima sa najbržim 7200 diskovima koji danas postoje to ne bi bilo tačno.

RAID-5 sa šest 7,2k diskova na ICH9R u sintetičkim testovima može da pokaže brzinu očitavanja između 300 i 800 MB/s i to sa većim fajlovima, ali su to očitavanja iz keša, dok u realnosti jedva izvlači i 200MB/s STR, a upis mu je nebuloznih 4-5 MB/s!!!

Informiši se prvo ili probaj sam pa onda pričaj.

gigabitni LAN moze da mu prenese svega 100MB/s. kapiram da ce mu sve to biti sasvim ok.

Sve zavisi šta radi. Ako bude strimovao neki video sa tog NAS-a može lako da mu se desi da mu svako malo film štuca. Čak i sa SD materijalom, a o HD-u da ne govorim...

recimo, kod mene lepo radi sistem
...
sto nam grubo daje nekih ~75MB/s na svih 16 diskova. ponovo grubo, dolazimo do ~450MB/s za 6portni Intel ICH9R. sasvim dovoljno za kucnu upotrebu.

Opet ti ponavljam, to je u slučaju JBOD-a ili strajpa (RAID-0), ali da si povezao diskove u softverski RAID-5 kao što mad_max0204 hoće, ne bi bio tako optimističan.

@writeback cache & ups
ups je uvek dobar i apsurdno je praviti bilo kakav storage, pa makar i da nije RAID, bez njega. medjutim, savremeni filesystem-i se dosta dobro oporavljaju od chupanja iz struje, a sa default konfiguracijom vecine linux-a i trenutnim velicinama bafera na diskovima (16 do 64MB), tesko da ce neko izgubiti vise od 5 sekundi upisa koji je upravo bio u toku. ovde se ogradjujem od XFS-a.
ponovo, mislim da ce on sa tog niza mnogo cesce chitati, a ako nesto propadne prilikom upisa, bice toga svestan odmah i ponovice upis.
nazad na pocetak: obavezno ups!

Prvo, RAID funkcioniše ispod nivoa fajl sistema, tako da tu žurnal ništa ne pomaže kada dođe do inkonzistencije. Drugo... nije bitno koliko će podataka ostati "izgubljeno" u baferu diska već ćinjenica da će doći do degradacije ili pak potpunog pucanja RAID-5 niza, a ne fajl sistema.

Softverski RAID-5 i write-back keširanje su veliki no-no! :crash:

Čovek je spreman da žrtvuje i dva diska za redundansu, jer je zabrinut za bezbednost svojih podataka... Nemoj ga dezinformisati.

Na kraju, dolazimo do suštine... Ako hoćeš neki viši RAID nivo (od prostog strajpa i/ili mirora) sa preko >4 diska, kupi hw RAID kontroler. Sve drugo je teeeško budženje, koje obično ima veoma neprijatne posledice.

Pozdrav!

 

[mad_max0204]

@magic

Mislim da nisi razumeo trx-a jer on koliko sam ja razumeo ima raid5 na tim diskovima.
Poenta mog izbegavanja HW raid kartica je visoka cena i na dalje staze problem oko
crkavanja istog. Prvo sto kod nas u zemlji ima 10tak razlicith vrsta hw raid kontrolera
u magacinima razlicitih firmi, a drugo sto od tih 10 imaju vise od jednog komada za
recimo 2 vrste. Tu lezi problem koji definitivno zelim da izbegnem: sta kad mi posle
nekog vremena crkne taj isti raid kontroler ? Ako ne nadjem isti, sto je kod nas malo
verovatno, mogu da zaboravim na podatke ?
Te digitus kartice nisu na Sil chipsetu nego na Marwell koliko sam video. Sto se tice
diskova i ostalog hardware-a to sam vec napomenuo da to SVE VEC IMAM. Znaci ne
ulazim u ovu pricu kako bi bacio 600e na diskove nego hocu da iskoristim hw koji vec
imam. Trenutno su mi diskovi prikaceni na masinu koja vrti VM-ove i preko gigabitne
mreze imam odlican protok i sto si spomenuo gledanje HD materijala ide bez problema.
Sto se tice klijenata nece biti vise od 5 u isto vreme. Sitnih fajlova ima ali to je sve
samo pristupanje obicnom storage-u. Znaci brzina mi nije presudna ali opet ne verujem
da ce biti ni toliko losa. Sto se tice UPS-a i to vec imam tako da ni to nije problem.
Jedino ulaganje trenutno koje bi moglo da se uradi jeste neko redudantno napajanje.
Koliko to kosta ne znam ali mislim da mi nije potrebno.
Sto se tice brzine upisa koju si spomenuo od 4-5 mb/s u to ne verujem ali cu morati
da uradim neki test kako bi istu izmerio. Za Gbit LAN se ne brinem. Ako vidim potrebu
da dokupim Gbit karticu to je barem jeftino.
U tvojim postovima i dalje postoji neka doza podsmeha sto ovako nesto zelim da napravim
kod kuce. Ne razumem zbog cega mislis da, ako vec imas sav potreban hardware, nije
dobro napraviti storage sa SW raid-om ? I da zelim p0rn da cuvam kao sto si rekao to
bi bila moja stvar. Jeste suludo ali verujem da ima ljudi koji i to rade. Izvini, ali mislim da
ne moram da trazim i iznosim opravdanje za sve ovo. Moja zelja je da samo dobijem vasa
misljenja i pokupim iskustva i savete. Svaki konstruktivan predlog kao i konstruktivna
kritika je nesto sto cenim i za to ti hvala, kao i svima koji su se u ovu temu ukljucili.
Vidim da potenciras HW raid i svestan sam toga. Do pre dve godine sam bio u serverskom
hardware svetu i jasne su mi sve prednosti i mane hw raid-a. Citajuci po netu sam i dosao
do toga da isprobam sw raid i posle svega sam se ipak odlucio da isti implementiram za
svoju kucnu upotrebu. Jedno od bezbednih resenja na koja sam do sada nailazio je bila
redudantna kombinacija dva hw raid kontrolera. Ovo je za servere kojima je namena high
availability, high performance i high data loss protection. Ovakve masine su preskupe i
nikako ne opravdavaju cenu u manjim okruzenjima.
Ponovo ti skrecem paznju da potreban hw vec imam i da samo zelim da resim problem sta
ako mi crkne recimo disk sa 1TB podataka sta god da su ti podaci ?

 

[salac]

Pa zabodi onda te diskove, poteraj neki NAS distro, napravi raid5 ili koji god hoces raid, uradi hdparm & bonnie & pisanje/brisanje po diskovima te javi rezultate.

Ako si nezadovoljan izgubio si jedno popodne a naucio dosta A i mi cemo, eto, da saznamo nesto iz prve ruke -> svi na dobitku.

 

[duksa88]

najace bi bilo da ovaj raid podeli jos na particije heheheh
A da ne ispadnem glup 2Gbx4=8Gb...
Veca je verovatnoca da ce da ti crkne 1od 8 nego jedan od 4, a po meni i da ce da crknu 2 od 8 a ne 1 od 4.
Plus navedi koji su ti diskovi, ako imas neki sa 4 ploce znaci 8 glava veselo... Prodaj to , kupi sto vece diskove, stavi u raid 1+0 i najmirniji si
Nikola

 

[magick]

Mislim da nisi razumeo trx-a jer on koliko sam ja razumeo ima raid5 na tim diskovima.

sto se tice SW raid-a, ovako (fizicki) to izgleda kad se kombinuje vise raznih nizova i neurajdovanih particija na 16 x 1.5TB:

Čovek lepo kaže da ima "više raznih nizova i neurajdovanih particija". Ja nisam razumeo da i jedan od tih nizova podrazumeva RAID-5 sa ≥6 diskova... a pogotovo ne na diskovima koji su zakačeni na ICH9R. :trust:

Poenta mog izbegavanja HW raid kartica je visoka cena i na dalje staze problem oko crkavanja istog. Prvo sto kod nas u zemlji ima 10tak razlicith vrsta hw raid kontrolera u magacinima razlicitih firmi, a drugo sto od tih 10 imaju vise od jednog komada za recimo 2 vrste. Tu lezi problem koji definitivno zelim da izbegnem: sta kad mi posle nekog vremena crkne taj isti raid kontroler ? Ako ne nadjem isti, sto je kod nas malo verovatno, mogu da zaboravim na podatke ?

To kod hw kontrolera jeste jedna nepogodnost, ali mislim da preteruješ... Kontroleri jako retko crkavaju, a i imaju poduže garancije - kupuj brand name i kupuj kod velikih domaćih firmi. Sa druge strane ako ti crkne ploča, masiv sa hw kontrolerom ćeš mnogo lakše portovati na drugi računar nego sw masiv.

Inače, svaki LSI kontroler će moći da pristupi masivu kreiranom na LSI kontroleru, a isto važi i za Adaptec... Uostalom, danas sve više proizvođača popušta pred zahtevima tržišta i nude softverska rešenja za pristup podacima na masivima kreiranim sa njihovim hw kontrolerima. BTW, kontroler za koji sam ti dao link je host based, što znači da koristi CPU/drajver za svoje operacije.

Da se razumemo... nije ovo "SW RAID vs HW RAID" polemika, već ti govorim da je za NAS sa RAID-5 ili RAID-6 masivom od ≥6 diskova namenski raid kontroler jedino razumno rešenje (pa makar on bio i HBA), odnosno da ICH9R nikako nije!

Te digitus kartice nisu na Sil chipsetu nego na Marwell koliko sam video.

Te Digitus kartice nisu u slobodnoj prodaji već se moraju poručivati, a ni trx nam nije rekao njihovu cenu pa sam se zato uhvatio za ove Sil. Enivej, svakako bih ti preporučio da uzmes tu Digitus karticu, pa makar bila i >50€.

Sto se tice diskova i ostalog hardware-a...

Pa jedino da si taj sav hw dobio na poklon... Opet kažem, imaš dosta vrednog hardvera i hoćeš da praviš ozbiljan NAS, a problem ti je da se otvoriš 200-300€ za kontroler!?!? :trust:

Bilo kako bilo, tu smo gde smo... Još jednom ti ponavljam: ako popuniš svih 6 SATA portova na ICH9R južnom mostu imaćeš problema sa RAID-5 performansama, kao i radom integrisane mrežne karte. To su dobro poznate činjenice i Internet je pun primera i svedočenja ljudi koji su to probali.

UPS sam morao da ti spomenem jer sw RAID-5 sa write-back keširanjem generalno nije baš najpametnija stvar, a bez UPS-a je ludost.

Sto se tice brzine upisa koju si spomenuo od 4-5 mb/s u to ne verujem ali cu morati da uradim neki test kako bi istu izmerio.

Pa možeš ti da veruješ ili ne veruješ u šta hoćeš, ali je to tako... Stavi 6 diskova na ICH9R i kreiraj RAID-5, pa vidi kol'ko ćeš da dobiješ u sintetičkim testovima, a kol'ko ćeš realno moći da povučeš kroz mrežu, naročito sa nekoliko konkurentnih konekcija. Ljudi su viđali brzine upisa i ispod jednog MB/s!!! :sceptic:

U tvojim postovima i dalje postoji neka doza podsmeha sto ovako nesto zelim da napravim kod kuce.

Ne, ne, ne... doza podsmeha bi postojala da želiš da napraviš soft RAID-5 sa šest diskova na ICH9R bilo gde, a ne samo kod kuće! :d

Ne razumem zbog cega mislis da, ako vec imas sav potreban hardware, nije dobro napraviti storage sa SW raid-om ?

Da parafraziram... Ako već imam Cosworth motor od 450ks, zašto misliš da nije dobro strpati ga u Trabanta koji mi trune u dvorištu? Mislim, imam taj hw pa imam...

I da zelim p0rn da cuvam kao sto si rekao to bi bila moja stvar. Jeste suludo ali verujem da ima ljudi koji i to rade. Izvini, ali mislim da ne moram da trazim i iznosim opravdanje za sve ovo.

Ne moraš ti nikome da se pravdaš ili objašnjavaš, ali ti ja iz najbolje namere ukazujem da nelogičnosti u tvojim zahtevima.

Šala za p0rn, koju si ti okarakterisao kao podsmeh, se odnosila na tvoje pitanje za RAID-6, a ne na to što želiš NAS kod kuće. Kao što već rekoh, RAID se koristi za povećanje availability-a, a ne kao zamena za bekap. Pitam se prosto da li (iz neiskustva) malo preteruješ kada ceniš da ti treba jedno 5TB podataka on-line (da budu stalno i brzo dostupni). A ako je to tako, onda ćeš za to morati i adekvatno da platiš... Svako budženje nosi ogroman rizik i ako već toliko vrednuješ svoje podatke na kraju će te izaći skuplja dara nego mera.

(Nekada i budževina može da prođe, al' i to treba znati kako se radi.)

Moja zelja je da samo dobijem vasa misljenja i pokupim iskustva i savete. Svaki konstruktivan predlog kao i konstruktivna kritika je nesto sto cenim i za to ti hvala, kao i svima koji su se u ovu temu ukljucili.

Onda poslušaj šta ti kažem: za soft RAID-5, koristi samo 4 porta na ICH9R i to portove 0, 1, 4 i 5.

Soft RAID-6 zaboravi, a ako hoćeš redundansu na svih 8 diskova... napravi dva RAID-5 masiva od po četiri diska. Jedan na ICH9R, a drugi na tom Digitus kontroleru, ili koji već nađeš. Jeste da takvo rešenje neće imati isti nivo zaštite kao RAID-6, ali je po meni prihvatljiv kompromis jer će imati mnogo bolje performanse. Opet, to samo pod uslovom da uključiš wb keširanje na diskovima i kontroleru, što je pak rizik za sebe i podrazumeva da imaš smart UPS koji će flašovati keš i isključiti wb kada detektuje da je došlo do nestanka struje, a potom i lepo ugasiti računar pre nego što se isprazni.

Vidim da potenciras HW raid i svestan sam toga.

Ne potenciram ja HW raid, već ti kažem da je on jedino razumno rešenje za RAID-5 ili RAID-6 niz od 8 diskova.

Ponovo ti skrecem paznju da potreban hw vec imam i da samo zelim da resim problem sta ako mi crkne recimo disk sa 1TB podataka sta god da su ti podaci ?

I opet... RAID nije zamena za bekap!!!

BlueRay medijima pada cena i uskoro će postati mnogo racionalnije rešenje za pouzdano arhiviranje podataka. Znam da je HDD mnogo praktičniji, ali ako je bekap u pitanju onda ga barem drži off-line inače on nema mnogo smisla.

Na kraju krajeva... Kao što Salac reče... Ako već nikome ne veruješ (a imaš o tome dosta na netu), uzmi sam pa probaj i javi rezultate. Ja sam samo hteo da ti uštedim vreme i sačuvam te od mogućih neprijatnosti. :crash::eyebrows:

P.S. Poslušaj duksa88... nešto mi se čini da zna šta govori. :eyebrows:

:wave:

 

[mad_max0204]

@duksa88

Svih deset koje imam su WD Black (WD1001FALS).

 

[duksa88]

@duksa88

Svih deset koje imam su WD Black (WD1001FALS).

pa to je malko bolje nego da su blue ali daleko od toga da ti je to neko osiguranje.
Ako mozes smanji broj diskova drugo su ti vec rekli, ima par vrlo korisnih...
Moze da se desi da namestis sve a ono sporije nego jedan disk da radi...

 

[magick]

Svih deset koje imam su WD Black (WD1001FALS).

To su diskovi sa 3 ploče, odnosno 6 glava... Unutra su ploče od 333GB, a uskoro će se pojaviti i diskovi sa pločama skoro duplo većeg kapaciteta (640GB). To znači da bi isti kapacitet storedža mogao da postigneš sa duplo manje diskova...

Tih deset diskova od po 1TB bi baš lepo mogli da se zamene sa četiri od po 1,92TB i jednim od 2,56TB - i još bi bio 250GB u plusu, a ni ne bi morao da kupuješ nikakve dodatne kontrolere.

Ne znam za koje pare bi mogao da prodaš te tvoje i koliko bi morao da doplatiš za neke buduće 1,92TB diskove, ali je to svakako mnogo bolja investicija nego kupovina nekih add-on SATA kontrolera i manevrisanje sa softverskim RAID-6 na osam diskova.

BTW, trx ti je već napomenuo da postoji problem sa (WD) desktop diskovima u RAID-u i obratno, sa RE diskovima u desktop primeni... Ja imam ličnih iskustava na tu temu, ali samo sa hardverskim RAID kontrolerima, međutim mislim da bi ti wdtler alat mogao koristiti i kod sw RAID-a pa ga potraži na netu.
:wave:

 

[lud i zbunjen]

Prvo, RAID funkcioniše ispod nivoa fajl sistema, tako da tu žurnal ništa ne pomaže kada dođe do inkonzistencije. Drugo... nije bitno koliko će podataka ostati "izgubljeno" u baferu diska već ćinjenica da će doći do degradacije ili pak potpunog pucanja RAID-5 niza, a ne fajl sistema.

Softverski RAID-5 i write-back keširanje su veliki no-no! :crash:

Охо... свиђа ми се тематика па бих мало да испитам детаље, ако се слажеш. Ако занемаримо перформансе... што се тиче поузданости, да ли би RAID-5, у комбинацији са Ext4 са journal checksum-имам и укљученим баријерама и новијим кернелом који их подржава, требало да пати од исте бољке коју си описао? Мени се чини да не би требало, јер - какав год да је резултат опоравка од губитка напона, резултујући фајл систем би требало да има исправно регенерисани journal, а због баријера би и подаци требало да буду исправни.

Е сад, то је у теорији, а у пракси - свежи кернел, извесни багови... А да ми наговоримо овог човека да све то мало тестира па да јави како ради? Идеално би било и да му повремено гасимо струју, али ајде прво корак по корак... :eyebrows:

 

[alfaunits]

međutim mislim da bi ti wdtler alat mogao koristiti i kod sw RAID-a pa ga potraži na netu.
:wave:

Mislim da wdtler (wdidle) ne radi sa skoro svim WD 2TB diskovima. Cisto da se zna.

 

[Deleted member 9456]

Nesto mi tu smrdi, toliko forsiranje RAID-5 ili RAID-6 sistema a onda banalnost sta bi bilo kad bi nestalo struje. Mislim da ta varijanta nestanka struje ne sme da se desi, ako ulozi tolike pare u sve to onda neka ulozi pare i u pouzdan i snazan UPS.