FreeNAS - lose performanse

[kovacm]

Pozdrav,
imam FreeNAS vec neko vreme i nikako da resim problem losih performansi.

Iz slike slike se najbolje vidi sta je problem:

Kad upalim FreeNAS i krenem da kopiram nesto na njega, prvih 10tak minuta imam 60-70MB/s, kako se memorija popuni (8GB RAMa) tako transfer padne na oko 4MB/s i tu je kraj. Tek nakon paljenja i gasenja FreeNASa situacija se popravi, tj ceo ciklus krene iz pocetka: dobar transfer u pocetku (60-70MB/s), kad se popuni memorija, transfer padne na 4MB/s.

U pocetku sam imao 4GB; posto sam video da je preporuka min. 8GB za ZFS - prosirio sam RAM na 8GB i opet sve isto.

* CPU i ploca su: MSI E350IS-E45 (AMD E-350 APU 1.6GHz, Dual-Core); iz grafikona se vidi da CPU nikada ne prelazi 30-40%!

* Imam 3 x 2TB WD harddiskova (ukupno 6TB). ZFS je na njima.

* Ista stvar se desava bez obzira da li koristim SMB (CIF) ili AFP (Mac OS X).

* FreeNAS je instaliran na CF karticu od 4GB klase i spojen preko citaca (mnogo brza varijanta od USB stickova)


100% sam siguran da je problem u memoriji ali nemam ideju kako da ga resim.
Takodje mi nije jasno zasto se odmah prilikom boota formira swap od 6GB i gde se on uopste fizicki nalazi (?!?)


btw sta se desava ako ZFS pukne?
da li se to nekome desilo?
kakva je procedura?
sta ostane od fajlsistema i fajlova?
da li postoje neki alati za vracanje podataka?
....

 

[Dzoni_m]

Ja pak mislim da ti imas problem sa procesorom. Predpostavljam da ti je share CIFS. Problem je sto CIFS koristi SAMBA a SAMBA je single threaded aplikacija. Zato ti i ne prikazuje da je procesor zauzet, a posle inicijalnog kesiranja u RAM-u koje popunis, treba jos i ZFS algoritme da racuna. E tu zakuca. Imas to objasnjeno na strani 170. dokumentacije http://web.freenas.org/images/resources/freenas9.2.1/freenas9.2.1_guide.pdf
FreeNAS je zahtevan. Veoma zahtevan. Svega mora da ima, i RAM i proc i dobre mrezne adaptere.

BTW, preporuka je da instalacija ide na USB stick, ne SD kartice, nije stvar u brzini, stvar je u adapterima (citacima).

 

[alfaunits]

Kada ti se ovo desava, mislim nakon koliko vremena koriscenja i kakvog koriscenja? (zanima me cisto)

 

[Almir]

8gb je minimum, koju verziju koristiš? ja bi ostao na stiku....sigurno je problem u hw..ili ti je nešto pokupio od prijašnjeg setupa kad si imao 4gb rama

 

[kovacm]

Ja pak mislim da ti imas problem sa procesorom. Predpostavljam da ti je share CIFS.

napisao sam u prvom postu: "Ista stvar se desava bez obzira da li koristim SMB (CIF) ili AFP (Mac OS X)." (mada ne znam koliko je AFP zahtevan po pitanju CPUa; ali ni to nije bitno jer je poenta u: *)

Problem je sto CIFS koristi SAMBA a SAMBA je single threaded aplikacija. Zato ti i ne prikazuje da je procesor zauzet

kako mislis "zato mi ne prikazuje da je CPU zauzet"?

ako pogledas grafikon zauzetosti procesora videces da skala ide od 0 do 120% - pretpostavljam da 200% znaci zauzetost oba cora a 100% zauzetost samo jednog.
Na mom grfikonu se CPU zauzetost vrti oko 20% nonstop (sa jednim peak-om od skoro 80%)...

dakle ili FreeNAS ne prikazuje pravilno zauzetost CPU ili nije problem u CPU.

a posle inicijalnog kesiranja u RAM-u koje popunis, treba jos i ZFS algoritme da racuna. E tu zakuca. Imas to objasnjeno na strani 170. dokumentacije http://web.freenas.org/images/resources/freenas9.2.1/freenas9.2.1_guide.pdf

* hvala na linknu! :wave: tu lepo pise:

"AMD C-30s\E-350\E-450 will not be able to achieve more than about 30-40MB/sec typically." a ja imam 4MB/s... sa 30-40MB/s bih bio presrecan!

BTW, preporuka je da instalacija ide na USB stick, ne SD kartice, nije stvar u brzini, stvar je u adapterima (citacima).

nisam napisao SD nego CF kartica.
CF kartica je u sustini IDE - uglavnom se dobro nosi sa non-sequential pisanjem/citanjem male kolicine podataka (ono sto treba kad imas OS na USB memoriji) dok se USB flash memorije uglavnom pogube i uspore. Sigurno mozes naci USB memory stick koji je dobar ali ja nisam uspeo. Imao sam Mac OS X na USB stickovima i na CF kartici i razlika je nebo i zemlja!

i naravno, u pravu si sto se tice adaptera: od 3 CF citaca, samo mi jedan radi kako treba (Transcedent).

hvala na odgovoru.

 

[kovacm]

Kada ti se ovo desava, mislim nakon koliko vremena koriscenja i kakvog koriscenja? (zanima me cisto)

pa napisao sam ali da pojasnim:

kad upalim FreeNAS najverovatnije moze da stoji danima ako ga ne koristim ali kad pocnem da kopiram npr. 100GB podataka desice se ono sto sam napisao:

prvih 10tak minuta imam 60-70MB/s, kako se memorija popuni (8GB RAMa) tako transfer padne na oko 4MB/s i tu je kraj. sve dok ne iskopira do kraja tih 100GB transfer ce ostati 4MB/s (sve se lepo vidi sa grafikona koji sam okacio).

fazon je da do sada nisam kopirao nikad tako puno podataka u cugu; ranije sam kopirao po par GB tako da nisam ni primetio da postoji problem.
izgleda da se FreeNAS ipak oporavi tj. da mu ne treba reset vec da sam isprazni memoriju nakon zavrsenog kopiranja posle nekog vremena.

 

[kovacm]

8gb je minimum, koju verziju koristiš? ja bi ostao na stiku....sigurno je problem u hw..ili ti je nešto pokupio od prijašnjeg setupa kad si imao 4gb rama

moguce da je i do softwarea a moguce i da je do hardwarea

u svakom slucaju mogu napraviti novu cistu instalaciju. da li je dovoljno nakon toga uraditi samo auto-import volumes, ne moram nista da specijalno da sacuvam pre reinstalacije?

 

[yooyo]

Da li je zaista 10 minuta? Ako puniš ram sa 60mb/sec, onda ćeš za skoro 2min napuniti 8gb. On prazni memoriju da 4mb/sec što znači da će za 2 minuta osloboditi ~500gb.
Meni se čini da je tu problem sa upisom na diskove.

 

[alfaunits]

pa napisao sam ali da pojasnim:

kad upalim FreeNAS najverovatnije moze da stoji danima ako ga ne koristim ali kad pocnem da kopiram npr. 100GB podataka desice se ono sto sam napisao:

Sad videh da je kopiranje NA NAS. Na ignore listi si mi, pa moram da pogledam poneku poruke posebno
Ako je sa kompa na NAS, onda je ovo sto rece yoyo, usporenost pri upisu na diskove, tek kada nestane cache-a. Neki parametar za upisivanje nije dobar, i dok cache moze da zadrzi podatke, on to radi, i ti dobijas dobre brzine, medjutim kad se popuni, on radi koliko moze lazy write, ali zbog toga ne moze da ide vise od 4MB/s od tog trenutka.
To je tipican problem cache-a, i inace, ovo ti je odlican nacin da izgubis previse podataka, ako dodje do nestanka struje - sve sto je u cacheu, cao zdravo.

Ono sto je cudno je da je izgleda write-through cache, ali dobijas write-back performanse na pocetku, sto uopste nema smisla! Kako si konfigurisao ZFS volume konkretno?

EDIT: Vidim u drugoj temi da nemas nikakve redudance, a i cache utilization na graficima nije uopste veliki, pa je ovo izgleda preveliko koriscenje memorije ZFS-a za optimizaciju internih struktura.
Izem ti file system kome treba vise memorije nego radna stanica za AutoCAD

 

[orange47]

@kovacm
ako si u mogucnosti, probaj NFS.

 

[ness1602]

Ne znam dal mozes da vidis dirty pages koliki ti je?
Tamo je visok procenat kad NAS ne uspeva da iz memorije upise na disk(spori diskovi, itd itd).
FreeNAS preporucuje gb po Tb, kao minimum.
E-350 bi trebao za obican fileserver da radi ok.

 

[kovacm]

Da li je zaista 10 minuta? Ako puniš ram sa 60mb/sec, onda ćeš za skoro 2min napuniti 8gb. On prazni memoriju da 4mb/sec što znači da će za 2 minuta osloboditi ~500gb.
Meni se čini da je tu problem sa upisom na diskove.

steta sto grafikoni koje sam okacio nisu interaktivni pa ne mogu da se zumiraju
ali rekao bih da je vreme dok ne uspori transfer oko 5 min. (***, nisam sedeo sa stopericom)

Sad videh da je kopiranje NA NAS. Na ignore listi si mi, pa moram da pogledam poneku poruke posebno

sta bi tek bilo da nisam?? ti si skoro uvek prvi koji odgovori na moj post/temu
pre bih rekao da sam ti u favorites listi

btw u svakom slucaju hvala na odgovorima i sugestijama!

Neki parametar za upisivanje nije dobar, i dok cache moze da zadrzi podatke, on to radi, i ti dobijas dobre brzine, medjutim kad se popuni, on radi koliko moze lazy write, ali zbog toga ne moze da ide vise od 4MB/s od tog trenutka.

stvarno?!??????????????

nikad ne bih rekao da je to problem...

:|

aj sad malo ozbiljnosti

ocigledno je da se usporenje desi nakon sto se napuni RAM (kao sto sam napisao u prvom postu).
1. menjao sam parametre FreeNASa (tunatables) i dobio oko 10MB/s. (menjao sam cache size za network i za disk)
2. bilo bi dobro ako neko zna kako interno da iskopiram podatke sa diska na disk u FreeNASu? (cp + stoperica ili ima neki util? izguglacu svakako...)

To je tipican problem cache-a, i inace, ovo ti je odlican nacin da izgubis previse podataka, ako dodje do nestanka struje - sve sto je u cacheu, cao zdravo.

nisam ja to setovao, tako radi FreeNAS za ZFSom po defaultu... upravo kao sto si i sam konstatovao: "...izgleda preveliko koriscenje memorije ZFS-a za optimizaciju internih struktura."


@ness1602
provericu "dirty pages", hvala za hint.
inace valjda imam dosta RAMa: 8GB i imam ukupno 6TB diskova.


kad proverim ove stvari javljam kakva je situacija.

@orange probacu jos i NFS i FTP...
na kraju, ako ne dobijem neki normalan transfer, probacu i NAS4FREE... ili cu jednostavno da se okanem od ZFSa u zavisnosti od sugestija iz susednog threada

 

[orange47]

ovaj lik je izgleda imao slican problem: http://forums.freenas.org/index.php...s-after-first-initial-transfer-to-cifs.12145/
samo, on ima svega 4GB RAM i nekakvu problematicnu RAID karticu.
ali pogledaj, ako vec nisi, na kraju pominje neka podesavanja.

 

[kovacm]

^
procitao sam i taj thread, i jos nekoliko.

dosta ljudi je resilo problem sa editovanjem parametera FreeNASa ali nikad se niko nije nasao da objasni sustinu problemu, vec se sve zavrsavalo sa: SAD RADI, NE DIRAJ! :d

 

[alfaunits]

sta bi tek bilo da nisam?? ti si skoro uvek prvi koji odgovori na moj post/temu
pre bih rekao da sam ti u favorites listi

Ne, u drugim temama nazalost neki te citiraju a forum ne daje da i to ignorisem Lakse mi je ovako da pogledam samo tehnicke stvari

stvarno?!??????????????
nikad ne bih rekao da je to problem...
:|
aj sad malo ozbiljnosti
ocigledno je da se usporenje desi nakon sto se napuni RAM (kao sto sam napisao u prvom postu).
1. menjao sam parametre FreeNASa (tunatables) i dobio oko 10MB/s. (menjao sam cache size za network i za disk)

nisam ja to setovao, tako radi FreeNAS za ZFSom po defaultu... upravo kao sto si i sam konstatovao: "...izgleda preveliko koriscenje memorije ZFS-a za optimizaciju internih struktura."

Da, video sam kasnije i da cache ne prelazi nesto preko 600MB, sto znaci da nije RAM koriscen za cache nego za interne strukture (Wired = sistemska memorija, ZFS je verovatno deo sistema na FreeNASu pa je to njegova memorija).
Nesto je ukljuceno sto trazi puno memorije za procesing, a nije kesiranje - i metadata cache celog diska ne bi bio toliki ni blizu verovatno.

 

[alfaunits]

dosta ljudi je resilo problem sa editovanjem parametera FreeNASa ali nikad se niko nije nasao da objasni sustinu problemu, vec se sve zavrsavalo sa: SAD RADI, NE DIRAJ! :d

Dobar pokazatelj koliko ljudi u stvari razumeju taj FS, koliko je dobro implementiran, objasnjen i dobar /LOL

 

[ness1602]

Jeste dobar i dosta dobro objasnjen, ali nije za korisnike koji bi samo nesto da pokrenu/nabudze i kraj. OpenBSD kao i svaki OS ima svoje bubice/podesavanja itd.
FreeNAS je isto pravljen za ozbiljnije sisteme,zato su se oni od osmice skroz okrenuli ZFSu i svemu tome. Tu im je kinta u podrsci.

 

[BelThaZoR]

Kod mene u firmi sličan problem. Konfiguracija je sa AMD A4-3300, 4x4TB raidz1 konfiguracija, 24gb memorije i LSI SAS2008 kontrolerom.
Koju verziju koristiš?
Kod nas se problem pojavio posle apdejta na 9.2.1.5 ili posle apdejta firmvera na RAID kontroleru, na žalost nismo odmah primetili, vratili smo ga u rek i sad nas malo mrzi da ga ponovo vadimo jer nam vrši posao kolko-tolko za sad

 

[kovacm]

Kod mene u firmi sličan problem. Konfiguracija je sa AMD A4-3300, 4x4TB raidz1 konfiguracija, 24gb memorije i LSI SAS2008 kontrolerom.
Koju verziju koristiš?
Kod nas se problem pojavio posle apdejta na 9.2.1.5 ili posle apdejta firmvera na RAID kontroleru, na žalost nismo odmah primetili, vratili smo ga u rek i sad nas malo mrzi da ga ponovo vadimo jer nam vrši posao kolko-tolko za sad

heh...

ja sam imao 8micu i uradio update na 9.2.1.5 (koji i sada imam).
Mada i ranije se desavalo da uspori ali nikada nisam tome posvecivao paznju jer sam kopirao relativno male kolicine podataka. Pre neki dan sam bukvalno morao da premestim terabajte podataka i zato sam primetio usporenje.

btw
ostaje cinjenica da nisam uspeo da nadjem konkretno resenje ovog problema na netu - neki korisnicu su ga resili ali, kako to meni izgleda, uz pomoc dzambo mambo magije, i ono sto je najgore - bez sustinskog razumevanja sta je pravilo problem.

 

[ness1602]

Eto vidis kako su oni uradili. Nemoj da ti svaki disk bude poseban vec napravi neki Raid(Raidz1 je u ovom slucaju Raid5).

 

[ness1602]

Kod mene u firmi sličan problem. Konfiguracija je sa AMD A4-3300, 4x4TB raidz1 konfiguracija, 24gb memorije i LSI SAS2008 kontrolerom.
Koju verziju koristiš?
Kod nas se problem pojavio posle apdejta na 9.2.1.5 ili posle apdejta firmvera na RAID kontroleru, na žalost nismo odmah primetili, vratili smo ga u rek i sad nas malo mrzi da ga ponovo vadimo jer nam vrši posao kolko-tolko za sad

Ako vam radi ok onda super. citao si da ne preporucuju dedicated RAID karticu? Zbog brdo gluposti, mada prepotstavljam da ste stavili JBOD na njemu.
Imate dosta memorije, to je stvarno super, pogotovo za neku bazu.

 

[alfaunits]

RAID na kartici je problem samo za odredjene mogucnosti ZFS-a, koje ako se ne koriste, nece praviti problem. Medjuti, meni izgleda da SAS2008 nema JBOD mogucnosti po onome sto vidim na netu?
Performanse ne bi smele da budu ometane cak i tada, ako se ne koristi RAIDZ.

 

[BelThaZoR]

Kartica je u stvari LSI MegaRAID SAS 9240-8i, ali sa flešovanim firmverom od 9211 (LSISAS2008) i to IT verzija. Time smo dobili mogućnost da napravimo pass-through za diskove i da kontrolu prepustimo direktno ZFSu. Kao što rekoh imali smo dobrih 120mb/s kroz mrežu i onda od jednom katastrofa.

 

[alfaunits]

I 9211 ima i JBOD i RAID0/1 firmware (glupo, ali moze samo jedan od ta dva na istom kontroleru). U svakom slucaju pass-through je jos bolje od JBODa za ZFS.

 

[ness1602]

Citao sam malo i vidim da taj kontroler nesto ima problema sa Raid5, koliko vidim opadaju dosta performanse. MAda to nema veze sa vama,posto koristite passthrough.

 

[alfaunits]

Ma, kad bi nam njih dvojica rekli kako su konfigurisali ZFS volume, da vidimo da li se i ECC uopste koristi, pa da znamo gde moze biti problem

ECC kod ZFSa je inace nesto fenomenalno, sto bi svaki FS trebao imati danas (barem kao mogucnost, pa ako su manje bitni podaci, moze da se ignorise), i ne pravi dodatni overhead po pitanju diska, jer je ECC unutar metadata bloka, koji se ionako mora procitati ceo. Overhead po pitanju CPUa moze da se ignorise za vecinu potreba gde random IOPS nije toliko bitan.

Ali iz iskustva svog (priznajem, prilicno malog za ZFS, jer sam se samo igrao iz znatizelje i niceg vise) i konkretnih iskustva drugih, sem dedupa i RAIDZ-a ne vidim nista sto bi smelo da utice na performanse kada nestane memorije (RAIDZ moze i bez memorije da utice na performanse, ali ne na ovom nivou, sem ako nije greska u implementaciji).

 

[ness1602]

Pa ni ja nisam nesto preterano radio FreeNAS ,ali mi pada na pamet da mozda nije stavio neki caching? Mozda neki write-back ili tako nesto. FreeNAS je dobar i zbog onog read kesa, tzv L2ARC koji je ludacka stvar. To za sad nema alternativu u ovim obicnim linux NASovima. A sto se tice ZILa, mislim da je on u 95% bespotreban.

 

[alfaunits]

Pa ni ja nisam nesto preterano radio FreeNAS ,ali mi pada na pamet da mozda nije stavio neki caching?

Grafici prikazuju da se ne koristi vise od nesto tipa 600MB (ili 1.2GB ne secam se napamet), tako da ne bih rekao da je problem manjak cache-a.
Cache lazy write bi mogao biti problem, ali jedino ako su diskovi bas bas spori, ali bilo koji danasnji disk moze i tih 60MB/s da isporuci bez problema, kamoli 3MB/s

Jedino ako ZFS implementacija nije *****a (kao dosta kontrolera kada nemaju write cache), a koriste neke funkcije koje traze puno sitnih upisa, gde nista ne ide preko cache, vec se instantno radi commit na disk (to ce ubiti performanse bilo kog SATA diska!).

Eee, da! Proverite da slucajno write cache na DISKOVIMA nije disabled. Ne znam kako se to radi na FreeNASu, ali na Windowsu ako se iskljuci disk level write caching, SATA diskovi padaju na nivo flopyy diska.

 

[ness1602]

To sam i hteo da kazem. Kada oboris write kes tipa padne na 4mb/s upis(tako je nama palo na starom SANu na poslu kada je zviznula kes baterija ).

 

[kovacm]

kako mogu da eksportujem setovanja FreeNASa da vidite kako je kod mene konfigurisano?

(ili treba da napravim 100 screensohotva?!?)

u svakom slucaju: http://phpbb.openmediavault.org/viewtopic.php?f=12&t=360

"I'm running FreeNAS now, mainly for CIFS sharing. And I must say, it is a pain in the ***. There is so much stuff to tune to get decent performance, it's just not funny. I had everything up and running, performance was finally acceptable, my wife buys a new laptop, and for some reason I get 1.5MB/s read speeds from the NAS on her laptop only. Nobody seems to know why: http://forums.freenas.org/showthread.ph ... -the-other"

iskreno, ovaj FreeNAS mi postaje (verovali ili ne!!) jos OMRAZENIJI nego windows!