Storidž kao usko grlo?

[Troublemaker]

Već godinama se bavim mrežama, ali i pored ogromnog stečenog znanja iz sistem administracije, administracije mreža sa ciskom i virtualizacije nikad nisam imao potrebe da se ozbiljnije bavim storidžom. Ali nikad ne reci nikad...
Konkretno imam zadatak da utvrdim da li je parče storidža dodeljeno virtuelnoj mašini na kojoj je Navision sa sql bazom dovoljno da zadovolji trenutne potrebe što se tiče performansi ili predstavlja usko grlo.
Šta preporučujete od softvera za ovaj zadatak?

 

[Stator]

moraces da das malo vise informacija.

- OS verzija
- Hipervisor
- Konektivnost (iscsi /fc...) bandwith ?
- Storage tacna oznaka
- RAID nivo da li koristis Dynamic pool-ove
- Koje diskove koristis

Da li jos nesto trosi isti storage u vreme kada ti se javljaju problemi.

itd....

 

[Troublemaker]

- OS verzija: Win Server 2003 Standard R2 x64 + Navision
- Hipervisor: Vmvare ESXi 4.1
- Konektivnost (iscsi /fc...) bandwith ? ne bih znao
- Storage tacna oznaka: NetApp FAS 2040
- RAID nivo da li koristis Dynamic pool-ove: raid_dp (9 storage, 1 parity, 1 double parity ma šta to bilo)
- Koje diskove koristis: 11x SAS 15k

Da li jos nesto trosi isti storage u vreme kada ti se javljaju problemi. - E sad sto se ovog tiče storidž je podeljen na 4 volumena i jedan od ta 4 je samo za taj Win 2003 sa Navision-om. Ostali su za neke druge stvari, ali realno se troši prilično.

 

[Stator]

Nazalost ne poznajem dobro ni Win deo ni NetApp tako da uzmi sve sto ti kazem sa rezervom.

raid_dp (9 storage, 1 parity, 1 double parity ma šta to bilo)
Ovo mi deluje kao RAID 6 ili nesto jako slicno, RAID 6 je poznat po sporom upisu, i kao ne bas idelano resenje za baze generalno. Da li imas neki alat na samom NetApp-u da proveris sledece parametre
- IOPS (u trenutku kada je maksimalno opterecenje VM),
- Response time storage-a u trenutku kada je max opterecenje VM.

Posle toga pogledaj u samoj specifikaciji NetApp-a koliko taj storage moze da izgura IOPS-a pa podeli taj broj sa 2 da dobijes realnu vrednost

 

[Highl1]

Ja nisam neki storidž master, ali RAID-DP je ako se ne varam NetApp-ova implementacija RAID4 sa double parity-jem. Performanse za read su valjda iste kao RAID4, dok je write nešto sporiji, do 5%.
RAID4 je, opet se ograđujem, po performansama osetno sporiji od RAID5, te mislim za bazu da je RAID4, sa tim i ovaj RAID-DP veoma loše rešenje, kao što reče kolega Stator

 

[Troublemaker]

Da li imas neki alat na samom NetApp-u da proveris sledece parametre
- IOPS (u trenutku kada je maksimalno opterecenje VM),
- Response time storage-a u trenutku kada je max opterecenje VM.

Pa nemam na žalost ništa od alata, ali to i jeste moje inicijalno pitanje. Šta da koristim od alata kako bih izračunao precizno ove parametre?

 

[Stator]

Alati na samom storage-u su najbolje resenje, ali ima i drugih. Nazalost slab sam sa win-om ali mozda moze nesto da se uradi sa VMware-om (jer je on fakticki RHEL 5)

Pusti sledce:

iostat -k 1 sda

Naravno sda zamenis sa lun-om na kojoj ti je VM.
Ovako nesto bi trebalo da dobijes. (nadam se da VMware ima iostat komandu)

# iostat -k 1 sda
Linux 2.6.32-279.14.1.el6.x86_64 (localhost.localdomain) 	01/06/2013 	_x86_64_	(1 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           2.94    0.00    2.81    3.51    0.00   90.74

Device:           tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda              12.65       406.58       120.75     316528      94008

tps oznacava broj transfera po sekundi na disk. Gde transfer oznacava I/O operaciju.

posle toga ti treba:

#iostat -x 1 sda

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           4.73    0.00    4.49    5.74    0.00   85.04

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda              11.16    51.32   16.98    3.45  1334.64   391.13    84.48     0.57   27.66   4.10   8.37

iostat -x je po meni najbolja komanda kada se igras sa bazama vezano za performanse.

Obrati paznju na "%util" to oznacava koliko je vremena storage imao neizmiren I/O. Ako je ovo 100% znas da si u problemu Moze da se desi da ti je transfer 10 KB/s a ti je %util 100%, to znaci da neko drugi trosi storage u tom trenutku i sa sam storage nema vremena za tvoje zahteve.

 

[Kunja]

Uh davno sam se mlatio sa netapp-om, Sećam se da smo imali problema kada nam je samo jedan MSSQL server generisao preko 1k IOPS-a,

Koliko se sećam , možeš da uradiš ssh na kontroler i da tamo pustiš komadu koja će da ti u određenom vremenskom intervalu beleži koji lun ti troši koliko iops-a...e sad oko detalja juri po netapp forumima ili dokumentaciji, ako se ne snađeš pogledaću ja u ponedeljak da ti iskopam
Vidi da od ekipe koja ti prodala storage ili negde na netu saznaš koliko IOPS-a može da izgura po agregatu tvoj storage, pa da vidiš kako stojiš.

 

[alfaunits]

SAS 15K - svaki disk za sebe moze oko 300 IOPS ako se dobro secam. Od konkretnih RAID nizova i setova zavisi koliko mogu svih 11.
Tipa sasim je logicno da se za bazu stavi nekoliko RAID1 nizova za svaku kolonu zasebno, i onda se dobija mnoogo vise.

 

[igor2]

Cao,

imas sve alate za osnovna pracenja na netapu besplatno uz samu Ontap licencu.

1. mozes se kaciti ssh/telnetom na filer(kontroler) i odatle pratiti statistike i protok fc/iscsi/nas saobracaja.
2. Mozes iz oncommand system managera pratiti statistike
3. Mozes po serijskom broju prijaviti svoj filer na netap autosupport sajt i imati detaljne izvestaje o potrosnji

Za pozcetak, registruje se na now.netapp.com i tu imas i komande za pracenje statistika, kao i oncommand system manager, kao i autosupport opciju.

Takodje preporucujem i netapp plugin za vcentar koji ce ti proveriti da li je storage optimalno povezan/konfigurisan za vsphere.

Posto ne znas koji protokol koristis, otkucaj iz shella netapa license i tu ce ti izlistane biti sve licencirane mogucnosti data ontapa, tj i protokol koji koristis za vezu sa hostovima (fc, iscsi, cifs, nfs)

Dakle, moze netapp jako lepo da da pregled bez dodatnih alata. Instaliraj oncommand system manager i vozi.

Dalje, prvo ti utvrdi da li se ceo sql server nalazi na jednoj masini, tj da li se instalacija i mdf i ldf fajlovi sqla nalaze na istoj particiji (tj da li je kreirana virt masina sa 1 diskom od lupam 200 GB i tu instaliran sql, baza i logovi)
Ako jeste, nece raditi optimalno.

MDF i LDF moraju da se razdvoje na razlicite lunove tj diskove. Mada mala specificnost netapaa je da koristi raiddp (tj6 ) i da je verovatno tebi ceo 2040 tj svi diskovi stavljen u jedan agregat, i tu kreiran ili jedan nfs share ili jedan veliki LUN koji je datastore za VM, pa ces imati bolje performanse nego u slucaju da je fizicki disk sa sql ldf i mdf fajlovima.

Sve u svemu, imas alat koji da koristis (oncommand system manager i autosupport), proveri koja je veza ka storidzu (blok tj fc/iscsi ili NAS tj nfs). Ako je iscsi ili NFS, proveri i sa koliko je portova netap vezan na host/switch tj koristi li se lacp (vif kod netapa) i proveri konfiguraciju sql-a.

Sam 2040 je entry level storage sa malo memorije, ali diskovi su ti ok. Ja sam bas 2040 u HA rezimu instalirao kod jednog klijenta, FC je protokol i vrteo je esx i MS Sql i oracle baze (fizicki hostovi, lunovi za sql i oracle direktno na hosta, bez virtualizacije) i to radi super.

Pozdrav

 

[igor2]

i da dodam raid-dp (heh) je netapp "proprajateri" implementacija, i nema performanse ni kao r5 ni r6, neta tvrdi (ma ajde ) da je mnogo bolji. U relanosti jeste

Njihovva prednost je kada se napravi lun tipa 200 GB u agregatu od 9*300 diskova, tih 200gb ce se pomocu WAFL sistema, nvrama i ostalih carolija polako raspodeliti po svim diskovima, pa tu netapp uspeva da parira ostalim vendorima.

 

[Troublemaker]

Igore,
Protokol koji se koristi je NFS i imam netapp plugin za vcentar.
Na kontroleru sa SAS diskovima imaju 3 datastore-a i jedan od njih je samo za Navision. Na drugom kontroleru su SATA diskovi i odatle su Navision-u pridružene particije za bekap i logove (pored ostalih stvari koje su na tim diskovima).
Kačio sam se danas na filer preko telneta i gledao neke statistike, međutim to je sve real time.
Imam i OnCommand System Manager, ali i tu je prikaz real time. Nije da sam baš planirao da potrošim sate gledajući u grafike sa papirom i olofkom beležeći pikove.
Videću za ovaj autosupport.
Što se tiče portova ako je to to komanda stats list instances ifnet mi vraća
Instances for object name: ifnet
e0P
seclevelvif01

Pre dva dana sam uspeo da preko SNMP-a na Cacti-ju namestim logovanje NFS Ops sa NetApp storidž kontrolera i to je jedino što uspevam da logujem.
Za to vreme minimalni broj NFS ops-a u sekundi je bio 19, a maksimalni 2.5k. Ono što mene interesuje je koji je optimalan broj NFS ops-a za moj storidž, jer ovako su to samo brojke od kojih nemam preterane koristi.

 

[igor2]

Okej, sad vec pominjes dva kontrolera

Moja prepostavka je da imas fas2040HA(HA znaci dva kontrolera) i ugradjenih 12 sas diskova i dodatnu fijoku sa sata diskovima.
Vidim da na netapu imas VIF (verovtno LACP konfiguracija, komanda da vidis je prosto ifconfig, a citas iz /etc/rc detalje (rdfile /etc/rc), i to je super ako su port channeli na switchvima i ako je esx dobro konfigurisan.

Logovi na SATA diskovima, to mi ono malo bode oci obicno mdf i ldf idu na brze diskove (ako pricamo o sql server logovima).

Uglavnom ne postoji optimalan broj NFS operacija, vec maksimalan sto mozes da imas na tom storidzu i zavisi od propusne moci, aplkacije i broja diskova

naravi nalog na now.netapp.com, konfigurisi my autosupport u netapu (iz oncommand managera) i na NOW sajtu, bice ti lakse da pratis.
evo na slici mozes videti kako izgleda i kakve reporte daje
http://dl.dropbox.com/u/37080112/auto_support.png
http://dl.dropbox.com/u/37080112/auto_support2.png

Ako VSC plugin za vcenter kaze da je optimalno konfigurisan storage, onda vozi.

Dakle, moje misljenje je da ovaj storage definitivno ima snage da to gura, mnogo je vaznije obratiti paznju na konfiguraciju SQl servera i raspored mdf, ldf fajlova.

I sigurno tvoj storidz moze podneti navision i virtalizaciju, tu je mnogo vaznije kako je namesten sql server.