Serverski Setup za Developerski Office?

[obi_van]

Naime otvara se ogranak firme u Beogradu, nove kancelarije, uzimace se Rack/case kao i sva potrebna serverska oprema, sami serveri kao i storage server, makar je takav plan u najavi. Ono sto mene zanima jeste sta bi mi neko od vas predlozio za sledeci setup, naime sve bi servere virtualizovali, a po funkciji su u pitanju sledeci serveri:

• 2 Domen Kontrolera
• SharePoint Server
• MSSQL Server
• SVNServer (Subversion Server)
• Exchange Server
• Isa Server
• jos jedno desetak servera (testnih servera, bitna stavka potrebno nam je dosta memorije kao i prostora na diskovima, u pitanju su SharePoint serveri kao i Test Application Serveri na kojima bi radila Search applikacija koja prilikom indexiranja zahteva upravo dosta memorije i prostora na diskovima)

Dakle imate li neki predlog kako bi mogli da uredimo ovaj Setup, dva ili tri "jaca" servera i Storage server zakacen za njih ili...?

...a da, u pitanju je MS okruzenje i Hyper-V kao virtual host.

 

[zeleni_zub]

MSSQL Server - šta će sve biti na njemu? Količina podataka i dnevni protok?
Exchange - koliko korisnika?
Testni serveri - koliko memorije im treba, koliko prostora na disku, koliko IO/s očekujete po serveru?

Što se servera tiče mislim da sve može lepo da radi sa 16 core-ova i recimo 32GB + memorija za testne servere. Znači ako vam ne treba puno memorije na testnim serverima, možete da prođete sa dva fizička servera. Takođe uzmite dve četvoroportne mrežne kartice po svakom serveru. Mrežnih interfejsa i memorije nikada dosta.
Verovatno bi radilo i sa manje memorije, ali bez neke detaljne analize teško da će ti bilo ko dati precizne specifikacije servera koje treba da kupiš.

Što se tiče storage-a - napravi neku projekciju koliko ti treba prostora za koju namenu. Napravi spisak LUNova sa potrebnim kapacitetom i očekivanim IO/s. Na osnovu toga odrediš koliko ti diskova treba i u koje RAID grupe ćeš ih staviti.

Od svega ovoga najskuplji je storage, pa licence za vSphere (ako ćete koristiti VMware) i na kraju najjeftiniji su ti serveri.

edit: Ispravka... najskuplje ti je ako ne projektuješ sistem kako treba.

 

[alfaunits]

Ne vidim razlog da ima zaseban fizicki storage server, a vidim razlog da ga nema (cena a i performanse - kako/kad doduse). Jedino ako je neophodan neki shared storage a vidi se potreba za >2 masine.
Koliko ce koji server biti otprilike? Nesto mislim da sa 32GB nece moci da se prodje za 10-ak test servera? (a >24GB vec prelazimo u deri-cenu memorije).

 

[obi_van]

@ zeleni_zub,

na MSSQL ce da bude baza za CRM sistem (pristupa mu 10ak ljudi, ne vise), kao i baza za SharePoint server. Znaci nista spec zahtevno, na SP serveru se vrti team site, za document sharing itd, znaci opet desetak zaposlenih pristupa, ne konstantno. Exchange, jedno 20 account-a, dve tri distribution grupe, ne vise.

Sto se tice testnih servera, u pitanju su SharePoint serveri, znaci 4gb memorije obavezno, a sto se tice prostora na diskovima nije toliko zahtevno kod njih.

Sto se tice drugih testnih servera, e tu je u pitanju Search Engine kome je minimum 4gb, ali zato prilikom indexiranja zauzima dosta prostora na diskovima, baze su po defoltu oko 4GB a znaju da narastu i do par stotina GB (citaj 200-300)!!

E da, napisah vec, sve ce biti na MS okruzenju, znaci Serveri 2008 sa hyper-v.

 

[zeleni_zub]

Ne vidim razlog da ima zaseban fizicki storage server, a vidim razlog da ga nema .

Samo da pojasnim - mislio sam na storage, ne na server pun diskova koji glumi storage. To za cenu stoji, ali da bi njemu sve ovo radilo kako treba - pogotovu tih 10 testnih servera koji intenzivno rade sa diskovima, trebaće mu velike RAID grupe koje ne može da napravi lokalno na serveru. Tako da će morati da pazare neki storage. Drugi problem je - šta će da rade kada im otkaže jedan server? Da izgube sve virtuelne mašine sa njega dok ga ne poprave? Ovako ako imaju 2-3 hypervisor servera samo podignu te virtuelne mašine na drugom serveru.


Staviti image-e virtuelnih mašina i prostor na diskovima koji koriste na lokalne diskove hypervisor servera je prilično veliki kompromis. Naravno, ako je budžet ograničen, onda nema baš puno izbora.

Tih 32GB memorije sam mislio samo za prvih 7 servera - trebalo bi da bude dosta pošto ih ima samo 20ak u firmi koliko sam shvatio.

 

[SeRPeNT]

32GB ce ti biti tesno odmah da ti kazem, po mojoj proceni mislim da ces morati da uzmes jos jedan server koji nece smeti da bude u klasteru sa ovim prvim (jer kao sto znash HV ne deli memoriju i sl).
sto se diskova za asame server tice, SSD za OS + neki RAID za ostalo, naravno ako bih pratio sve MSFT preporuke i sl, trebao bi zasebni SAN da koristis za skoro sve.

 

[obi_van]

Kontao sam da uzmem tri "jaca" servera, oni bi vrteli Hyper-V. Ono sto mi je "problem" jeste upravo ono o cemu zeleni_zub prica (ako sam ispravno razumeo?), a to je gde drzati image VM-ova? Dakle kako to resiti, iz svega proizilazi da mi treba storage, ali koji i kako ga povezati sa ovim serverima? Ako kontam dobro ukoliko uzmem direct attached storage onda mi je jedan fizicki server nakacen na njega a ne i druga dva, a brine me ako ga budem drzao kao NAS da li ce kroz mreznu konekciju da ima dobar protok (svo to indeksiranje itd...)...

 

[zeleni_zub]

Dakle kako to resiti, iz svega proizilazi da mi treba storage, ali koji i kako ga povezati sa ovim serverima?

Prvo proveri šta Hyper-V podržava.

Ja nisam nikada imao iskustva sa virtuelnim platformama koje koriste NAS rešenja. Ako je podržano da image-i virtuelnih mašina stoje na NAS storage-u i ako izračunaš da bi ti mreža neće biti usko grlo onda ti je to najpovoljnije rešenje.

U suprotnom ti ostaje da napraviš SAN - storage sa Fibre Channel interfejsom, dva FC switch-a, i po dva HBA (FC kartice) u svakom serveru. U zavisnosti od broja i vrste diskova može da košta prilično... Pogledaj malo IBM i EMC entry level i mid-range modele.


A jesi razmišljao da svratiš do neke firme koja se bavi projektovanjem sistema i da porazgovaraš sa njima - čisto da vidiš šta mogu da vam ponude. Kada se podvuče crta može da bude jeftinije da platite nekome da projektuje sistem, da uradi integraciju i deployment nego da potrošite pare i vreme na nešto šta vam na kraju neće završavati posao.

 

[obi_van]

A jesi razmišljao da svratiš do neke firme koja se bavi projektovanjem sistema i da porazgovaraš sa njima - čisto da vidiš šta mogu da vam ponude. Kada se podvuče crta može da bude jeftinije da platite nekome da projektuje sistem, da uradi integraciju i deployment nego da potrošite pare i vreme na nešto šta vam na kraju neće završavati posao.

Naravno, to sam i predlozio, nije to iskljucena opcija. Cisto me zanimalo misljenje i vas koji se razumete u pomenutu materiju

Sto se tice Hyper/V-a vuce on image i sa externog i sa NAS-a, ali me brine upravo to sto si pomenuo, da se ne ispostavi da je mreza usko grlo na sistemu...

 

[igor2]

32GB ce ti biti tesno odmah da ti kazem, po mojoj proceni mislim da ces morati da uzmes jos jedan server koji nece smeti da bude u klasteru sa ovim prvim (jer kao sto znash HV ne deli memoriju i sl).
sto se diskova za asame server tice, SSD za OS + neki RAID za ostalo, naravno ako bih pratio sve MSFT preporuke i sl, trebao bi zasebni SAN da koristis za skoro sve.

Sta rece bre ?? Zasto ne klaster? Jel to neki hyper-v specijalitet?

Ako hoces HA, treba ti klater, licno mozes i 2 servera gde je svaki sposoban da gura sve ili recimo 3-4 manja servera gde n-1 drze resurse, a onaj 1 je za failover. Zato dosta ljudi uzima mali HP c3000 blade centar za virt.

Sto se tice resursa, pa prosto je imas masu alata za pomoc za proracun cpu/mem/IO parametara, a obicno rucno sabiranje isto je kul. Idi kao da bi uzeo fizicke servere i samo saberi resurse, malo smanji i eto.

Sama instalacija hypervisora na lokalne diskove (ne zelis da se zezas sa boot form SAN) a sve ostalo na storage-u.
BTW sta podrazumevas pod storage server? Server sa mestom za puno lokalnih diskova?

 

[obi_van]

^^za sada ne podrazumevam nista , pitao sam vas za misljenje, obzirom da mi je kao sto sam rekao potrebno dosta prostora na diskovima, znaci nisam siguran da li da se opredelim za servere sa vecim diskovima (vise njih) ili da te iste servere nakacim na neki storage koji ima kako ti kazes puno lokalnih diskova...i naravno sta je najbolje izabrati?

Uzgred budi receno, daj mi tip za neki od tih alata za "pomoc proracun cpu/mem/IO parametara" ako nije problem

 

[kalaba]

Prvo koji Ms SQL i koji Exchange?
Nije isto da li je Exchange 2007 ili Exchange 2010 u radu sa diskovima !

Takođe i kod MS SQL postoji bitna razlika.E
xchange 2010 je sasvim dovoljan SAN sa SATA diskovima u RAID 5 ili RAID 6 konfiguraciji, mada ako hoćeš najviši stepen ond 0+1 RAID

Za SQL je bitan IOPS tj I/O per sec, tako da naspram toga treba birati i i ostatak opreme. Ako je veliki IOPS onda FC, a ako nije može iSCSI.

Ja sam za moju sadašnju firmu radio projekat sistema i kasnije nabavak sve neophodne opreme. Virtuelizaciona platforma je u pitanju zasnovana na VMware rešenju.

Mada sada mi se dosta sviđa MS rešenje sa centralizovanim serverom za kontrolu svih operacija u organizaciji.

 

[obi_van]

^^u pitanju je SQL Server SE 2005 i Exchange 2007 Ent.

Na SQL-u je C5 Nav i CRM a na Exch ima rekoh vec nekih 20-ak accounta i par distribution grupa...mislim da to nije problem, vise mi je problem ovo vezano za Search Engine Test Servere i to indexiranje...

 

[igor2]

^^za sada ne podrazumevam nista , pitao sam vas za misljenje, obzirom da mi je kao sto sam rekao potrebno dosta prostora na diskovima, znaci nisam siguran da li da se opredelim za servere sa vecim diskovima (vise njih) ili da te iste servere nakacim na neki storage koji ima kako ti kazes puno lokalnih diskova...i naravno sta je najbolje izabrati?

Uzgred budi receno, daj mi tip za neki od tih alata za "pomoc proracun cpu/mem/IO parametara" ako nije problem

Ne, nisi me razumeo sto se tice storage servera :

imas opciju sa pravim storageom kao optimalnu (SAN, NAS...), ili da uzmes neki server sa tipa 12 SATA diskova i dobrim raid kontrolerom (IBM x3620 m3) koji će služiti kao storage.

Alati za proračun : Ima IBM alat Consolidation Discovery and Analysis Tool, a vmware ima svoj capacity planner.

 

[obi_van]

Ok hvala svima, krecem lagano u akciju pa javljam kad krene sve svojim tokom

 

[alfaunits]

Razmisli samo da li test serveri moraju u oredjenom roku da odrade posao, ili ne, da li moraju da rade podjednako brzo ili ne i slicno.. ako ne moraju da rade brzo, vrlo lako ces proci sa najjeftinijim SATA diskovima. (kao kod mene, 12 VMa rade file testing, ali nije mi bitno koliko se brzo odradi, bitno je da on radi dugo vreme samo taj test).
Ako ides da sam uradis storage server, preporucujem ti da odvojis i kontroler i diskove za Exchange/SQL/SVN ili sta god je bitno da se odradi odmah. Vise nizova na istom kontroleru moze da uspori rad ako je kontroler CPU skroz iskoriscen.

 

[SeRPeNT]

Sta rece bre ?? Zasto ne klaster? Jel to neki hyper-v specijalitet?

Ako hoces HA, treba ti klater, licno mozes i 2 servera gde je svaki sposoban da gura sve ili recimo 3-4 manja servera gde n-1 drze resurse, a onaj 1 je za failover. Zato dosta ljudi uzima mali HP c3000 blade centar za virt.

Sto se tice resursa, pa prosto je imas masu alata za pomoc za proracun cpu/mem/IO parametara, a obicno rucno sabiranje isto je kul. Idi kao da bi uzeo fizicke servere i samo saberi resurse, malo smanji i eto.

Sama instalacija hypervisora na lokalne diskove (ne zelis da se zezas sa boot form SAN) a sve ostalo na storage-u.
BTW sta podrazumevas pod storage server? Server sa mestom za puno lokalnih diskova?

Hyper-V u HV varijanti (na koju sam mislio) ne deli resorse, vec se ponasaju svi nodovi kao failsafe, kada jedan prestane da radi, drugi preuzima ulogu, jedino sto dele je SAN (NAS)
Evo ja sam pre nekog vremena to podesavao za sebe pa imash malo objasnjenje i na mom sajtu:
http://www.mojsajt.co.uk/?p=88

 

[igor2]

Znaci kad dignes kluster sa 2 hyperv hosta, on moze da radi samo aktiv pasiv? Ne mogu oba noda da budu aktiv?
Nisam bas siguran, mozda, do sada smo iskljucivo radili esx.

 

[SeRPeNT]

Znaci kad dignes kluster sa 2 hyperv hosta, on moze da radi samo aktiv pasiv? Ne mogu oba noda da budu aktiv?
Nisam bas siguran, mozda, do sada smo iskljucivo radili esx.

Ako su u postavci za HighAvailability onda ne.
Ako nisu, ako je obican cluster, mogu oba da budu aktivna, ali glavna mana kod hyper-v je sto ne konsoliduje resorse (ne mozes da napravis klasican cloud sa recimo 4x16GB rama i da imash raspolozivo 64GB, vec po svakom nodu koliko sam nod ima).
Barem ono sto sam ja isprobavao nisam uspeo da namestim niti da nadjem opciju za to. Ako neko slucajno zna ili kako ili ima makar neki link koji potrvrdjuje suprotno voleo bi da mi otvori oci

 

[Dzoni_m]

SeRPeNT, cek malo nesto mi nije jasno, imam 2 servera zakacenih na SAN (nemaju diskove butuju se sa SAN-a), i zakaceni su kao klaster, taj klaster se vidi kao na slici znaci ne vidi 2*nesto rama vec ukupno koliko imaju dva hosta itd......Jel mislimo na isto??

 

[obi_van]

...pa on koliko ja razumem prica covek o Hyper-V hostu, a ti o ESX kako vidim...?

 

[Dzoni_m]

smeo bih da se zakunem da je covek napisao za ESX.......'ladno sam prevideo

 

[voyager]

Generalno pitanje, ukoliko zelim da podignem 3-4 virtuelne masine od kojih bi svaka imala posebnu ulogu (AD, MS SQL, File server i eventualno Exchange) da li je je izvodljivo sve te vm-e drzati na jednom disku npr. WD velocireptor ili nekom SSD-u ili mi je neophodno vise diskova?

Naravno, storage za sql baze, exchange i file server ne bi bio na tom disku...

 

[zeleni_zub]

Generalno pitanje, ukoliko zelim da podignem 3-4 virtuelne masine...

U principu možeš (minimum dva diska u mirror-u - čisto da ti se ne desi da otkaže disk i izgubiš sve mašine), ali ako se desi da mašine istovremeno intenzivno pristupaju svojim lokalnim diskovima imaćeš veliki pad performansi. To bi mogao da rešiš SSD diskovima ili da napraviš RAID5 od običnih diskova. Ako već imaš kontroler na serveru koji podržava RAID5 to bi ti bilo isplativije rešenje. Ako nemaš kontroler mislim da bi cena diskova + kontroler čak bila veća od cene dva SSD diska. Naravno sa SSD diskovima imaš problem prostora, tj, da li na jedan disk možeš da smestiš sve te mašine.

 

[voyager]

Pa posto bih isao na Xen Hypervisor a ploca nema HW RAID (Intel S3000AH) koji Xen zahteva ne mogu da idem na varijantu RAID1 za VM-e. Mislio sam da to resim bekapom virtuelki jer mi se cini da Xen nudi Snapshot opciju i da imam spremnu neku masinu za migraciju na nju. Da li je to pametna strategija?

Nekog velikog opterecenje ne bi bilo jer je broj korisnika mali ali ipak razmisljam o koriscenju SSD diska za Xen i virtuelne masine. Sa druge strane, odabir SSD diska je takodje enigma narocito imajuci u vidu dostupnost na nasem trzistu.