KVM cluster potrebna howto pomoc

Cao,

U firmi se pojavila 2 slobodna servera, pa bi kolega i ja želeli da podignemo KVM cluster (pod centosom i-ili ubuntuom). Mislio sam da ce biti prosto i lako (imamo tone vmware i hyperv velikih projekata u rukama) ali sada sam totalno u haosu nakon citanja dokumentacije.

Dizao sam openstack (tj devstack), to mi sada ne bi bio problem, ali želim da pogledam i testiram prost 2node HA KVM cluster, i da prosto vidim kako ide migracija, pouzdanost i kako razliciti guest OS rade. Voleo bih da koristim i virtual machine manager, dakle GUI.
U principu, pandan vmware osnovnom 2node clusteru bez DRS-DVS i slicno, osnova.

Nakon toga planiram i nexus 1000v da testiram, ali otom potom.

Najvise bi mi kortistio link tipa "build 2 node KVM HA cluster". Guglam, ali potpuno sam se pogubio, necu JUJU, necu farmu, ocu osnovni 2 node cluster

Serveri su hp blejdovi sa flexfabricima, ali posto je samo jedan flexfabric (recimo da je to konvergentni fc i ethernet switch, nebitno), imam na raspolaganju 3 ethernet i 1 fc konekciju po serveru. Storage je FC i shared volumeni bi bili sa block pristupom. Serveri takodje butuju sa SAN mreže.
P.S Dizao sam vec 1node KVM, to je sve ok, treba mi uputstvo za cluster.

Hvala!

Ja bih to radio na CentOS/RHEL 6 .

Za početak, upogoni live migration između 2 noda (za to nije nužan cluster), tako da si siguran da to radi tamo i vamo.
Nađe se dosta dokumentacije na netu, npr.
http://www.server-world.info/en/note?os=CentOS_6&p=kvm&f=12

Preduvjeti za live migration su da oba KVM hosta budu u istom subnetu te da oba hosta imaju pristup wwn device-u na kojem je virtualka.

Nakon toga je potrebno podesiti RedHat Cluster Suite za HA s KVM kao servisom:
Za početak:
https://access.redhat.com/documenta...rise_Linux-5-Cluster_Suite_Overview-en-US.pdf

Najbliže onome što tražiš:
https://alteeve.ca/w/AN!Cluster_Tutorial_2
https://alteeve.ca/w/2-Node_Red_Hat_KVM_Cluster_Tutorial_-_Archive
S time da ovaj tutorial komplicira stvar sa storage-om (koristi DRBD i CLVM) jer nema SAN. Tebi će tu biti lakše.

Nije vezano za KVM servis nego web server, ali princip je isti (i jedno i drugo su servisi u 2-node HA clusteru):
https://www.youtube.com/watch?v=kOQwY3la5gg
https://www.youtube.com/watch?v=FP2_MxXGibY


U bivšoj firmi smo imali KVM cluster na IBM PureFlex-u, dva x240 noda u HA na Storwize-u v7000.
Cluster je slagao kolega, koji je imao više iskustva. Iz pamćenja, setup je bio dosta "jednostavan": 2 noda, SAN (Storwize), 2 VLAN-a (MGMT i data).
Na MGMT VLAN-u su bile definirane 2 IP adrese IPMI uređaja na hostovinma (IMM kod IBM-a) putem kojih je radio fencing, odnosno isključivanje "odmetnutog"/nefunkcionalnog noda iz clustera.

Radili smo više testova:
1) poweroff jednog ili drugog noda -> node ostaje ugašen (do ručne intervencije), VM se pokreću na drugom nodu
2) restart jednog ili drugog noda -> VM se pokreću na drugom nodu, nakon starta ugašenog noda VM se vraća na node s većim prioritetom za VM
3) "virsh destroy vm" (nasilno gašenje virtualke)-> VM se pokreće na drugom nodu
Na kraju smo malo zakomplicirali pod 3). pa je relokacija na drugi node bila nakon 2 uzastopna ispada virtualke unutar 10 minuta.
Za kreiranje i management clustera smo koristili Luci server koji je bio instaliran na VM van clustera:
http://www.sourceware.org/cluster/conga/

To je ukratko bio setup kroz RH Cluster Suite. Znači klasični RH cluser sa servisom (KVM) u HA.

Svakako pogledaj i oVirt:
http://www.ovirt.org/Home

Zapravo, možda najbolje da prvo gledaš oVirt, s obzirom da tu postoji i load balancing i mgmt sučelje za datacentar (pandan vCentru).

Evo ... zbrda zdola, nadam se da je bar od neke pomoći.

hvala.
meni je i koncept fencinga potpuno nov, jer sam video da pored imm/ilo/idrac, koriste upravljivi PDU za fencing. navikao sam da mi sam cluster servis to radi

uglavnom, imam kolege koje preko 15 godina dizu oracle baze u ha clusteru na linuxu ili aixu, sa ili bez rac-a i nikad nisam video nista oko tog fencinga. videcu da mi malo objasne.

Cluster i radi fencing (putem agenata). Jednom metodom, ili putem više njih redom kako definiraš (npr. FC switch -> IMM/ILO/iDRAC -> upravljivi PDU ).
Npr. jedan od hostova počinje da se glupira zbog HW kvara, resetira virt. mašine isl. To je mehanizam da ga cluster otkači sa SAN-a. Ili mu isključi struju (PDU i IMM/ILO) i/ili ga otkači na FC switchu.

tnx

Mozes da probas i proxmox.

Vezano za korak 1. (live migration).
Kao što rekoh, preduvjeti su da hostovi (i virtualke) budu u istom subnetu te da oba hosta vide "wwn" device virtualke na SAN-u (/dev/disk/by-id/wwn-....)
Dodatno:
1. Isključiti i/ili obrisati "default" NAT mrežu koju digne libvirtd na hostovima. Kreiraj klasični Linux bridge za podatkovnu mrežu i virtualke stavljaj na bridge od host-a (putem Virt-managera kad instaliraš virtualku). IP virtualke iz istog subneta gdje su hostovi.
2. Konfiguriraj multipath na hostovima ... ako hostovi imaju redundantne putove do storage-a (paket je device-mapper-mutipath na CentOS/RHEL). Ima official guide od RedHat-a i jako puno članaka na RHN-u.
3. Zatim, potrebno je kreirati i razmjeniti ssh ključeve (kao root).
4. Virt-manager zahtjeva da se hostovi međusobno resolvaju (dovoljno ubaciti IP/hostname mapping u /etc/hosts ako nisi na DNS-u).

Evo ... probao danas sa dva IBM x3950 i direktno spojenim IBM DS3400 sa sheranim volume-om . Radi ko zmaj.
(Zapravo sam najviše vremena izgubio na update firmware-a na Emulex FC kartama i rješavanje problema vezanih za Emulex i multipath.)

Samo da javim, lepo to sve radi.

Hvala puno za linkove, u principu najkorisniji je https://alteeve.ca/w/AN!Cluster_Tutorial_2 kao detaljan opis, a ovaj link mi je pomogao da resim jedini problem koji sam imao a ticao se gfs2 http://www.golinuxhub.com/2014/02/configure-red-hat-cluster-using-vmware.html

Problem sa kojim sam se sreo je da je jedan node video šerovani disk sa SAN storidža kao /dev/sdc i dev/sdd, ne znam stvarno zašto. Svi diskovi (install, quorum, datastore) su dobro mapirani i na SAN mreži su, ali taj jedan je pravio problem, nikako nisam mogao da očistim suvišni disk. Sam luci je prijavljivao da je sve ok, ali nisam mogao migrirati gfs2 particiju jer je na jednom sdc, na drugom sdd.
Ovo se javilio iznenada, jedino sto sam radio je konfigurisanje fence devicea. Kao fence device sam stavio HP bladecneter, i to nisam uspeo sto posto da podesim, moram naci negde detalje.

Na kraju sam diskonektovao shared disk, i obrisao i dev/sdd i dev/sdc, pa ponovo mapirao disk, rescan i sve radi.

desilo mi se par puta (ne svaki put) i kada pomerim gfs resurs sa noda na nod, da se izgubi na nodu gde se "vrteo", ali prost mount resi problem.
Isto u fstabu, mora (tj poželjno je) da se uradi mapiranje preko UUID diska,ne preko /dev putanja.

Uglavnom, okačiću setup negde na net. ethernet je imao 3 konekcije, jedna za sam mgmt, jedna rezervna (mislio sam da je ostavim za neki DMZ da probam), a jedna je trunk za 2 vlana, i to radi jako lepo.

Bez fencinga nemoj da radis ni korak dalje
napravi naloge na iLO uredjajima i dodaj fencing kao "ipmilan" sa pravim user / pass kombinacijom.
GFS2 ne moras da selis kao resourse jer on moze da bude mountovan na svim nodovima u isto vreme tj uvek.

Ali u svakom slucaju +1 glas za oVirt ovo sto ti radis je zanimljivije ali generalno napusten koncept za tu svrhu.

de si statore

Sredio sam fencing, tnx. Testirao sam i kako se sistem ponasa bez fensinga i simulirao problem, dobrano se zaglupeo
gfs 2 jeste mountovan (imao sam zbun u pocetku, prevideo sam da sam ostavio stiklirano "force unmount", pa se onda desavalo kada pomerim resurs, da se izgubi sa node na kojem je prethodno bio) na oba sada, sve je kul

Jeste oVirt super, nema dalje, ali odavno sam skapirao da je bolje otici ispod haube, podrndati sta god mozes kad vec imas na cemu