»RSS Benchmark sajt

      Prikazani rezultati od 1 do 10 od ukupno 10

      Tema: KVM cluster potrebna howto pomoc

      1. #1
        Member Avatar korisnika igor2
        Na forumu od
        Jan 2001
        Lokacija
        beograd
        Poruka
        1.115
      2. Moja mašina
        • CPU: Intel D805
        • MoBo: Gigabyte GA-8I945P-G
        • RAM: 2*1 Gb NCP ddr2667
        • VGA: Gigabyte 8600GT silent
        • OPT: Pioneer 111 d
        • Case: Coolermaster 420W
        • Ostalo: Lenovo R61
      3. KVM cluster potrebna howto pomoc

        Cao,

        U firmi se pojavila 2 slobodna servera, pa bi kolega i ja želeli da podignemo KVM cluster (pod centosom i-ili ubuntuom). Mislio sam da ce biti prosto i lako (imamo tone vmware i hyperv velikih projekata u rukama) ali sada sam totalno u haosu nakon citanja dokumentacije.

        Dizao sam openstack (tj devstack), to mi sada ne bi bio problem, ali želim da pogledam i testiram prost 2node HA KVM cluster, i da prosto vidim kako ide migracija, pouzdanost i kako razliciti guest OS rade. Voleo bih da koristim i virtual machine manager, dakle GUI.
        U principu, pandan vmware osnovnom 2node clusteru bez DRS-DVS i slicno, osnova.

        Nakon toga planiram i nexus 1000v da testiram, ali otom potom.

        Najvise bi mi kortistio link tipa "build 2 node KVM HA cluster". Guglam, ali potpuno sam se pogubio, necu JUJU, necu farmu, ocu osnovni 2 node cluster

        Serveri su hp blejdovi sa flexfabricima, ali posto je samo jedan flexfabric (recimo da je to konvergentni fc i ethernet switch, nebitno), imam na raspolaganju 3 ethernet i 1 fc konekciju po serveru. Storage je FC i shared volumeni bi bili sa block pristupom. Serveri takodje butuju sa SAN mreže.
        P.S Dizao sam vec 1node KVM, to je sve ok, treba mi uputstvo za cluster.

        Hvala!
        Menjao igor2 : 05.01.2015. u 20:35

      4. #2
        VIP member
        Na forumu od
        Dec 2005
        Poruka
        2.803
      5. Moja mašina
        • CPU: Xeon x5675@LC-CC-120
        • MoBo: Asus P6T Deluxe V2
        • RAM: 24GB Kingston HyperX Genesis 1600
        • VGA: Sapphire Pulse RX 570 4GB
        • MON: Samsung 971p
        • HDD: više komada
        • OPT: Asus
        • Case: CM Stacker@Corsair RM650x
        • SND: Asus Xonar DG
        • OS: Linux / Windows
        • LAP: HP EliteBook G5
        • INET: DSL
      6. Ja bih to radio na CentOS/RHEL 6 .

        Za početak, upogoni live migration između 2 noda (za to nije nužan cluster), tako da si siguran da to radi tamo i vamo.
        Nađe se dosta dokumentacije na netu, npr.
        http://www.server-world.info/en/note...S_6&p=kvm&f=12

        Preduvjeti za live migration su da oba KVM hosta budu u istom subnetu te da oba hosta imaju pristup wwn device-u na kojem je virtualka.

        Nakon toga je potrebno podesiti RedHat Cluster Suite za HA s KVM kao servisom:
        Za početak:
        https://access.redhat.com/documentat...view-en-US.pdf

        Najbliže onome što tražiš:
        https://alteeve.ca/w/AN!Cluster_Tutorial_2
        https://alteeve.ca/w/2-Node_Red_Hat_...rial_-_Archive
        S time da ovaj tutorial komplicira stvar sa storage-om (koristi DRBD i CLVM) jer nema SAN. Tebi će tu biti lakše.

        Nije vezano za KVM servis nego web server, ali princip je isti (i jedno i drugo su servisi u 2-node HA clusteru):
        https://www.youtube.com/watch?v=kOQwY3la5gg
        https://www.youtube.com/watch?v=FP2_MxXGibY


        U bivšoj firmi smo imali KVM cluster na IBM PureFlex-u, dva x240 noda u HA na Storwize-u v7000.
        Cluster je slagao kolega, koji je imao više iskustva. Iz pamćenja, setup je bio dosta "jednostavan": 2 noda, SAN (Storwize), 2 VLAN-a (MGMT i data).
        Na MGMT VLAN-u su bile definirane 2 IP adrese IPMI uređaja na hostovinma (IMM kod IBM-a) putem kojih je radio fencing, odnosno isključivanje "odmetnutog"/nefunkcionalnog noda iz clustera.

        Radili smo više testova:
        1) poweroff jednog ili drugog noda -> node ostaje ugašen (do ručne intervencije), VM se pokreću na drugom nodu
        2) restart jednog ili drugog noda -> VM se pokreću na drugom nodu, nakon starta ugašenog noda VM se vraća na node s većim prioritetom za VM
        3) "virsh destroy vm" (nasilno gašenje virtualke)-> VM se pokreće na drugom nodu
        Na kraju smo malo zakomplicirali pod 3). pa je relokacija na drugi node bila nakon 2 uzastopna ispada virtualke unutar 10 minuta.
        Za kreiranje i management clustera smo koristili Luci server koji je bio instaliran na VM van clustera:
        http://www.sourceware.org/cluster/conga/

        To je ukratko bio setup kroz RH Cluster Suite. Znači klasični RH cluser sa servisom (KVM) u HA.

        Svakako pogledaj i oVirt:
        http://www.ovirt.org/Home

        Zapravo, možda najbolje da prvo gledaš oVirt, s obzirom da tu postoji i load balancing i mgmt sučelje za datacentar (pandan vCentru).

        Evo ... zbrda zdola, nadam se da je bar od neke pomoći.
        Menjao Ace Rimmer : 05.01.2015. u 23:42

      7. #3
        Member Avatar korisnika igor2
        Na forumu od
        Jan 2001
        Lokacija
        beograd
        Poruka
        1.115
      8. Moja mašina
        • CPU: Intel D805
        • MoBo: Gigabyte GA-8I945P-G
        • RAM: 2*1 Gb NCP ddr2667
        • VGA: Gigabyte 8600GT silent
        • OPT: Pioneer 111 d
        • Case: Coolermaster 420W
        • Ostalo: Lenovo R61
      9. hvala.
        meni je i koncept fencinga potpuno nov, jer sam video da pored imm/ilo/idrac, koriste upravljivi PDU za fencing. navikao sam da mi sam cluster servis to radi

        uglavnom, imam kolege koje preko 15 godina dizu oracle baze u ha clusteru na linuxu ili aixu, sa ili bez rac-a i nikad nisam video nista oko tog fencinga. videcu da mi malo objasne.

      10. #4
        VIP member
        Na forumu od
        Dec 2005
        Poruka
        2.803
      11. Moja mašina
        • CPU: Xeon x5675@LC-CC-120
        • MoBo: Asus P6T Deluxe V2
        • RAM: 24GB Kingston HyperX Genesis 1600
        • VGA: Sapphire Pulse RX 570 4GB
        • MON: Samsung 971p
        • HDD: više komada
        • OPT: Asus
        • Case: CM Stacker@Corsair RM650x
        • SND: Asus Xonar DG
        • OS: Linux / Windows
        • LAP: HP EliteBook G5
        • INET: DSL
      12. Cluster i radi fencing (putem agenata). Jednom metodom, ili putem više njih redom kako definiraš (npr. FC switch -> IMM/ILO/iDRAC -> upravljivi PDU ).
        Npr. jedan od hostova počinje da se glupira zbog HW kvara, resetira virt. mašine isl. To je mehanizam da ga cluster otkači sa SAN-a. Ili mu isključi struju (PDU i IMM/ILO) i/ili ga otkači na FC switchu.
        Menjao Ace Rimmer : 06.01.2015. u 00:38

      13. #5
        Member Avatar korisnika igor2
        Na forumu od
        Jan 2001
        Lokacija
        beograd
        Poruka
        1.115
      14. Moja mašina
        • CPU: Intel D805
        • MoBo: Gigabyte GA-8I945P-G
        • RAM: 2*1 Gb NCP ddr2667
        • VGA: Gigabyte 8600GT silent
        • OPT: Pioneer 111 d
        • Case: Coolermaster 420W
        • Ostalo: Lenovo R61
      15. tnx

      16. #6
        Member Avatar korisnika ness1602
        Na forumu od
        Aug 2009
        Lokacija
        Varrant
        Poruka
        1.091
      17. Moja mašina
        • CPU: AMD Phenom II x4 B50
        • MoBo: Ga ma770-ud3 rev 2.0
        • RAM: 2x2 Geil Black Dragon 800Mhz
        • VGA: Gainward gtx460 gs -glh takt
        • MON: Samsung T220
        • HDD: Samsung 1Tb, Ocz 60gb SSD
        • OPT: Pioneer
        • Case: Thermaltake Kandalf VA9000BWS, Lc power 8650
        • SND: Microlab 6c, Asus Xonar D1
        • INET: Kablovska
        • Ostalo: Razer Diamondback 3g
      18. Mozes da probas i proxmox.
        BENCHforum: World Community Grid tim 26290 Folding@Home tim 198696

      19. #7
        VIP member
        Na forumu od
        Dec 2005
        Poruka
        2.803
      20. Moja mašina
        • CPU: Xeon x5675@LC-CC-120
        • MoBo: Asus P6T Deluxe V2
        • RAM: 24GB Kingston HyperX Genesis 1600
        • VGA: Sapphire Pulse RX 570 4GB
        • MON: Samsung 971p
        • HDD: više komada
        • OPT: Asus
        • Case: CM Stacker@Corsair RM650x
        • SND: Asus Xonar DG
        • OS: Linux / Windows
        • LAP: HP EliteBook G5
        • INET: DSL
      21. Vezano za korak 1. (live migration).
        Kao što rekoh, preduvjeti su da hostovi (i virtualke) budu u istom subnetu te da oba hosta vide "wwn" device virtualke na SAN-u (/dev/disk/by-id/wwn-....)
        Dodatno:
        1. Isključiti i/ili obrisati "default" NAT mrežu koju digne libvirtd na hostovima. Kreiraj klasični Linux bridge za podatkovnu mrežu i virtualke stavljaj na bridge od host-a (putem Virt-managera kad instaliraš virtualku). IP virtualke iz istog subneta gdje su hostovi.
        2. Konfiguriraj multipath na hostovima ... ako hostovi imaju redundantne putove do storage-a (paket je device-mapper-mutipath na CentOS/RHEL). Ima official guide od RedHat-a i jako puno članaka na RHN-u.
        3. Zatim, potrebno je kreirati i razmjeniti ssh ključeve (kao root).
        4. Virt-manager zahtjeva da se hostovi međusobno resolvaju (dovoljno ubaciti IP/hostname mapping u /etc/hosts ako nisi na DNS-u).

        Evo ... probao danas sa dva IBM x3950 i direktno spojenim IBM DS3400 sa sheranim volume-om . Radi ko zmaj.
        (Zapravo sam najviše vremena izgubio na update firmware-a na Emulex FC kartama i rješavanje problema vezanih za Emulex i multipath.)
        Menjao Ace Rimmer : 09.01.2015. u 21:24

      22. #8
        Member Avatar korisnika igor2
        Na forumu od
        Jan 2001
        Lokacija
        beograd
        Poruka
        1.115
      23. Moja mašina
        • CPU: Intel D805
        • MoBo: Gigabyte GA-8I945P-G
        • RAM: 2*1 Gb NCP ddr2667
        • VGA: Gigabyte 8600GT silent
        • OPT: Pioneer 111 d
        • Case: Coolermaster 420W
        • Ostalo: Lenovo R61
      24. Samo da javim, lepo to sve radi.

        Hvala puno za linkove, u principu najkorisniji je https://alteeve.ca/w/AN!Cluster_Tutorial_2 kao detaljan opis, a ovaj link mi je pomogao da resim jedini problem koji sam imao a ticao se gfs2 http://www.golinuxhub.com/2014/02/co...ng-vmware.html

        Problem sa kojim sam se sreo je da je jedan node video šerovani disk sa SAN storidža kao /dev/sdc i dev/sdd, ne znam stvarno zašto. Svi diskovi (install, quorum, datastore) su dobro mapirani i na SAN mreži su, ali taj jedan je pravio problem, nikako nisam mogao da očistim suvišni disk. Sam luci je prijavljivao da je sve ok, ali nisam mogao migrirati gfs2 particiju jer je na jednom sdc, na drugom sdd.
        Ovo se javilio iznenada, jedino sto sam radio je konfigurisanje fence devicea. Kao fence device sam stavio HP bladecneter, i to nisam uspeo sto posto da podesim, moram naci negde detalje.

        Na kraju sam diskonektovao shared disk, i obrisao i dev/sdd i dev/sdc, pa ponovo mapirao disk, rescan i sve radi.

        desilo mi se par puta (ne svaki put) i kada pomerim gfs resurs sa noda na nod, da se izgubi na nodu gde se "vrteo", ali prost mount resi problem.
        Isto u fstabu, mora (tj poželjno je) da se uradi mapiranje preko UUID diska,ne preko /dev putanja.

        Uglavnom, okačiću setup negde na net. ethernet je imao 3 konekcije, jedna za sam mgmt, jedna rezervna (mislio sam da je ostavim za neki DMZ da probam), a jedna je trunk za 2 vlana, i to radi jako lepo.

      25. #9
        VIP member
        Na forumu od
        Feb 2002
        Lokacija
        Beograd
        Poruka
        1.955
        Bez fencinga nemoj da radis ni korak dalje
        napravi naloge na iLO uredjajima i dodaj fencing kao "ipmilan" sa pravim user / pass kombinacijom.
        GFS2 ne moras da selis kao resourse jer on moze da bude mountovan na svim nodovima u isto vreme tj uvek.

        Ali u svakom slucaju +1 glas za oVirt ovo sto ti radis je zanimljivije ali generalno napusten koncept za tu svrhu.

      26. #10
        Member Avatar korisnika igor2
        Na forumu od
        Jan 2001
        Lokacija
        beograd
        Poruka
        1.115
      27. Moja mašina
        • CPU: Intel D805
        • MoBo: Gigabyte GA-8I945P-G
        • RAM: 2*1 Gb NCP ddr2667
        • VGA: Gigabyte 8600GT silent
        • OPT: Pioneer 111 d
        • Case: Coolermaster 420W
        • Ostalo: Lenovo R61
      28. de si statore

        Sredio sam fencing, tnx. Testirao sam i kako se sistem ponasa bez fensinga i simulirao problem, dobrano se zaglupeo
        gfs 2 jeste mountovan (imao sam zbun u pocetku, prevideo sam da sam ostavio stiklirano "force unmount", pa se onda desavalo kada pomerim resurs, da se izgubi sa node na kojem je prethodno bio) na oba sada, sve je kul

        Jeste oVirt super, nema dalje, ali odavno sam skapirao da je bolje otici ispod haube, podrndati sta god mozes kad vec imas na cemu

      Bookmarks

      Dozvoljeni tagovi

      • Ne možete pokrenuti nove teme
      • Ne možete odgovoriti u temi
      • Ne možete okačiti atačmente
      • Ne možete izmeniti svoje poruke
      •