Šta je novo?

Server za storage (10+ hddova)

Pa dobro, samo ce ti komunikacija biti ogranicena na nekih 10mb/s.
 
Mislim da je dobro da malo pojasnim nacin rada koji ce biti tu, mozda pomogne u daljoj diskusiji

1. fotografije/video se prebacuje na lokalne racunare odmah posle snimanja i tu se biraju koje idu u dalju obradu, koje se brisu itd
2. ove koje se obradjuju se prebacuju na server u folder za obradu i u folder za arhiviranje
3. retuseri povlace fajlove za obradu sa servera na lokalne racunare i obradjuju
4. obradjene fotke vracaju u novi folder na serveru (koji je idealno na dropbox-u) odakle se upisuju meta podaci u njih i salju se dalje na sajtove/klijentima

mi trenutno ovu razmenu vrsimo ili preko dropbox-a ili preko flesa ili preko skajpa ili preko airdrop-a, kako kome kad lakse, brzina nije skoro uopste bitna
(verujem da je veca od toga da se prebaci 16gb sa jednog racunara na usb2 flash pa onda sa tog istog usb2 flesa povuce na drugi komp) -> ovo slobodno moze da bude parametar za potrebnu brzinu
ono sto jeste bitno je da podaci budu uvek bekapovani i bezbedni
 
Kada u Raid nizu crkne jedan disk, samo ga zameniš sa novim, i nastaviš dalje. Bez gubitka podataka. Bez gašenje NAS-a.
Da se ogradim od komentara profesionalaca... Ovo ne važi za sve raid nizove, vec samo za one koji imaju mirroring.
Nisam ni mislil da ubijaju wifi. Neka ga ostave za telefone i laptopove... Ali kada se radi ozbiljan posao ethernet je daleko bolji izbor.
 
Poslednja izmena:
Nista nakon svega ovoga preporuka za NAS:
RAID6 niz +hotspare
Bekap:
Freenas/Openmediavault
Raid5 + hotspare.

I vozi.
Inace svaki NAS ima i web pristup ,tako da mogu odakle zele da skidaju fajlove i postavljaju.
 
Imas bekap na Freenas/Openmediavaultu. To radis svako vece. Uvek naravno postoji sansa sve da crkne.
 
Mislim da je dobro da malo pojasnim nacin rada koji ce biti tu, mozda pomogne u daljoj diskusiji

1. fotografije/video se prebacuje na lokalne racunare odmah posle snimanja i tu se biraju koje idu u dalju obradu, koje se brisu itd
2. ove koje se obradjuju se prebacuju na server u folder za obradu i u folder za arhiviranje
3. retuseri povlace fajlove za obradu sa servera na lokalne racunare i obradjuju
4. obradjene fotke vracaju u novi folder na serveru (koji je idealno na dropbox-u) odakle se upisuju meta podaci u njih i salju se dalje na sajtove/klijentima

mi trenutno ovu razmenu vrsimo ili preko dropbox-a ili preko flesa ili preko skajpa ili preko airdrop-a, kako kome kad lakse, brzina nije skoro uopste bitna
(verujem da je veca od toga da se prebaci 16gb sa jednog racunara na usb2 flash pa onda sa tog istog usb2 flesa povuce na drugi komp) -> ovo slobodno moze da bude parametar za potrebnu brzinu
ono sto jeste bitno je da podaci budu uvek bekapovani i bezbedni

Na osnovu procesa obrade podataka ogranizuj raspored i broj racunara koji se koriste. Na osnovu toga mozes da vidis koliki ti storage treba. NAS je svakako daleko bolji izbor od setanja externih HDD-ova i USB stikova. Kopiranje materijala na lokalne masine, obrada i vracanje nazad je mac sa dve ostrice. Mozda je brze, ali ako u toku obrade crkne taj racunar, obradjeni podaci su izgubljeni (privremeno ili stalno).

Ja imam jedan Thecus NAS i jedan backup server. Svi podaci se nalaze na njemu i fajlovi se direktno vuku sa njega. Nista se ne cuva po lokalnim diskovima. Postoji backup na koji odlazemo zavrsene projekte.
 
meni to crkavanje lokalnih diskova uopste ne smeta, jer svaki fajl kako se obradi ide na server, najveca moguca steta je da izgubimo taj jedan fajl, sto je u vecini slucajeva 30 min posla.
najbitnije je da je folder za arhiviranje iz stavke 2 bude maksimalno bezbedan i bekapovan, i obradjene fotke kada se stave na server budu bezbedne

Koja je mana Synology DS2413+ u odnosu na QNAP posto je skoro dupla razlika u ceni?
za taj freenas bekap Raid5 + hotspare koje komponente bi bile ok? prvenstveno me zanima preko cega bi se radio Raid5, softverski ili koju karticu?
koji ruter preporucujete?
da mogu vec polako da formiram cenu hardvera
 
meni to crkavanje lokalnih diskova uopste ne smeta

Priča se o diskovima u NASu…


za taj freenas bekap Raid5 + hotspare koje komponente bi bile ok? prvenstveno me zanima preko cega bi se radio Raid5, softverski ili koju karticu?

Ja bi išao na bilo koju ploču koja ima više od 6 SATA konektora, neki i3 procesor i barem 4GB RAM-a. Možda je i3 overkill, ali kontam da ćete vi to da rabite godinama, da će to godinama da raste, a od viška glava ne boli. Svaka ploča za Intel čipom i 6+ SATA konektora ti već podržava RAID 0,1,10, a možda i RAID5. Ako ne, FreeNAS i ostalo društvo imaju mogućnost soft RAID-a, i tu ti onda i3 dolazi do izražaja, jer on obrađuje podatke koji idu na diskove.


koji ruter preporucujete?

Ruter već imaš - Mikrotik. Treba ti Gb LAN switch koji podržava Teaming/Bonding/LACP/kako-ga-ko-već-zove, da možeš da spojiš 2-3-4 LAN porta na NAS-u u jedan i tako uradiš povećanje protoka (što ti odmah smanjuje vrijeme trajanja backup-a, kao i povećava broj korisnika za simultani rad). Ovo je po principu koliko love - toliko muzike. Ja bi u svakom slučaju išao na neki provjeren brend.
 
Poslednja izmena:
Prvo , onaj QNAP ima ECC memoriju, zato je skuplji. Koliko ti je bitan ECC sam proceni.

Drugo za Freenas/OMV komponente ti nisu ni bitne. Radis u svakom slucaju softverski RAID5 koji nije nesto procesorski zahtevan. To ce ti biti cista bekap masina, tako da moze i dualcore. Castor kaze neki dobar intel, isto imas i FM2+ ploce sa 8 konektora. Plus naravno dodavanje kartice za prosirenje ukoliko bas do toga dodje. Recimo, racunaj da stavis 6 diskova, 5 ti ide u RAID5. Ako su 4TB diskovi, imas 16TB iskoriscenog prostora. Sad ti proceni koliko ti treba prostora samo za bekap.

Switch, realno bilo koji koji podrzava bonding(dal je to pametni TP-link,Cisco ili Mikrotik tvoja je odluka). To se jednom podesi i zaboravi.
 
Dodao bih koji info na ključne reči FreeNas i OpenMediaVault koju reč, ne zamerite ako unesem dodatni haos na temu. :D
(Ustvari, o FreeNas-u, OMV nisam značajnije koristio.)
FreeNas ima isključivo i jedino smisla koristiti u konstelaciji: CPU sa ECC podrškom, ECC RAM >=8GB i BEZ raid kontrolera, tj makar da diskovi budu u JBOD modu. Pride, serverske ploče koje, jelte, podržavaju ECC ram, uglavnom imjau i servisni LAN port i kojekakve mogućnosti kroz njega, recimo da javlja na mail ukoliko neki od HDD-ova ima SMART problem.
Glavna snaga FreeNas-a je ZFS i to u minimum RAID-Z2 režimu, koji trpi otkaz 2 diska. (Raid modovi koji trpe otkaz samo 1 diska su za one hrabrije ljude. :D) FreeNas jeste soft raid i mora da ima direktan pristup HDD-ovima, nikako kroz HW raid kontroler, ali nemojte zbog toga da smatrate da je po bilo čemu inferioran u odnosu na HW raid kontrolere, moglo bi se reći da je često u prednosti u odnosu na njih. ECC je neophodan jer FreeNas sve vreme vrši proveru podataka kroz ceo sistem, pa i RAM, i ima mogućnost da ispravi korumpirane fajlove, što je ipak moguć scenario na toliko mnogo TB-a. Podržava LACP, tako da mogu da se, uz odgovarajuću mrežnu opremu, postignu simultani full 1gb/s pristupi.
Pored svega, podržava i sistem plug-in-ova i međ' njima i OwnCloud koji je ekvivalent DropBox-u, ali po "sopstevnim" pravilima i ograničenjima korisnika u kapacitetu.

Moje iskustvo sa FreeNas-om u produkciji je 6+ meseci, u AD okruženju gde mu oko 200+ korisnika svakodveno pristupa, a noću se na njega beleže backup-i sa servera. Za sada je sve rock solid, da kucnem u drvo. :D Doduše, sve sa FreeNas-a bekapujem na drugi storidž, za ne daj Bože.

Podešavanje svega toga, pa... Nije mega komplikovano, ali jeste komplikovanije od brand rešenja... FreeNas je ozbiljna enterprise alatka i samo sa takvim pristupom ima smisla.
OMV je kućna varijanta, fercera i sa običnim hardverom, uglavnom sa idejom da svu multimediju sevneš na jedno mesto i da ti torrent klijent 24h drlja po tome... Pa i ako zvekne, nikom ništa.
p.s. Nikako ne zaboravi UPS u celoj priči, storidž bez UPS-a je još jedna od hrabrosti. :D
 
Imas samo 4 mesta za 3.5" diskove.
 
Super je ovo stvar, gledao sam review ovoga. ECC/ OMV 10 diskova i vozi.
 
Aleksej, kolege forumaši mudro već rekoše, fali mesta za HDD-ove. Doduše, nisam video koliko SATA priključaka ima na samoj ploči, ne piše u specifikacijama. Viđao sam rekove koji idu u 5.25" slot, a pomenuti server ih ima 2 kom, plus interna mesta za drajvove, pa bi se možda napabirčilo mesta, ali za 2.5" HDD-ove, ako, jelte, ploča ima dovoljno priključaka ili aneks SATA kontrolera u PCI-e. Doduše, to već zalazi u solidnu improvizaciju i potencijalnu noćnu moru za instalaciju.
Ploča koju je Aca pomenuo bi bila i moj predlog ili nešto u tom domenu.
I da ponovim, u slučaju freenas-a, obavezno ECC min 8GB, RAID Z2 (evo calc za kapacitet), dual gigabit mreža i UPS.
 
dva 5.25 slotova mogu da smeste tri diska. Pa ti vidi koliko ti onda treba.
 
samo kuciste je tu najmanji problem, to moze i da se zameni nego sam mislio da dobijem sve ostale komponente za relativno male pare, a da dokupim karticu sa 8 sata slotova koja je podrzana od freeNas-a i to je onda vise nego sto bi mi trebalo u ovom trenutku. Mislim da ni njegovo napajanje ne bi moglo da tera toliko diskova. Ipak ovo kosta manje nego samo ta ploca + ovo mogu odmah da nabavim.

e sad sto se tice sata kartica, tu sam samo pretrazivao po freeNas forumu i video da imaju neke koje ubodes i rade, pa bih birao tu, ali nemam nikakva druga iskustva i ne znam koji su potencijalni problemi

i ovaj nema dual gigabit mrezu pa bih verovatno i to morao da ubacim
 
Poslednja izmena:
U slučaju da FreeNAs bude sekundarno rešenje kritična granica može da se pogura malo dole, dual gigabit neće biti mission critical, tako da tu može da se prištedi, a ako kupuješ i dodatni LAN adapter, FreeNas iskreno voli samo Intela, ostale jok. :D
Ako se snađeš za 8 port SATA adapter, prema preporuci i potvrdi o kompatibilnosti sa FreeNas foruma, to završava posao! Bitno je da je SATA adapter podržan od strane adekvatne verzije FreeBSD-a, koji je osnova FreeNas-a.
Što se HDD-ova, koji su i osnova svega, opšta preporuka su WD RED diskovi, pogotovo novije generacije. U FreeNas slučaju nije presudna njihova dobra saradnja sa RAID kontrolerima (jer ih FreeNas preskače) već optimizacija za NAS upotrebu u vidu male potrošnje električne struje (ovo mogu da potvrdim) i predviđeni rad 24/7/365.
Što se napajanja tiče, nije nemoguće da će ugrađeno napajanje moći da opsluži ovakvu konfiguraciju. Kritičan trenutak je kada se HDD-ovi zaleću, a u samom radu nisu neki potrošači. Takođe, cpu+ram+čipset ne vuku mnogo struje... Možda bi bilo najbolje da se to testira neko vreme, ali nije nemoguće da će sve oket raditi i potrošnja da bude <200w.
 
Poslednja izmena:
Problem s 8-portnim adapterima je što nisu jeftini (cca 120$ najjeftiniji na eBay-u/amazonu). Kad je 8 portova u igri, onda je obično i neki HW RAID u pitanju.
Što se tiče ethernet karti, Intel PRO/1000 PT dual-port PCIe 4x je OK izbor. Oko ~50$ na eBay-u. Podržana na svim platformama. Ja je uzeo za home-build ESXi server.
 
da apdejtujem temu, stigao qnap, ali brzina mi nije bas zadovoljavajuca, povezan je direkt na komp i brzina kopiranja na NAS je ~50mb, je l' to dobro ili nesto nije podeseno kako valja? Vezan je za sad samo preko jednog gigabitnog lan kabla na komp.

U medjuvremenu sam potrosio gomilu vremena na citanje i gledanje u vezi sa ZFS-om, i mnogo mi se vise svidja, tako da u skorijoj buducnosti definitivno planiram ovu plocu: http://www.asrock.com/mb/Intel/X99 WS-E10G/, sa 20+ diskova, nekim xeonom i sto vise ECC memorije, a qnap ce sluziti za bekap, mozda cak uspem da uradim i ofsite bekap sa njim.

Prva sledeca stvar je svakako mreza, treba mi neki switch, ali sa obavezno bar 4x10G portova i recimo 8 gigabitnih za sve ostalo, je l' ima neka preporuka da ne kupim nesto preskupo sto mi ne treba?
I najbitnije pitanje, gde da nadjem coveka ko se u ovo sve sto je opisano u temi razume da dodje da to namesti? Bilo mi glupo (a verujem i protiv pravila) da saljem ljudima koji su ovde pisali PM, pa bolje kontaktirajte vi mene ili me uputite na pravo mesto
 
Možda kasno Marko na Kosovo stiže ali...koja je količina podataka koju imate sada i koliko planiraš da naraste? Ja sam uvek za horizontalno skaliranje i jeftiniji hardver.
 
trenutno se na NAS kopira 30TB, ima jos sigurno 10-15tb na drugom mestu, ali samo u poslednjih mesec dana smo imali ~10TB novih podataka zbog kamere i ogromnih 4k RAW fajlova. E sad koliko planiram da naraste, to nisam siguran da mogu da predvidim tacno, ovih 10TB za mesec dana je ekstrem, i ne verujem da ce ici na vise od 4-5TB mesecno, a i s vremena na vreme se pobrise dobar deo toga, bar 20%, ali to obicno ne bude odmah.
zar nije horizontalno skaliranje skuplje jer mi treba vise uredjaja na istu kolicinu diskova?
Je l' ova kombinacija koju sam naveo skuplja ili jeftinija varijanta, uzimajuci u obzir da bih zeleo 10gig LAN?
 
Poslednja izmena:
Nah, imao sam ideju ali je ispala neisplativa kada se stavi na papir :)
 
Izvinjavam se sto malo skrecemo sa teme ali ne verujem da moze da skodi, jer moze neko od vas strucnijih da pojasni taj LACP.
Kako funkcionise? Jer on bukvalno ako imamo 2 kartice od po 1Gbps kada ih spoji daje 2 ili samo omoguce da u paralelnom pristupu vise racunara moze da ostvari taj 1 Gbps itd.
 
Pod b ;) u paralelnom prustupu ukupni zbir se deli, a maksimum je brzina pojedinacnog linka.
 
Pod b ;) u paralelnom prustupu ukupni zbir se deli, a maksimum je brzina pojedinacnog linka.

Da li to znaci sledece:

Sa jedne strane imamo NAS a sa druge 4 PC-a recimo, izmedju njih je LACP swich sa 8 portova, 4 porta otpadnu za svaki od ovih 4 pc-a a ostala 4 se "bounduju" u jedan i na njega ide NAS.
U tom slucaju zbir bi bio 4 Gbps sto mu dodje da svaki od ova 4 PC-a moze da povuce po 1 Gbps paralelno sa NAS-a. Da li sam dobro shvatio? :p
 
da apdejtujem temu, stigao qnap, ali brzina mi nije bas zadovoljavajuca, povezan je direkt na komp i brzina kopiranja na NAS je ~50mb, je l' to dobro ili nesto nije podeseno kako valja? Vezan je za sad samo preko jednog gigabitnog lan kabla na komp.

U medjuvremenu sam potrosio gomilu vremena na citanje i gledanje u vezi sa ZFS-om, i mnogo mi se vise svidja, tako da u skorijoj buducnosti definitivno planiram ovu plocu: http://www.asrock.com/mb/Intel/X99 WS-E10G/, sa 20+ diskova, nekim xeonom i sto vise ECC memorije, a qnap ce sluziti za bekap, mozda cak uspem da uradim i ofsite bekap sa njim.

Prva sledeca stvar je svakako mreza, treba mi neki switch, ali sa obavezno bar 4x10G portova i recimo 8 gigabitnih za sve ostalo, je l' ima neka preporuka da ne kupim nesto preskupo sto mi ne treba?
I najbitnije pitanje, gde da nadjem coveka ko se u ovo sve sto je opisano u temi razume da dodje da to namesti? Bilo mi glupo (a verujem i protiv pravila) da saljem ljudima koji su ovde pisali PM, pa bolje kontaktirajte vi mene ili me uputite na pravo mesto

50MB/s je relativno nisko za velike fajlove. Moj NAS obično izvlači 75-80MB/s na velikim fajlovima. Sa računara na laptop obično imam preko 100MB/s.

NAS.jpg

Kako su ti diskovi organizovani? Koji RAID? Jesi uključio Jumbo Frames na mrežnoj kartici?

10G mrežna oprema je dosta skupa, mislim da je NetGear najjeftinija SOHO 10GbE oprema.

Uglavnom ako nisi već pročitaj Confessions Of A 10 GbE Newbie, ima 6 kratkih delova, čisto da ti malo voda pođe na usta :)

http://www.smallnetbuilder.com/lanw...ions-of-a-10-gbe-network-newbie-part-1-basics
 
Nije jedan veliki fajl nego gooomila malih od 10mb

raid6, 8x5tb wd red je trenutno u njemu, a bice dodato jos toliko
 
Nazad
Vrh Dno