Šta je novo?
Od:
Filteri

Backup / NAS / File server?

milanbb

milanbb

Moderator
Super Moderator
Učlanjen(a)
02.11.2000
Poruke
5,753
Poena
770
Ima li neko iskustva sa pravljenjem backup / file servera za otprilike 100 korisnika?

Hardverski deo je manje bitan, 4 diska, mirror, gbit mreza...

Problem je za koji softver da se odlucim, tj da li ici sa nekim linux distrom (debian npr), ili nesto tipa FreeNAS, Openmediavault,...

Zeleo bih da u okviru jedne masine omogucim sto vise od sledecih servisa:

1. File backup, FTP je sasvim ok
2. User konzolu, za promenu passworda, pregled fajlova, ispunjenosti kvote i sl.
3. Nesto tipa OwnCloud, kacenje fajlova i mogucnost da se oni vide spolja, mozda cak i sync foldera.

Ideje, predlozi? :)
 
Openmediavault je debian al' to verovatno vec i znas.
 
Da, ali ga nisam koristio, koliko vidim ima slican nacin instalacije kao FreeNAs: poseban disk pa se dodaju ostali diskovi.

Ono sto si mi je bitnije je da li neki od njih podrzava servise koje sam naveo. Korisnici mi bas i nisu brilijantni sa razumevanjem rada racunara pa bih da napravim nesto jednostavno za koriscenje.
 
Poslednja izmena:
Možeš uzeti Bacula kao softver (ima GUI i Webmin modul) ili BackupPC ako si zamislio da ti kao admin kreiras polise i backup-ujes fajlove. Manje vise rade sve , a ti imas potpunu kontrolu nad svim.

Ako si zamislio da im das neki prostor da tamo imaju kopije/originale fajlova, onda ti je i Samba/NFS share dovoljan + permisije + mozda neki softvercic koji ima i podrsku za sinhronizaciju (Synctoys, Duplicati, Fbackup i slicno)

Za private cloud sam video da postoji OwnCloud, ali ga nisam koristio nigde. Ima dosta zanimljivih dodatnih funkcija (smartfon podrske, roundcube + imap ako ga vec imas namestenog za mailove i sl) Kontam da je "relativno lak" za namestanje ako imas Linux i foldere gde korisnici drže podatke.

U suštini, izbor softvera zavisi kako si zamislio proceduru za backup (ti ga radis, korisnici ga rade, sinhronizacija ili cuvanje podataka do nekog vremena unazad, da li ti klijenti koriste Windows ili Linux i sl) Ako te ne mrzi nakucaj još detalja, pa da damo neki predlog

Kad smo već kod ove teme, jel od hardvera za backup neko imao iskustava sa EMC Data Domain-om ?
 
Ideja je ovo pod 2: ja njima prostor, a oni neka se svrckaju sa njim.

Generalno bi FTP resio dosta toga, ali je izazov promena passworda - sto me jako smara jer ih zaboravljaju i slicno. A hteo bih da resim i problem slanja fajlova napolje jer to trenutno rade preko velikih mailova - pa im se desava da osinu exp baze sa 3000 fajlova u zip/rar preko maila, sto poprilicno ubije server. Naravno, sve to jer im je komplikovano da koriste xtraupload file share koji imam u lokalu.

Znaci idealan scenario bi bio:

- FTP ili neki slican mass upload zasticen jedinstvenim user/pass za svakog korisnika.
- neki front end koji bi omogucio da se fajlovi uploadovani kod korisnika u PUB vide spolja preko http-a (znaci bez ftp pristupa, eventualno neki pass sa druge strane).
 
Moram ti postaviti jos pitanja, malo mi je neodredjeno, mogao bi 100 resenja da ti kazem, a da ne pogodim sta si hteo :)

1) Imas li Windows ili Linux okruzenje (korisnici) ?
2) Hoces da svaki korisnik ima poseban pass za pristup backupu. Da li passwordi moraju da se menjaju na nekom vremenskom nivou ili ostaju stalno isti ? Da li password menja korisnik ili ti ?Jel moze biti isti password ko trenutni korisnicki password za logovanje na racunar ?
3) Za public access je pitanje da li ti svaki korisnik ima svoj pub folder u home/backup folderu (\\BACKUP\KORISNIK\PUB) ili svi imaju jedan zajednicki PUB folder (\\BACKUP\PUB) ili svi imaju jedan zajednicki PUB folder, a u okviru njega svaki korisnik ima svoj folder (\\BACKUP\PUB\KORISNIK) ?
4) Da li koriste razmenu fajlova izmedju sebe (firma je na vise lokacija) ili sa svetom (bilo ko spolja treba da preuzme neki veliki fajl) ?
5) Da li ti treba da napravis servis kao Dropbox od tog file-share/backup servera ? (korisnik ima pristup tim fajlovima gde god se nalazio)
6) Ako ti firma ima sajt na nekom hostingu, imas li FTP pristup tom sajtu i dovoljno prostora za fajlove koje bi tamo prebacivao da ih bilo ko moze da preuzme (ako ti ta varijanta treba) ?

Na prvu loptu kontam da bi ti Samba share sa mapiranjem drajvova bio dovoljan za backup (i korisnicima mnogo razumljivije i lakse od FTP-a), a Apache sa eventualnom spoljnom autentifikacijom za preuzimanje fajlova
 
Kljajoni je napisao(la):
Moram ti postaviti jos pitanja, malo mi je neodredjeno, mogao bi 100 resenja da ti kazem, a da ne pogodim sta si hteo :)

1) Imas li Windows ili Linux okruzenje (korisnici) ?
Kliknite za proširenje...

Windows XP i 7

2) Hoces da svaki korisnik ima poseban pass za pristup backupu. Da li passwordi moraju da se menjaju na nekom vremenskom nivou ili ostaju stalno isti ? Da li password menja korisnik ili ti ?Jel moze biti isti password ko trenutni korisnicki password za logovanje na racunar ?
Kliknite za proširenje...

Svaki korisnik ima svoj password, ne mora da se menja avtomatikom, pass menja korisnik (ili admin). Problem sa passwordom za logovanje na racunar je sto ga nemaju svi :|

3) Za public access je pitanje da li ti svaki korisnik ima svoj pub folder u home/backup folderu (\\BACKUP\KORISNIK\PUB) ili svi imaju jedan zajednicki PUB folder (\\BACKUP\PUB) ili svi imaju jedan zajednicki PUB folder, a u okviru njega svaki korisnik ima svoj folder (\\BACKUP\PUB\KORISNIK)?
Kliknite za proširenje...

To je sve u "smisljanju" ali bih isao na to da svaki korisnik ima pub u svom folderu koji bi bio vidljiv za sve korisnike, pa prekopira fajl u njega i on bude vidljiv svima. Fora je sto ovo sa pub bas nisam radio pa ne znam koliko mogu da izmisljam na tu stranu.

4) Da li koriste razmenu fajlova izmedju sebe (firma je na vise lokacija) ili sa svetom (bilo ko spolja treba da preuzme neki veliki fajl) ?
Kliknite za proširenje...

Da, stim sto u okviru firme imaju klasican sharing i FTP servise za neke druge potrebe (tj koriste sharing i FTP na dnevnom nivou)

5) Da li ti treba da napravis servis kao Dropbox od tog file-share/backup servera ? (korisnik ima pristup tim fajlovima gde god se nalazio)
Kliknite za proširenje...

Pa meni jos jedna muka bas i ne treba :) Podigao sam ja OwnCloud i to radi za mene, ali kapiram da bih se ojeo da to stavim za 100 korisnika i omogucim upload preko FTP-a i indeksiranje svih fajlova on-the-fly. Generalno bi samo neki web front za FTP radio sve sto treba (http pristup, user login, promena passworda) ako tako nesto postoji.

6) Ako ti firma ima sajt na nekom hostingu, imas li FTP pristup tom sajtu i dovoljno prostora za fajlove koje bi tamo prebacivao da ih bilo ko moze da preuzme (ako ti ta varijanta treba) ?
Kliknite za proširenje...

Ovo generalno nije problem, imamo svoje in house servere i 20/20 link.

Na prvu loptu kontam da bi ti Samba share sa mapiranjem drajvova bio dovoljan za backup (i korisnicima mnogo razumljivije i lakse od FTP-a), a Apache sa eventualnom spoljnom autentifikacijom za preuzimanje fajlova
Kliknite za proširenje...

FTP koriste svakodnevno, barem 85% - njih takav je posao,... E sad taj Apache zvuci ok, samo ne znam sta da gledam - neki predlog?

Hvala.
 
Ako hoćeš FTP, onda digni Linux, instaliraj Webmin za administraciju, pa Usermin za korisnike (mislim da je to tacno ono sto trazis). Kod Usermina im definisi module koji im trebaju (npr samo promena passworda,file browser, disk quota). Izaberi neki FTP server (npr proFTPD), ucitaj webmin modul za njega, konfigurisi ga (ili preko terminala), testiraj na par korisnika i ... to je valjda to. Kao klijenta im stavi Filezilu sa vec snimljenim parametrima da ne kucaju password stalno.

Kad ovo namestis, onda ti je PUB folder laksi deo posla. Posto sve radis na Linux-ovom fajl sistemu, FTP i HTTP bez problema mozes dici paralelno i konfigurisati onako kako si gore zamislio.

Za Apache vidi uputstvo u knjizi Centos Cookbook, mislim da ima to sto ti treba + FTP je isto solidno objasnjen. Ako ti treba brzi Apache kurs, onda prodji prvih par modula LinuxCBT Httpd Edition.

Nisam se preterano udubljivao u ovo, ali kontam da bi mozda mogao da namestis i pristup nekom FTP folderu spolja (anonymous logon) i da ti odatle bilo ko sa neta pristupa i deli fajlove, sta ce ti 2 razlicita servisa (FTP, HTTP) za jednu istu stvar (preuzimanje fajlova) ? Ako su ti FTP serveri koje imas pod Linuxom i ti ih administriras, samo iskoristi konfiguraciju, tj malo je preradi da ti odgovara ovim potrebama, ne verujem da moze biti komplikovano.

Pazi samo da odradis security sto bolje ako ovo drzis kod sebe (npr server u DMZ ili reverse proxy ispred servera + mozda i SSL, ali sve ovo moze dosta da iskomplikuje stvar)

Nadam se da sam bar malo pomogao.
 
Evo malo i mog iskustva, ako moze da ti pomogne.....
Ja sam i ranije za bekape koristio Mandrivu, a sad Mageiu, i to tako sto podignem pure-ftpd ( topla preporuka, lightweight i nije busan kao proFTPD), a na klijentima CobianBackup ( freeware ), jednom definises user i pass, ubacis u Cobian i sve fercera kao sat.
Slazem se sa Kljajonijem, Webmin ti je uvek tu za administraciju....
Ali ne kapiram zasto to hoces da stavljas na istu masinu? Zar treba svim korisnicima da pristupaju bas svim svojim fajlovima iz bekapa?
Ipak mislim da ti je bolje resenje OwnCloud na drugom serveru, neka sinhronizuju samo ono sto im treba ( sa sve PUB-om) i to je to.....
I nije glavobolja administracija za 100 ljudi ;) ( jos ako mozes i da im naplatis kao dropbox, bilo bi idealno :d )
 
Penziono, socijalno i redovna plata....

Pa nije obavezno da sve bude odjednom dostupno, vec da uklopim vise stvari na jednom mestu.

Generalno smer kojim bih se kretao je taj FTP sa quotom 20-30GB, i OwnCloud sa 2-3GB. U lokalu neka podignu sta im treba od "arhivske gradje" a u owncloud neka stavljaju aktuelne fajlove.

Najvise problema mi zadaju izuzetci, npr. desi se da firmi koja ima proxy i pobijene portove treba poslati fajl od 200mb-500mb (ili obrnuto - ta firma treba nama da posalje nesto) i zato bi mi jako odgovaralo da to bude HTTP.

Servera imam i previse i zato ce sve biti na jednom mestu, samo pitanje kako organizovano. Kako je ko imao neku sjajnu ideju tako je podizan server, pa sada imam gomilu document management-a, ftp-ova, http-ova i slicno.
 
Ide li autentikacija korisnika preko nekog LDAPa? (OpenLDAP, AD ...). To bi pokrilo autentikacju po svim servisima.
Ako ne, možda bi bilo dobro razmilisti o tome. Složiš im neki "self-service password managment" ... ja sam na internoj mreži postavio neku gotovu PHP aplikaciju koja za korisnika odrađuje promejnu passworda na LDAP-u i fino mu javi mailom. Naravno, tako nešto na obavezno na port 443 (SSL). I nema šanse da bi korinici prošli bez kvota na file sistemu :d.
 
Poslednja izmena:
Nemam LDAP, nisam uspeo i to da naucim :(

@pilac: Radi ovaj mount, samo je malo spor kada je veci FTP folder. Brine me sto je to kao da das deci makaze i kazes "nemoj da izbijete sebi oci"... :( jer smem da se kladim da ce neko da mountuje / od informix usera sa 100GB baza i ko zna koliko 'iljada fajlova, da bi prebacio zip od 200MB :)
 
A zasto nebi pogledao neki Synology uredjaj npr. Diskstation DS413j i ubacio 4 HDD-a unutra - Synology DSM radi sve sto trazis out of the box i napravljen je da deca mogu da ga setuju (uz sve to - nudi i mnogo mnogo vise)...
Pogledaj vise ovde: http://www.synology.com , a ovde http://www.synology.com/products/dsm_livedemo.php?lang=enu imas live demo GUI-ja...

Mislim da ce biti bolje nego da se akas da sklepas nesto sto ce delimicno da radi...
 
Nema ga u nabavci kod jedinog dobavljaca sa kojim saradjujemo i ako crkne mogu da placem = mora kinez i Linux + nesto.
 
Poprilično brzo si se prebacio sa hw dijela na soft problem. U biti da ti malo dočaram ja ima server kući za neki 10 korisnika, koji radi otprilike sve što ti to hoćeš. softwer je freenas i tu možeš sve podesiti usere šerovanje fajlova za sve usere od widnowsa, unixa, apple, andorida, sve se može pokriti konfikurisati...traži malo vremena ali se fino podesi. najveće muke će ti biti da složiš hardwer, odrediš koji ćeš raid itd itd jel to će ti kasnije biti usko grlo, kao i mreža. Bez dvije gbitne ja se nebi upuštao....Održavanje ovog freeenasa kasnije je skroz lako na stiku je, dizanje ako šta ode od hdd do procesora, matične je očas posla :)

Softwerski ćeš to lako složiti ali diskovi odnosno raid i mreža će ti kasnije najviše praviti problem.
 
Ne vidim zasto je HW po tvom misljenju problem. 4 diska od 3TB u raid 1 i to je to, 6TB prostora. Mreza je svakako gigabit, a sve sto je preko 100Mbit je super.
 
100 korisnika nije malo, svih 100 korisnika ide kroz 1 gbit i to više nije gbitna mreža :) neka ti 20 korisnika u isto vrijeme krenu nešto da kopiraju vuku ode gbit.
 
FreeNAS i LAG interface! Stavi jedno 4-6 Gbitne kartice. Samo kad bi uzeo nešto kvalitetnije od realteka. Switch mora da podržava lacp i ieee802.3ad - link aggregation

Podigneš lepo ZFS i što više rama to bolje. hw. RAID zaboravi - samo JBOD i vozi.
Pusti ZFS-u da odradi ako treba RAIDZ(n), gde n zavisi od broja diskova i tvojih potreba.

Ovo je iz freenas guide-a.

• Start a RAIDZ1 at at 3, 5, or 9 disks.
• Start a RAIDZ2 at 4, 6, or 10 disks.
• Start a RAIDZ3 at 5, 7, or 11 disks.

RAIDZ1: ZFS software solution that is equivalent to RAID5. Its advantage over RAID 5 is that it
avoids the write-hole and does not require any special hardware, meaning it can be used on commodity
disks. If your FreeNAS® system will be used for steady writes, RAIDZ is a poor choice due to the
slow write speed.
RAIDZ2: double-parity ZFS software solution that is similar to RAID-6. Its advantage over RAID 5 is
that it also avoids the write-hole and does not require any special hardware, meaning it can be used on
commodity disks. RAIDZ2 allows you to lose one drive without any degradation as it basically
becomes a RAIDZ1 until you replace the failed drive and resilver. At this time, RAIDZ2 on FreeBSD is
slower than RAIDZ1.
RAIDZ3: triple-parity ZFS software solution. RAIDZ3 offers three parity drives and can operate in
degraded mode if up to three drives fail with no restrictions on which drives can fail.
Kliknite za proširenje...

Ako imaš SDD za L2ARC i ZIL isl. još bolje.

Konfigurabilna mašina koja može da bude vrlo ozbiljna i naravno zahteva ozbiljniju mrežu (bolji switch).
 
Poslednja izmena:
Izbor se trenutno vrti oko FTP + OwnCloud, mreza je jedan Juniper upravljivi + Level1 L2 switchevi, tako da mogucnosti za neko uparivanje kartica nema :(
 
Idi na OwnCloud u solo varijanti. LAMP stack.

Ako imaš AD, može i sa njim da se upari bez problema :)
 
A sto ne stavis Zentyal server? Web access/interfejs za podesavanje i ukljucis servise, ima ftp, file server s kvotama, Useri, AD integracija... Freenas je super ali za kucnu varijantu.
 
Poslednja izmena:
Pozdrav svima,

nadovezacu se sa nekim pitanjima na slicnu temu. Planiram vec duze vreme neku opciju za file server ili file/multimedia server.

Trenutno imam dva racunara i dovoljno diskova da ne mogu svi da stanu u oba racunara, nesto manje od 20tb sve ukupno. Zivim bez bekapa i imam srece za sad. Trazim resenje koje ce mi ponuditi dvostruku parnost da bih imao malo vecu sigurnost podataka nego trenutno. Poslednji put kad sam istrazivao na tu temu, odlucio sam se za FreeNAS sa nekoliko RAID-Z2 nizova. Predost vidim u dvostrukoj parnosti i mogucnosti da dodajem grupe diskova, na svakih godinu, dve kad ponestane prostora. Problem je nastao na strani hardvera. Prvo, ljudi na FreeNAS forumu su me upozorili da je za pouzdan rad RAIDZ file sistema vrlo preporucljiva ecc memorija. Drugi problem je nastao u ram zahtevnosti ovog file sistema, gde se za normalan rad preporucuje 1-2gb rama po tb hdd-a, sto me je dovelo na racunar sa 16-24gb rama i mogucnoscu prosirenja do 32gb u nekom trenutku. Onda sam odlucio da cekam da mi padne saka neki HP ProLiant G6 sa pozicijama za 16hdd-ova i da zamenim mreznu kartu sa nekom LSI kartom koja podrzava JBOD, posto HP karta nema JBOD opciju. Polovan server sa 32-48gb rama bi kostao oko 400e, lsi karta jos nekih 150-200. Uz to bi mi trebao ups i bio bih miran, sa sjajnim performansama za manje para nego sto kosta qnap ili drobo sa osam pozicija (polazim od predpostavke da je bilo koji server mnogo brzi pri upisu/citanju od ovih malih nas boksova).

Osnovna funkcija masine bi bila veca sigurnost podataka i mogucnost svim podacima bez cupanja harda, ubacivanja drugog i sl. Racunaru bi se pristupalo uglavnom lokalno, ne vise od 20 korisnika, verovatno ne vise od tri istovremeno.

Na ovom forumu sam video da ljudi preporucuju openfiler i openmediavault. Posto nisam nasao na njihovim sajtovima podatak kakav softverski raid koriste, zanima me da cujem od ljudi koji su ta resenja koristili koliko su njihovi softverski file sistemi pouzdani, da li postoji mogucnost dvostruke parnosti, koliko su memorijski zahtevni i koliko im je bitna ecc memorija?

Ako mi ne treba vise od 4gb nonecc rama mogu da prodjem sa znatno starijim i/ili slabijim racunarom. Razumem da ima mnogo opcija koje su bolje od resenja koje trenutno koristim, ali zelim da ako vec ulazem pare da ulozim u resenje koje ce trajati, samo mi je tesko da se bez prethodnog iskustva odlucim za jedno. Na prvom mestu mi je sigurnost file sistema, na drugom performanse upisa/citanja, posle toga idu mogucnosti prosirivanja (torrent, media server, dlna, ftp, intranet web server i sl).

Ako bih mogao iole zavidne performanse i sigurnost da dobijem sa itx plocom u nekom mikro kucistu, 4-8gb rama i nekim od pomenutih softvera (openfiler, openmediavault) napravio bih rado jedan takav sada sa 4x3tb, pa za dve godine jos jedan; i to postoji kao solucija, ako mi ne treba velika kolicina rama i ecc ram.

Znam da je duzi post, hvala svakom ko ga procita, a posebno onima koji mi daju neki koristan odgovor.

Pozdrav
 
Poslednja izmena:
Koje te preformanse interesuju? ja imam u jednoj masini 2 volumena po 3x2tb sa 8gb rama, kad povuče par usera istovremeno sve je ok... performanse su jako solidne....koristi cca 10 usera i nevidim nedostatke da se neko žali da ima neki problem sve radi super...
 
@Almir:

Ne trebaju mi neke posebne performanse, nisam razmisljao o tacnim vrednostima, ali mi delujem jako malo kad jedan Qnap ima recimo kontinualni upis 25MB/s. Pri citanju vise razlicitih korisnika istovremeno mislim da bi mi 30-40MB/s bilo sasvim dovoljno, ali za upis bih rado zeleo vise. E sad, ako bih i VMWare hardove prebacio na server, trebalo bi mi bar jos 50%. Sta ti koristis od harvera, nas box ili poseban racunar? Koji softver, fajl sistem?

Ja sam razmisljao RAIDZ2, da napravim, vdev od 6x2tb do 6x3tb (8-12tb), pa da dodam jos jedan isti niz kasnije.

@banzaiii:

tek sam danas poceo da citam na temu mdadm-a, pa ako imas neko iskustvo zanima me koliko je pouzdan/preporucljiv ovaj fajl sistem, eventualno neko poredjenje sa drugim soft raid opcijama

hvala,
pozdrav
 
Kao što sam rekao u pitanju je frenas...cpu je AMD Athlon(tm) II X3 450, cpu nije ni blizu iskorišten cca 10-30%......rama 8, rijetko kad ode preko 6 da se iskoristi... sistem je onaj 3 jednaka diska može iskočiti jedan, naravno imaš prostora kao da ima 2...za home meni ok
Svi fajlovi su na serveru za sve usere, imam par telefona, tableta, laptopa, ove veće brzine nećeš moći očekivati na tim uređajima jel mreža je ograničenje na samim uređajima al je sve fluidno..dalje sve to ide na routerboard-mikrotik koji dalje to rutira i on je isto jedna od prepreka većim brzinama ali treba srediti mrežu a na frenasu nisam uspio tako da mi treba ruter+firewal...

torent sistem ti je fizički odvojen na isti interface dodijeliš drugu ip i taj sistem tj torent ide preko druge ip adrese klijent ti je transmision, ugl digne se drugi sistem unutar frenasa tako da je server sigurni..
ja koristim 3 htpc mašine za 3 tva, na serveru je centralizovano sve, mreža 100mb i kad povuku hd materijal nema potrebe za bržim
šerovanje na win. unix,mac, ftp sve je to klasika i nema problema...

Na forumu frenasa imaš hw od korisnika sa nekim mjerenjima gdje idu daleko preko 25mb, isčitaj forum vidi šta ti najviše odgovara i to je to... ja to koristim u home okruženju i više je nego ok.
 
SaleB je napisao(la):
@banzaiii:
tek sam danas poceo da citam na temu mdadm-a, pa ako imas neko iskustvo zanima me koliko je pouzdan/preporucljiv ovaj fajl sistem, eventualno neko poredjenje sa drugim soft raid opcijama
Kliknite za proširenje...
Mdadm nije fajl sistem, već alatka koja radi zajedno sa fajl sistemom (i LVM-om, ako ga ima). Sam izbor između Linux ili FreeBSD bazirane platforme je priča za sebe. U svakom slučaju, dugotrajno igranje sa test mašinom ti ne gine. E da, RAID nije zamena za bekap.
 
Morate se prijaviti ili registrovati da odgovorite ovde.
Vrh Dno