Šta je novo?

Sinhronizacija par miliona fajlova između Windows računara

Kljajoni

Cenjen
Učlanjen(a)
22.04.2012
Poruke
53
Poena
159
Pozdrav,

ko što sam napisao gore, treba da sinhronizujem na dnevnom nivou 5 miliona fajlova između dva Windows računara (Win 2008 R2 i Win 7) i ovaj broj mi polako, ali sigurno raste, a dnevne promene su otprilike 10000 izbrisanih, 120000 novih fajlova i minus od 20GB do plus od 50 GB promene u veličini. Do sada je korišćen softver Allway Sync, ali za jedno dva, tri meseca više neće moći da se koristi za ovu namenu (prespor).

Razmišljao sam o rsync varijanti za Windows (odgovara i plaćena varijanta), te ako je neko imao ovakvu situaciju zamolio bih ga da preporuči softver ili kaže iskustva (bilo bi dobro kada bi softver mogao da iskoristi VSS pre sinhronizacije). Odgovarao bi i neki drugi softver za sinhronizaciju, samo da kolko tolko brzo radi (postojećem sa podelom poslova treba 10h, a to mi je presporo)
 
Kod mene imam slucnu situaciju doduse sa manjim brojem fajlova ~2 miliona i rsync radi posao (opet doduse na Linux-u, ali ne verujem da to mnogo utice)
Probaj sa http://www.opbyte.it/grsync/

Probaj da ne prelazis ~10.000 fajlova po folderu jer to ume da uspori celu stvar dodatno.

Obavezno javi sta si uradio :)
 
Ja koristim u kućnoj varijanti BitTorrent Sync, doduše za mnogo manji broj fajlova, ali kapiram da bi mogao da ga probaš, čisto da vidiš kako radi.
 
@Dandy - BitTorrent Sync izgleda zanimljivo. Ako sam dobro shvatio , na sajtu su najavili namenski softver Sync for file replication koji treba da izađe ubrzo (Q1 2015) koji je tačno namenjen za ovu vrstu problema. Al svakako će se ovo probati što si predložio u kućnoj varijanti.

@Stator - da sam na Linuxu ne bi razmišljao ni sekunde, rsync i kraj, konfiguracija njegova manji problem. Ovde me više muči što ne znam nijedan kvalitetan Windows port/implementaciju za rsync. Testiracu i ovaj softver sto si predlozio gore, mada koliko sam kratko malo video nema neku schedule opciju za backup u Gui-u sto mi ne odgovara (osim ako ovo nije podrzano iz komandne linije)
 
A ko dodaje i briše te fajlove? Da li se sve svodi na dodavanje i brisanje ili postoji i mogućnost izmene nekog fajla?
 
@kUdtiHaEX - Robocopy mi ne radi posao, ranije sam ga gledao, nema VSS podrsku (mada bi ga mogao ponovo pogledati). Fajlovi su bas raznih velicina - od par KB do par GB.

@yooyo - 30 korisnika aktivno menja te fajlove na dnevnom nivou (i dodaje i menja i brise). Struktura foldera je isto problem jer ide do 10tak nivoa dubine, cesto se predje limit od 260 karaktera, ima jako puno situacija kada je jedan fajl u jednom folderu negde u dnu hijerarhije (npr nemam vise od 200 fajlova u bilo kom pojedinacnom folderu)

Zasad sam se privremeno zakrpio razbijanjem posla na manje delove, al svakako radim i dalje na ovome, te čim nešto kvalitetnije sredim staviću šta sam uradio
 
Umesto što direktno pristupaju fajlovima, treba ti neki program preko koga se pristupa tim fajlovima. Taj program bi mogao da vodi računa o sinhronizaciji na više lokacija.
 
Nazad
Vrh Dno