10GbE Mreža

[Dusan94]

Ne znam da l je tema više za ovaj pod forum ili Šta da kupim? Nek admin prebaci ako misli da treba.

Imam ideju da 3 workstation-a u kancelariji povežem sa NAS-om i da ta veza bude 10GbE.
Ono što me interesuje da li uopšte ima smisla pokušavati tako nešto sa trenutnom ponudom switcheva. U principu, završavao bi mi posao i neki mali 5 port, mada bi bolja opcija bio neki sa 8 portova. 3 za kompove, 1 za NAS i 1 koji će biti povezan na drugi switch sa ruterom i još nekim lomom.

S obzirom da će switch biti u kancelariji, bilo bi dobro da bude fanless ili makar koliko - toliko tih.
Ono što sam našao u ponudi su TP-Link TL-SX105 i TRENDnet TEG-S750. Za ovu drugu firmu nisam čuo, ali ne verujem da mogu da budu gori od TP-Linka.
Na konkretno ovaj SX105 se dosta ljudi žali da im crkavaju portovi.

Nažalost, nikakva optika ne dolazi u obzir jer su kablovi već razvučeni po kancelariji, (Cat6a, tako da ne bi trebalo da bude problema sa tim).

 

[Devil 2000]

Ja bas ovih dana pravim kucni NAS i razmisljao sam da li bih nesto dobio sa prebacivanjem sa 1Gbps na 2.5Gbps ili 10Gbps.
Ali sam onda shvatio da mi u NAS-u stoje klasicni hard diskovi jer su najisplativiji po GB, ali njihova brzina je nesto preko 100MB/s sto je oko 1Gbps tako da nista ne bih dobio sa povecanjem mreze, a cene mreznih kartica i switcheva dosta rastu kada se predje 1Gbps.

 

[Dusan94]

Nama neki asustor nas sa 1Gbps mrežnom radi posao odlično što se brzine tiče, pošto nam i nije toliko bitna. Za kućnu upotrebu, ne bi ni razmišljao o bržem.
Jedini razlog za zamenu je prostor, a pošto imamo grdne neke xeon mašine koje se ne koriste i ram u "neograničenim" količinama, rešio sam da napravim nas od jedne.
Testirao sam truenas core sa 128gb ram-a i kad se Arc popuni, brzina transfera je bila oko 1GB/s između direktno vezanog nas-a i kompa i to mešovitih fajlova, od par kilobajta do par gigabajta. Obe mašine imaju intel x540 mrežnu.

 

[Devil 2000]

Evo i kod mene se upravo pojavili slicni problemi kao kod tebe.
1gb je mreza ali je komplet zauzeta a realan protok je mizeran tipa 10MB/s.
Problem je sto imam 50.000 fajlova u jednom projektu ukupne velicine samo 1GB, ali koji otperecuju mrezni prenos.
Koristim standardni smb share za koji kazu da je sporiji od nfs-a kada su u pitanju mali fajlovi.

Sada i ja razmisljam o 10gb mreznoj infrastrukturi.
Da ne bih otvarao novi thread ovde bih pitao, ali za razliku od dusana, mene zanima sfp+ infrastruktura jer mi se cini da je nesto jeftinija od rj45 (mrezne, switch i kablovi).

Evo delova koje merkam, pa mi treba pomoc da li ovo sve pase, tj da li se direkt ubada ovaj pasivni sfp+ kabl u ovu mreznu i switch i da sve normalno radi ili mora jos nesto da se dokupi (moduli ili da bude aktivni kabl ili sta vec).
Takodje da li onda u ovaj switch u njegov poe slot ubadam rj45 utp kabl sa mog rutera gde dobijam internet koji bi da delim uredjajima povezanim na switch.

KupujemProdajem

Praktično sve... Kupi i prodaj u najvećoj online zajednici u Srbiji. Probaj na kp!

novi.kupujemprodajem.com

KupujemProdajem

Praktično sve... Kupi i prodaj u najvećoj online zajednici u Srbiji. Probaj na kp!

novi.kupujemprodajem.com

KupujemProdajem

Praktično sve... Kupi i prodaj u najvećoj online zajednici u Srbiji. Probaj na kp!

novi.kupujemprodajem.com

 

[TwistedMind]

Evo i kod mene se upravo pojavili slicni problemi kao kod tebe.
1gb je mreza ali je komplet zauzeta a realan protok je mizeran tipa 10MB/s.
Problem je sto imam 50.000 fajlova u jednom projektu ukupne velicine samo 1GB, ali koji otperecuju mrezni prenos.
Koristim standardni smb share za koji kazu da je sporiji od nfs-a kada su u pitanju mali fajlovi.

Sada i ja razmisljam o 10gb mreznoj infrastrukturi.
Da ne bih otvarao novi thread ovde bih pitao, ali za razliku od dusana, mene zanima sfp+ infrastruktura jer mi se cini da je nesto jeftinija od rj45 (mrezne, switch i kablovi).

Evo delova koje merkam, pa mi treba pomoc da li ovo sve pase, tj da li se direkt ubada ovaj pasivni sfp+ kabl u ovu mreznu i switch i da sve normalno radi ili mora jos nesto da se dokupi (moduli ili da bude aktivni kabl ili sta vec).
Takodje da li onda u ovaj switch u njegov poe slot ubadam rj45 utp kabl sa mog rutera gde dobijam internet koji bi da delim uredjajima povezanim na switch.

KupujemProdajem

Praktično sve... Kupi i prodaj u najvećoj online zajednici u Srbiji. Probaj na kp!

novi.kupujemprodajem.com

KupujemProdajem

Praktično sve... Kupi i prodaj u najvećoj online zajednici u Srbiji. Probaj na kp!

novi.kupujemprodajem.com

KupujemProdajem

Praktično sve... Kupi i prodaj u najvećoj online zajednici u Srbiji. Probaj na kp!

novi.kupujemprodajem.com

A da li si siguran da ti 2.5g ne bi radio posao. Ako imaš dobre kablove po kući, samo staviš switch. Poneki uređaj treba da dobije 2.5g karticu kojih ima za usb A i usb C. Realno, za 100eur bi sve sredio

 

[Devil 2000]

Pa najjeftiniji switch od 2.5gb koji sam nasao na KP je 150e (imam server sa fajlovima projekata i desktop sa kojim pristupam).
Da li je moguce da lose pretrazujem oglase?
Inace kao sto napisah da mi jedan projekat sa 50.000 fajlova (ukupne velicine 1GB) smanje protok na 5MB/s preko 1Gb konekcije, tako da mi verovatno ni 2.5Gb nece mnogo pomoci.

 

[TwistedMind]

Ja sam uzeo na aliexpressu za 80$.
Što se brzina tiče, možda nije do mreže već do cpu na tx ili rx uređaju.

 

[Devil 2000]

Mozda, enkriptovan je disk sa projektima, na njemu je ryzen 3600, na desktopu mi je 12400.
Mada mi ti projekti na desktop masini sa tim 12400 rade nekih 60MB/s, a taj ryzen je na 60% brzine od 12400 u multicore plus sto se dodatno muci sa enkripcijom.

 

[Dusan94]

Mislim da te tu ograničava nas, ne mreža. Koliko hardova imaš i kako su konfigurisani? I koji je nas u pitanju?

 

[Devil 2000]

U pitanju je PC masina koja radi sa proxmox hypervizorom i truenas core virtualnom masinom.
Imam dva deljena diska, jedan je obican hdd brzine nesto vece od 100MB/s sa ukljucenom enkripcijom, a drugi je ssd samsung evo 970 pro brzine oko 500MB/s.
Testirao sam kopiranje 57700 fajlova velicine 6.73gb na jedan i na drugi disk preko 1gb/s mreze.
Na mojoj desktop masini kada kopira (tacnije otpakuje zip fajl sa ssd-a desktop masine i upisuje na taj isti ssd disk desktop masine), to traje 58 sekundi iliti 116MB/s.
Na ssd bez enkripcije je trajalo 7min 38sekundi, iliti 14.7MB/s (procesorsko zauzece truenas vm je bilo 5%).
Na hdd sa enkripcijom je trajalo 7min 48sekundi, iliti 14.4MB/s (procesorsko zauzece truenas vm je bilo 6-7%), znaci prakticno identicna brzina sto znaci da enkripcija, cpu i da li je ssd ili hdd nisu problem (jedino ako nisu neka softwerska podesavanja/ogranicenja u prozxmox ili truenas vm, ali mislim da po defaultu bi trebalo da rade sto brze moguce).
Znaci po nekoj mojoj logici bi mi trebalo bar 8x brza mreza da bi se izjednacila brzina kao na desktop racunaru

 

[accko]

Možda bi tebi više značio block storage (iSCSI)?

 

[Devil 2000]

Možda bi tebi više značio block storage (iSCSI)?

Ne znam za ovu soluciju, da li to moze da radi na proxomox i truenas kao vm?
Da li je za to potreban specijalan hardware?

 

[Devil 2000]

Upravo sam kreirao iscsi share na truenas vm i transfer se ubrzao 5x, sada je 70MB/s.
Nisam znao za ovu foru, hvala ti accko, spasao si me troskova, dugujem ti pivo.

 

[Devil 2000]

Hvala i twistedmind-u za informaciju gde se mogu jeftinije uzeti svicevi, nisam znao da je razlika skoro duplo.

 

[golosdobra]

Još jedna stvar vredna pomena, a često zanemarena je networking stack samog OS-a. Pogotovo kada je u pitanju 10gbit i naviše, a i u manjoj meri 1gbit. (Naivno rešenje = kupi jači hardver) Na Linux-u se to mahom rešava preko sysctl alatke. Primera radi: fasterdata.es.net/host-tuning/linux/ i gist.github.com/jfeilbach/b4f30435e7757fde3183ea05a7e997f8

U tvom slučaju je Ryzen 3600 i više nego dovoljan da saturiše ceo 1gbit pipe asimetrično 24/7, tako da procesor (sam po sebi) nikako nije problem.

Druga stvar je optimizacija samog ZFS-a. U najmanju ruku treba podesiti zpool "ashift" parametar, a onda dodatno za svaki dataset i "recordsize" parametar (shodno veličini fajlova u datasetu).

PS. Obrati pažnju na iSCSI da ga unmount-uješ pre nego što ugasiš host.

 

[ness1602]

Ali ako sam ja razumeo imao samo po jedan disk, sta ce mu onda zfs?
Realnije je ako ti je tako specificna potreba da se uzme enterprise disk umesto tog sakatog samsunga.

 

[alex303]

Ali ako sam ja razumeo imao samo po jedan disk, sta ce mu onda zfs?

Zato što ZFS obezbeđuje bolji integritet podataka čak i kada se koristi na jednom disku. Bolje koriguje greške u file sistemu kod oštećenja diska ili usred nestanka struje.

 

[ness1602]

Ali kako moze kad nema sa cim da uporedi metadata?

 

[alex303]

Ali kako moze kad nema sa cim da uporedi metadata?

Tema nije ZFS. Imaš kompletnu ZFS dokumentaciju na netu pa čitaj.

 

[Devil 2000]

U medjuvremenu sam zamenio hdd sa nvme za skladistenje projekata i ceo ga dodelio kao iscsi share.
Izabrao sam da maksimalna veelicina iscsi ne bude veca od 80%, kapaciteta diska da li ovo pravilo i dalje vazi ako je nvme u pitanju ili ovo vazi samo za obicne hdd-ove?
Takodje sam prebacio celu mrezu na 2.5gb i dobio prilicno ubrzanje u radu.
E sada imam novi problem, a to je da sam ja do sada radio cloud sync podataka sa truenas pool-ova na s3 bucket,. Ovo sam mogao jer se u truenas fajl sistemu u mount direktorijumu pojavljuju ti shared pools i cloud sync onda moze da pristupi tim fajlovima da radi sinhronizaciju ali u mount folderu za iscsi nema nikakvih fajlova ni foldera. koje sam kopirao.
Da li uopste moze da se radi cloudsync fajlova sa iscsi drajva na neki cloud u truenas scale?
Na pamet mi pada da instaliram iscsi initiator na truenas masinu pa da se povezem na iscsi particiju i mountujem je na truenas filesistem, ali izgleda da je truenas freebsd operativni sistem, on mi je nepoznat za razliku od linuxa. Ima li nekog lakseg resenja ili da napravim posebnu linux virtuelnu masinu koja ce imati pristup ovom iscsi drajvu pa da pravim neki cron job za s3 cloudsync.

 

[alex303]

TrueNAS Core je baziran na FreeBSD-u. TrueNAS Scale je baziran na Linux-u.

 

[Devil 2000]

TrueNAS Core je baziran na FreeBSD-u. TrueNAS Scale je baziran na Linux-u.

Upravo sam nesto guglao i nasao odgovor da truenasov linux ne vidi iscsi drajv jer je kreiran kao zvol i da mi je resenje da imam drugu linux masinu koja ce imati mountovan iscsi drajv pa da onda onda pristupi fajlovima i radi sync. Probacu da namestim iscsi initiator na truenas scale pa da mountujem drajv i particiju da ne moram da podizem posebnu masinu samo za to.
EDIT:
Evo sad citam da nije pametno instalirati pakete na truenas masinu jer moze da se nesto pokarabasi, bas bezveze.

 

[Devil 2000]

Ako nekog zanima sta je bilo na kraju, iscsi drajv uopste nije namenjen za sherovanje tj vidi se na jednom kompjuteru kao da je uboden direkt u njega i to je to.
To mi uopste ne odgovara jeh hocu da mi projekti na drajvu budu na raspolaganju svim mojim kompjuterima na mrezi + da imam svakodnevni sync na cloud bez da mi neki od kompjutera bude ukljucen zbog toga nego da mi server to odradjuje nezavisno.
Tako da sam se vratio na stari dobri smb, koji je dobar za velike fajlove, a projekte koji imaju mnogo malih fajlova sinhronizujem sa drugim racunarima koristeci git repository na githabu.
Hteo sam jos da probam i nfs za koji kazu da je 2-3x brzi u radu sa malim fajlovima, ali windows 10 home ga ne podrzava nego samo pro verzija koja naravno mora da se doplati, na svim mojim kompjuterima tako da sam odustao i od toga (jeste da ima third party nfs klijenti za windows ali nije to to kada je direkt podrzano od windowsa).

 

[Dusan94]

Kolko rama imaš na nas-u? Možeš da probaš da forsiraš truenas da kešira metada u ARC. Po default-u mislim da je prioritet data, pa iako metadata ne zauzima mnogo ram-a, on ga prazni odmah.

Isopribaj jedan isti transfer više puta i vidi je l se povećava brzina.

Ako nema pomaka, prelistaj OVU temu, mislim da može da ti reši problem.

 

[Devil 2000]

Kolko rama imaš na nas-u? Možeš da probaš da forsiraš truenas da kešira metada u ARC. Po default-u mislim da je prioritet data, pa iako metadata ne zauzima mnogo ram-a, on ga prazni odmah.

Isopribaj jedan isti transfer više puta i vidi je l se povećava brzina.

Ako nema pomaka, prelistaj OVU temu, mislim da može da ti reši problem.

Imam 64gb, ali sam Truenas-u dodelio 16gb i zauzece je negde oko 14-15gb

 

[Dusan94]

Nekako sam ispustio link u prethodnom postu a isteklo vreme za edit.

Link - Ovo je tema na koju sam mislio.

 

[golosdobra]

U slučaju da je SMB neefikasan (prilikom čitanja/pisanja sa diska ili prilikom razmene podataka putem mreže), teško da bi tu ARC popravio situaciju. Što se može videti jasnije testiranjem mrežnih i I/O performansi: https://blog.filegarden.net/2020/10/28/truenas-freenas-performance-testing/

No, nije nužno to odraditi, verovatno će ova podešavanja rešiti problem sa SMB brzinama: https://hilltopsw.com/blog/faster-samba-smb-cifs-share-performance/

I went from 25 MB/sec pre-config to 115 MB/sec post-config

It went up from 15MB/s to 60MB/s running a asrock itx1900 board with 4GB RAM and just 2 old 1TB Samsung Spin Point F1 HDDs configured to be a mdadm Raid 1.

Vredi pogledati i ovo: https://www.davd.io/samba-fileserver-on-freebsd/

(I naravno dokumentaciju za Sambu: https://www.samba.org/samba/docs/current/man-html/smb.conf.5.html)