Hardver AMD Threadripper (PRO) - data science?

[ceftriaxone]

Здраво,

Пре него што напишем шта ми конкретно треба, укратко да напишем шта радим.
Дакле, бавим се секвенционирањем и анализом генома човека у дијагностичке сврхе.
Радим са подацима који су димензија од 5 до 100 гига, са тенденцијом раста у ближој будућности.
Користимо више програма на послу, али су два најбитнија. Један ради одлично на садашњој конфигурацији (i6700, 64GB), док други врло често пуца ко звечка. Тај други, не знам колико је битно, овај део ипак није моја материја, је базиран на java-и, и врло често трокира. Не дај Боже да радим паралелно пар процеса... Због тога сам врло често принуђен да исти тај програм терам на једном од сервера (Xeon 6248 gold, 250GB, од којих је 128 доступно), и то буде боље, мада опет уме да забада. Да ли је програм неоптимизован (капирам да јесте, јер ми нон-стоп из подршке кажу како смо ми много амбициозни па хоћемо да анализирамо све) или је нешто друго у питању, не знам. Углавном, тај програм ће узети сваки GB који му се да. Практично за анализу генома, програм треба да обради око 500.000 мутација по узорку, уколико се ради анализа за дете и родитеље, онда то иде на 1.500.000 или више. Значи програми који траже (ваљда) пуно снаге и не знам чега још. Има ту још пар програма које ће користити неки наши биоинформатичари, али не знам конкретно о чему је реч. Оно што сам ја као хардверски полудудук гледао, процесор и рам вриште за све паре (тј ова канта 6700, овај Xeon никад не иде преко 40%), а графика је увек мирна. Тако да мислим да нам за ово што ми радимо не треба зверка од графике, или можда ипак грешим?
Имамо већ на послу један 3960x и он заиста лепо ради ово. Додуше уме и он некад да се загрцне, али ми се до сада није десило да морам да гасим све живо не бих ли вратио машину из тилта...
Пошто нам је директорка баш онако, амбициозна и захтевна, изнервирала се што то не брзином коју она жели, па је издала директиву да се набави одређен број нових рачунара.
Пре листања оног што нам је нуђено, још један детаљ. На послу имамо један NAS и податке вучемо одатле, и качимо тамо. Пре пар дана сам тестирао с некима из подршке, и њихов закључак је био да су наше брзине на послу добре, тако да нам је као bottleneck остао рачунар и његова сирова снага...Не знам да ли је то заиста тако, и у којој мери.
Углавном, компјутери ће се набавити, питање је само која конфигурација.
Добили смо препоруку за Threadripper-a, тако да смо колега и ја гледали понуде, тј склапали сами потенцијалне конфигурације, слали упите, а онда смо добили и одговоре.

AMD Ryzen Threadripper 3970X
Noctua Kühler NH-U14S
ASRock TRX40 Creator
128 GB DDR4-RAM, 3000 MHz, 4 x 32 GB
NVIDIA Quadro P2200, 5 GB GDDR5
1 TB Corsair M.2 SSD Force MP600 PRO,
Corsair 750D Airflow Big Tower
850 Watt Seasonic / BeQuiet Netzteil, Gold Spezifikation
Windows 10 PRO for Workstation,

Lenovo Workstation TS P620
AMD Threadripper Pro 3975WX Processor
32GB DDR4 3200MHz RDIMM ECC (x4)
AMD Radeon Pro W5500 8GB
1TB Solid State Drive, M.2 2280
WRX80 92% Power 1000W

Цене су врло сличне, и сама цена није пресудан фактор.
Да ли супарнички табор нуди бољи избор?
Да ли би за овај Lenovo боље било да је меморија 8х16?
Ја сам свакако размишљао да тражим за себе 8х32, кад већ плаћају, нек се отворе до краја...

Још један додатак, циљ је да ови компови раде свој посао наредне 3-4 године без да се унутра нешто чепрка, осим додавања рама или евентуално неке графике, ако за истом буде потребе.


Не знам да ли сам дао довољно информација.

У сваком случају хвала
Иван

 

[student24]

Koliko je zauzece rama na tom xeon-u i vidi koliko se aktivno jezgara koristi kad pokrenes tu simulaciju.
Po meni je lenovo bolja opcija i to sa 8x16 ili bolje 8x32, ima veci max kapacitet memorije i ima 8 memorijskih kanala, mana mu je nesto nizi klok od 3970x, ali je ukupno ipak bolji.
Sto se intela tice, ne znam koliko ovi novi procesori (na 10nm) imaju bolji ipc ali imaju nizi klok, a kod tebe je ili single core ili memorija bottleneck. Ima intel tu jednu prednost a to je Optane memorija koja moze da pomogne u slucaju da fali ram memorije.

 

[ceftriaxone]

Па на том Xeon-у узме све што му дам... Да имам 1ТВ, узео би вероватно све, у зависности од тога колико анализа отворим истовремено. За језгра нисам сигуран, морам да проверим. Знам да је овај i6700 редовно на 100% и да кулер вришти, чује се са 5 метара...
Хвала на савету.

 

[reveal]

Ponudicu neku drugu perspektivu ako je jos uvek relevantno. To mi vise zvuci kao Big Data problematika, nego hardwerska iz moje Data Science perspektive. Nisam sigurna sa kojim programima radite, ali u teoriji obradjivanje velikih kolicina podataka prevazilazi materijalno, da se tako izrazim, pa prelazi u virtualno: AWS Genomics, Google Cloud - gde se iznajmljuju virtuelni racunari sa potrebnim RAM-om i procesnom snagom u zavisnosti od potrebe. Kompleksnost i trajanje izvodjenja nekog algoritma (Computer Complexity) moze unapred da se izracuna, pa prema tome da se iznajmljuju 'racunari'.