Lokalno korišćenje AI modela

[Lucas]

20B je teško smeće. Nisam očekivao mnogo, ali sam opet razočaran.

a 120B? ne radi na cli ollami

 

[NSX]

Kako vam se čini kombinacija Ryzen 395 i 128GB RAM-a(koji može skoro čitav da bude VRAM), to sad ima i u laptop varijantama tipa Asus Z13 za oko 3K toliko košta samo 5090 kod nas...

 

[Lucas]

Kako vam se čini kombinacija Ryzen 395 i 128GB RAM-a(koji može skoro čitav da bude VRAM), to sad ima i u laptop varijantama tipa Asus Z13 za oko 3K toliko košta samo 5090 kod nas...

ako kupujes za AI ima boljih varijanti.

 

[NSX]

pa kupujem jer mi treba novi laptop (koristim neki Acer ko zna otkad), jeftinija varijanta mi je Lenovo IdeaPad Slim koji je oko 800e, Ryzen 395 je ipak dosta brži laptop a valjao bi mi "privatni" AI zbog toga što baratam sa strogo pov. dokumentima

 

[Lucas]

za AI imas dva parametra jedno je memorija -> koliki model mozes da ucitas
drugo je teraflops, tj broj tokena koje kartica moze da izbaci

taj laptop je dobar u prvom segmentu a los u drugom
znaci radice - ali sporo

 

[presretach]

Za telefon imate Locally Ai.

 

[SuperStarr]

 

[Lucas]

da li neko radi offloading

Enable Offloading to CPU/RAM or NVMe // recimo 50%
i Offload KV Cache to CPU/RAM


i kakvi su vam utisci, da li uopste mozete da uporedite sa i bez? koliko je sporiji sa offloadingom?

 

[jimmytza]

whatcani.run

Find the best models and how to run them locally.

www.whatcani.run

 

[Lucas]

M je impresivan za AI

 

[G17]

Kako vam se čini kombinacija Ryzen 395 i 128GB RAM-a(koji može skoro čitav da bude VRAM), to sad ima i u laptop varijantama tipa Asus Z13 za oko 3K toliko košta samo 5090 kod nas...

Zanima me, zar iako RAM moze da se koristi kao VRAM zar nije drastično sporiji, koliko sam shvatio samo Apple ima podršku da je RAM = VRAM po brzini

 

[marantz]

Zanima me, zar iako RAM moze da se koristi kao VRAM zar nije drastično sporiji, koliko sam shvatio samo Apple ima podršku da je RAM = VRAM po brzini

Sporiji je dosta, a dodatno problem pravi što veliki model mora da se provlači preko PCI magistrale iz VRAM-a u RAM i obrnuto. To je dodatno usko grlo između, jer je protok u tom slučaju svega 64GB/s za PCI 5 x16.

Apple ima unificrani poll za VRAM/RAM i to je ogromna prednost (CPU direktno čita VRAM i obrnuto, ne ide se preko PCI magistrale), ali je Metal dosta sporiji nego CUDA kada je AI u pitanju.

Za AI je i dalje najbolja opcija nVidia grafika sa dosta VRAM-a, jer čak i RTX4090 ima 50% veći memory bandwidth nego M5 Max (1TB/s vs 600 GB/s). Međutim ta prednost se gubi, ako nema dovoljno VRAM-a. Tako je sistem sa nVidia 16GB i pored bržeg CUDA AI compute-a, sporiji od Mac-a sa 64GB RAM-a, ako koristiš veće modele.