Šta je novo?
Od:
Filteri

Šta je potrebno za pokretanje lokalnog AI modela

Zar nije bilo o Ideogramu negde u nekoj temi? Probao sam ga u Comfy-ju, ali izgleda da ne može da se natera na MPS. Pucao mi je tokom učitavanja. Možda izađe neki gguf koji je optimizovan za MPS.
 
Da li postoji neko LLM koji bi radio na Ultra procesorima sa integrisanom. Grafikom?
 
Posto niko kompetentan ne odgovara, hajde ja koji ne znam nista, da pokusam.

Probao sam razne graficke modele koji traze 12-16-20GB VRAM-a na RTX 4080 Super, pa posle na 14900K procesoru koji ima integrisanu grafiku. Bukvalno je grafika brza 30-60 puta! Mogu misliti koliko je 5090 sa 32GB brza od procesora, ali to nisam probavao, jer znam da je od 4080 Super brza oko 3x u generisanju slike... LLM samo na grafikama sa 96GB.

A posto su one nedostupne nama, trenutno je jedino koliko toliko priustivo resenje Intel Arc Pro B70 sa 32GB memorije, pa kombinovati 3 kartice za 96GB, ali treba ploca za to + procesor + napajanje. I to je skupa prica.

Pogledaj ovaj kanal, neki rus koji dosta obradjuje LLM na "jeftinim" konfiguracijama:
 
Нисам сигуран колико је Intel Arc Pro B70 употребљив ( Intel графичка је поприлично инфериорна и у односу на nVidia i Radeon). Много боље решење су Nvidia GB10 мини PC, типа HP ZGX Nano G1n AI Station (Nvidia GB10 Processor + Nvidia Blackwell GPU + 128GB RAM). Није брз као rtx5080 али може да покреће веће моделе (70-100B)
 
A covek je pitao za LLM, B70 ima 32 GB GDDR6 VRAM. Vidim da ljudi prave lepe AI servere sa njom. Ali posto mene samo grafika zanima, tu prestaje neko moje dalje interesovanje, te je na njemu da dalje cacka najbolju varijantu za svoj primenu...
 
malipirat je napisao(la):
Нисам сигуран колико је Intel Arc Pro B70 употребљив ( Intel графичка је поприлично инфериорна и у односу на nVidia i Radeon). Много боље решење су Nvidia GB10 мини PC, типа HP ZGX Nano G1n AI Station (Nvidia GB10 Processor + Nvidia Blackwell GPU + 128GB RAM). Није брз као rtx5080 али може да покреће веће моделе (70-100B)
Kliknite za proširenje...
Šta može da se pokrene na zavisi dosta i od definicije upotrebljivosti.

70B? Može da se nagura sigurno sa nekom kvantizacijom, ali će realno biti sporo.

Imam upravo HP ZGX i trenutno na njemu "trči" Qwen3.6 35B-A3B FP8. Solidnih 40-45 t/s za single stream i oko 120 t/s ukupno za 12 paralelnih. Za moja očekivanja, sasvim prihvatljivo. Za max KV cache za 12 paralelnih zahteva + weights + CUDA graph, ukupno cca 60GB.
 
Super sto imas. Evo trazim vec pola sata, ne nalazim neki primer Comfy UI na njemu, kakvi su rezultati?

Jel mozes, molim te, nesto da kazes na tu temu?

I vidim da je to stariji uredjaj, ja sam mislio da covek misli na ono cudo (Spark?) sto je prestavljeno u maju valjda???
 
brank0 je napisao(la):
70B? Može da se nagura sigurno sa nekom kvantizacijom, ali će realno biti sporo.

Imam upravo HP ZGX i trenutno na njemu "trči" Qwen3.6 35B-A3B FP8. Solidnih 40-45 t/s za single stream i oko 120 t/s ukupno za 12 paralelnih. Za moja očekivanja, sasvim prihvatljivo. Za max KV cache za 12 paralelnih zahteva + weights + CUDA graph, ukupno cca 60GB.
Kliknite za proširenje...
На мојој rtx 5060ti 16gb сам покретао сличан модел (Qwen_Qwen3.5-35B-A3B-Q4_K_M), али је на граници употребљаивости (18t/s) - није за рад у реалном времену.
Ако није тајна колико брзо ради са 70B моделима?
Питам јер ме тај HP ZGX Nano G1n и сличне DGX Spark играчке првенствено интересује да бих на њима покренуо веће модел (70B или нешто јаче)? Пробао сам превођење текста са наведени Qwen 3.5 али није дао задовољавајуће резултате (брзина је најмањи проблем, превод је гори од google.translate), тако да би пробао са већим моделима. Такође ме већи модели интересују због програмирања... ако већ не могу да покренем Kimi-K2.5 или GLM-5.2 (питање и за 3 године да ли ће бити машина које ово покреће), онда барем неке 70B-100B моделе.
 
testthenext je napisao(la):
Dakle, HP ZGX ne moze ComfyUI da pokrene. slike da generise? Nije mi bas jasno.
Kliknite za proširenje...
Може да покреће, али ако теби треба само за генерисање слика онда је класична rtx картица боље решење. rtx картице знатно брже генеришу слику, него HP ZGX Nano G1n и сличне GB10/DGX Spark играчке. Тачније ове играчке су више за класичне ЛЛМ модела где је потребно довољно меморије да стане што већи модел
 
malipirat je napisao(la):
Може да покреће, али ако теби треба само за генерисање слика онда је класична rtx картица боље решење. rtx картице знатно брже генеришу слику, него HP ZGX Nano G1n и сличне GB10/DGX Spark играчке. Тачније ове играчке су више за класичне ЛЛМ модела где је потребно довољно меморије да стане што већи модел
Kliknite za proširenje...
Hvala. Sve jasno. Mozda bi mogle i teme da se razdvoje, generisanje texta i generisanje slike i videa, da svako ucestvuje u temi koja je njemu bitna.
 
testthenext je napisao(la):
Hvala. Sve jasno. Mozda bi mogle i teme da se razdvoje, generisanje texta i generisanje slike i videa, da svako ucestvuje u temi koja je njemu bitna.
Kliknite za proširenje...
Не знам шта да ти кажем сем да ја отворио ову тему да бих читао о туђим искуствима са локаллним AI моделима. Додуше мене првенствено интересује превођење и програмирање, али ако имаш друга интеросања слободно отвори нову тему
 
Previse malo ja znam o tome da bih otvarao temu. Ali mi je nekako logicno da se slike i tekst razdvoje, jer je evidentno da su u pitanju skroz drugacija okruzenja i oprema.
 
Morate se prijaviti ili registrovati da odgovorite ovde.
Nazad
Vrh Dno