Lokalno korišćenje AI modela
- Začetnik teme Space Beer
- Datum pokretanja
testthenext
Čuven
- Učlanjen(a)
- 02.05.2004
- Poruke
- 947
- Poena
- 645
Moja oprema
- Pristup internetu
- Optički internet
Ne znam da li nekoga zanima Ideogram 4, ali evo mog posta na tu temu:
A moze da generise 16MP slike, sa neverovatnim nivoom detalja!
Jedan primer je dole, a ko zeli da ga rekreira i uporedi svoju karticu sa mojom, da vidi sta dobija investicijom u bolju karticu, u postu koji sam citirao je i link iz ComfyUI-a CMD-a, gde se svi detalji vide.
A moze da generise 16MP slike, sa neverovatnim nivoom detalja!
Jedan primer je dole, a ko zeli da ga rekreira i uporedi svoju karticu sa mojom, da vidi sta dobija investicijom u bolju karticu, u postu koji sam citirao je i link iz ComfyUI-a CMD-a, gde se svi detalji vide.
Poslednja izmena:
llama.cpp - Xubuntu 24.04 - minimal verzija /što manje desktop zauzeće/
Qwen3.6-27B-Q5_K_S.gguf - MTP verzija
ctx-size 49152
cache-type-k q8_0
cache-type-v q8_0
uspeo da spakujem na 2x3060 - ukupno 24Gb VRAM - ploca B550 ProArt Creator - radi x8/x8
26-30t/s
Qwen3.6-27B-Q5_K_S.gguf - MTP verzija
ctx-size 49152
cache-type-k q8_0
cache-type-v q8_0
uspeo da spakujem na 2x3060 - ukupno 24Gb VRAM - ploca B550 ProArt Creator - radi x8/x8
26-30t/s
Poslednja izmena:
mknez
Slavan
- Učlanjen(a)
- 11.07.2007
- Poruke
- 87
- Poena
- 310
llama.cpp na win11
Qwen3.6-27B-UD-Q4_K_XL.gguf - isto MTP
ctx-size 64000
cache-type-k q8_0
cache-type-v q8_0
rtx3090 oko 37t/s
Ali to je ovako u webui, čim nakačiš agenta 64.000 je malo, a ukoliko podignem ctx na 100K, kad ga popuni t/s se praktično prepolovi, smor je za čekanje.
MOE 35b je već upotrebljiv, pošto i na duplo većem ctx ide preko 100t/s
Qwen3.6-27B-UD-Q4_K_XL.gguf - isto MTP
ctx-size 64000
cache-type-k q8_0
cache-type-v q8_0
rtx3090 oko 37t/s
Ali to je ovako u webui, čim nakačiš agenta 64.000 je malo, a ukoliko podignem ctx na 100K, kad ga popuni t/s se praktično prepolovi, smor je za čekanje.
MOE 35b je već upotrebljiv, pošto i na duplo većem ctx ide preko 100t/s
mknez
Slavan
- Učlanjen(a)
- 11.07.2007
- Poruke
- 87
- Poena
- 310
Odličan je Ideogram, ali problem je ukoliko se pokreće lokalno, može se koristiti samo za testiranje i za lične eksperimente, dakle zabranjena je bilo koja komercijalna primena.Ne znam da li nekoga zanima Ideogram 4, ali evo mog posta na tu temu:
A moze da generise 16MP slike, sa neverovatnim nivoom detalja!
Jedan primer je dole, a ko zeli da ga rekreira i uporedi svoju karticu sa mojom, da vidi sta dobija investicijom u bolju karticu, u postu koji sam citirao je i link iz ComfyUI-a CMD-a, gde se svi detalji vide.
testthenext
Čuven
- Učlanjen(a)
- 02.05.2004
- Poruke
- 947
- Poena
- 645
Moja oprema
- Pristup internetu
- Optički internet
A kako misle da je zabrane? Kako uopste mogu da znaju da sam Ideogram koristio, pogotovo sto ce svako pametan da dotera sliku??
Recimo, generisao sam vec XY slika i na osnovu njih napravio video klipove preko LTX 2.3.
Najveci problem sa Ideogramom je bizaran stepen cenzure, koji smara za medalju. Bukvalno se vidi da su autori neki woke progresivni frikovi... A jos uvek nisam toliko AI pismen da skapiram kako se izbegava, tj, koristi se neki drugi text model ili kako se to vec zove...
Recimo, generisao sam vec XY slika i na osnovu njih napravio video klipove preko LTX 2.3.
Najveci problem sa Ideogramom je bizaran stepen cenzure, koji smara za medalju. Bukvalno se vidi da su autori neki woke progresivni frikovi... A jos uvek nisam toliko AI pismen da skapiram kako se izbegava, tj, koristi se neki drugi text model ili kako se to vec zove...
mknez
Slavan
- Učlanjen(a)
- 11.07.2007
- Poruke
- 87
- Poena
- 310
Nije stvar u "zabrani" nego u primeni, oni su svakako dali ovu verziju da se testira.
Što se tiče detekcije (i sam Comfyui može da prosleđuje informacije o korišćenju ukoliko se to ne isključi) postoje razni alati i metodi za detekciju i analizu, opet postoje i načini da se to zavara 🙂 to je opet igra mačke i miša, a ukoliko neko radi ozbiljne stvari u produkciji i ima zakonsku odgovornost, onda to ne dolazi u obzir.
Zavisi gde je to neko koristio, nije isto ako si to primenio za Frizerski salon "Mara" iz npr. Dobanovaca, ili za neku kompaniju ili ne daj bože organizaciju, naročito strane.
Što se tiče detekcije (i sam Comfyui može da prosleđuje informacije o korišćenju ukoliko se to ne isključi) postoje razni alati i metodi za detekciju i analizu, opet postoje i načini da se to zavara 🙂 to je opet igra mačke i miša, a ukoliko neko radi ozbiljne stvari u produkciji i ima zakonsku odgovornost, onda to ne dolazi u obzir.
Zavisi gde je to neko koristio, nije isto ako si to primenio za Frizerski salon "Mara" iz npr. Dobanovaca, ili za neku kompaniju ili ne daj bože organizaciju, naročito strane.
Qualcomm X2 Extreme 48 GB RAM
Windows 11 Pro, Only CPU (all 18 cores), llama cpu arm64
Qwen3.6-27B-Q4_K_S.gguf - 15GB
prompt processing: 28.97 tok/s
generation: 6.81 tok/s
Oba su testirana u "llama" softveru.
Gemini AI kaze da bi teoretski maksimum za M5 Air 32GB (koji je po ceni slican Qualcomm X2 Extreme 48 GB) bio 9.6 tok/s a realno 7-8.5 tok/s.
Bilo bi lepo da neko ko ima M5 Air testira.
Softver je ovde: https://github.com/ggml-org/llama.cpp/releases
Ni jedan ni drugi nisu za LLM tj. oba rezultata su loša. Air nema hlađenje, pa nije ni predviđen za intenzivne zadatke tog tipa.
Za te pare puno bolje bi prošao sa nekom 3090 mašinom.
Pod M5 sam mislio na M5 Max mašine koje su predviđene za LLM/AI.
Mali HoBiT
Čuven
- Učlanjen(a)
- 16.08.2002
- Poruke
- 2,041
- Poena
- 705
Moja oprema
- CPU & Cooler
- i7 14700kf P6.0/E4.6GHz Heatkiller IV waterblock
- Matična ploča
- Asus Z790 itx
- RAM
- G.Skill 2x24GB Patriot 8000MHz
- GPU
- Sapphire 6800XT EK waterblock
- Storage
- WD Black 850 1TB & Samsung 980Pro 2TB
- PSU
- Phanteks Revolt SFX 850w Platinum
- Kućište
- SSUPD Meshlicious, custom loop
- Monitor
- LG 38WN95C-W
- Miš & tastatura
- Keychron K7 max & Keychron m3 Metal
- Ostale periferije
- CP1500EPFCLCD
2x3090, ubuntu, Qwen3.6-27B, FP8 ~45GB vram-a za 132k konteksta.
testthenext
Čuven
- Učlanjen(a)
- 02.05.2004
- Poruke
- 947
- Poena
- 645
Moja oprema
- Pristup internetu
- Optički internet
Kako ComfyUI prosledjuje informacije? Kojim mehanizmom? Sta ako uopste nisam zakacen na internet?
Evo velika italijanska banka, da ne spominjem ime, sve reklame u poslednjih 6 meseci AI generisane. Veliko osiguranje takodje. A mislim da i velika austrijska banka takodje ima sve AI...
Ne mogu oni da znaju, ali ako radiš ozbiljan projekat ne radiš ga sa krekovanim Phoptoshop-om, niti u firmi držiš Windows licence od 50 centi.
AI sme da se koristi, naravno, ali postoje komercijalni modeli za tu svrhu. Zavisi ko je klijent.
Inače, mislim da sam na Happy TV video da su uveli AI voditelje dnevnika. Prvo sam mislio biće nešto malo bolje od Will Smitha koji jede pomfrit, ali izgleda odlično. Na nekim mestima akcenat malo vuče na hrvatski, ali to je do treninga modela verovatno.
AI sme da se koristi, naravno, ali postoje komercijalni modeli za tu svrhu. Zavisi ko je klijent.
Inače, mislim da sam na Happy TV video da su uveli AI voditelje dnevnika. Prvo sam mislio biće nešto malo bolje od Will Smitha koji jede pomfrit, ali izgleda odlično. Na nekim mestima akcenat malo vuče na hrvatski, ali to je do treninga modela verovatno.
mknez
Slavan
- Učlanjen(a)
- 11.07.2007
- Poruke
- 87
- Poena
- 310
Očigledno se nisamo razumeli, nije isto kad si u poslu ili kad se ovako zezaš, jer kad si pravno lice onda imaš i mnogo veću odgovornost, tj. snosiš posledice.
Vezano za Comfyui, ukoliko neko nije priključen na internet ne bi trebalo da prosledi ništa, dodatno u Comfyui Manager-u podesiš "share" opciju na "none".
Što se tiče upotrebe ai u komercijalne svrhe, danas se može posmatrati kao hendikep ukoliko neko u produkciji ne koristi bar neki vid ai alata.
Velike kompanije ili organizacije ga svakako koriste, tj. razne agencije ili studiji za dizajn (i ja sam jedan od njih) ali isključivo one koji su sa plaćenom licencom ili open source, nikako i ništa drugačije, jer može da bude jako skupo ukoliko te neko kojim slučajem nahvata, naročito kad si pravno lice.
mknez
Slavan
- Učlanjen(a)
- 11.07.2007
- Poruke
- 87
- Poena
- 310
Baš tako, plati se licenca i onda može, ali i to nije sve baš jednostavno.. U nekim slučajevima nije isto da li je uplatio neko lično ili kao pravno lice. No, da ne skrećemo sa teme, jer ćemo da zađemo u licenciranje i etičko-moralne aspekte 😀
Kao neko ko je i pravno lice prirodno je da gledam alternative za neke alate, pa te neke open source priče mi budu zanimljive kad imam lufta da istestiram.
Jeste, ti voditelji na "dečijoj televiziji" su me baš iznenadili, jer mi Happy nikad nije delovao kao televizija orijentisana prema novim tehnologijama, dovoljno je kad pogledaš osvetljenje u studiju, sve onako izgleda otužno.... kad odjednom iskočiše ai voditelji 🙂
Alister
Nenadmašan
- Učlanjen(a)
- 17.07.2001
- Poruke
- 5,357
- Poena
- 2,395
Testirao sam dva CPU: x86-64 i Arm64.
llama.cpp (isti prompt, 12k context)
Qwen3.6-27B-Q4_K_S.gguf - 17GB
Desktop - Ryzen 9 7900 (12 cores) 64GB RAM
5.52 tok/s (sa MTP)
3.74 tok/s (bez MTP)
Laptop - Qualcomm X2 Extreme (18 cores) 48GB RAM
5.08 tok/s (sa MTP)
5.44 tok/s (bez MTP)
Buduci da je RAM znatno brzi na X2 nego na Ryzenu ocekivao sam bolji rezultat. Interesantno je da je sa MTP losiji na X2.
Za realan rad cu korisiti LM Studio jer je udobniji.
Pre svega model gemma-4-26B-A4B-it-QAT-Q4_0.gguf koji daje oko 20 tok/s i na Ryzen i na X2. (LM Studio)
Zapravo na Ryzenu imam i RTX 4070 Super sa kojom imam brzinu 30 tok/s. (LM Studio)
Probacu i 8GB model (gemma-4-12B) ako mi odgovara. On staje ceo u RAM RTX 4070. Tu je brzina 50 tok/s. (LM Studio)
llama.cpp (isti prompt, 12k context)
Qwen3.6-27B-Q4_K_S.gguf - 17GB
Desktop - Ryzen 9 7900 (12 cores) 64GB RAM
5.52 tok/s (sa MTP)
3.74 tok/s (bez MTP)
Laptop - Qualcomm X2 Extreme (18 cores) 48GB RAM
5.08 tok/s (sa MTP)
5.44 tok/s (bez MTP)
Buduci da je RAM znatno brzi na X2 nego na Ryzenu ocekivao sam bolji rezultat. Interesantno je da je sa MTP losiji na X2.
Za realan rad cu korisiti LM Studio jer je udobniji.
Pre svega model gemma-4-26B-A4B-it-QAT-Q4_0.gguf koji daje oko 20 tok/s i na Ryzen i na X2. (LM Studio)
Zapravo na Ryzenu imam i RTX 4070 Super sa kojom imam brzinu 30 tok/s. (LM Studio)
Probacu i 8GB model (gemma-4-12B) ako mi odgovara. On staje ceo u RAM RTX 4070. Tu je brzina 50 tok/s. (LM Studio)
djurkash
Slavan
- Učlanjen(a)
- 23.09.2009
- Poruke
- 4,980
- Poena
- 465
Uzeo si Asus A16, znači nisi baš zadovoljan za AI performansama?
I ja ga uzeo pre neki dan, ali nikako da ubacim neki model da istestiram malo...
Da. Pa i nisam.
Jer brzina tok/s zavisi od brzine RAM-a i teorijski bi Qualcomm X2 trebalo da bude brzi od Ryzen 9 7900 koji takodje imam i sa kojim sam poredio (228GB/s vs 96GB/s). Ocigledno je x86-64 bolje optimizovan za CPU.
Aj istestiraj i javi rezultate.
llama.cpp podrzava i X2 Adreno grafiku ali je X2 brzi kada radi na CPU.
Sto se drugog tice jedva sam podesio ekran da me ne bole oci usled OLED PWM ili ko zna cega: stavio sam hardverski osvetljenje na 100%, a zatim softverski smanjio osvetljenje na 50% sa "Gloomy" programom.
Ali zato Linux u WSL radi stabilno danima (sa puno sleep ciklusa!). Za razliku od prve verzije Qualcomm X1 gde ista Linux/WSL podesavanja ne daju stabilan rad sa sleep ciklusima.
Zapravo nisam u pravu da su slicne brzine. U medjuvremenu sam otkrio da lamma.cpp ima ugradjeni benchmark te sam sa njim testirao i rezultat je da je X2 brzi od Ryzen 9 7900 skoro 62%.
Kod:
CPU ONLY Qualcomm X2 48GB RAM
| model | size | params | backend | threads | test | t/s |
| ------------------------------ | ---------: | ---------: | ---------- | ------: | --------------: | -------------------: |
| gemma4 26B.A4B Q4_0 | 13.43 GiB | 25.23 B | CPU | 18 | tg512 | 35.06 ± 1.06 |
CPU ONLY Ryzen 9 7900 64GB RAM dual channel:
| model | size | params | backend | threads | test | t/s |
| ------------------------------ | ---------: | ---------: | ---------- | ------: | --------------: | -------------------: |
| gemma4 26B.A4B Q4_0 | 13.43 GiB | 25.23 B | CPU | 12 | tg512 | 21.69 ± 0.86 |Vidim da imam ovaj model već downloadovan...
Kod:
ggml_metal_device_init: GPU name: MTL0 (Apple M5 Max)
ggml_metal_device_init: GPU family: MTLGPUFamilyApple10 (1010)
ggml_metal_device_init: GPU family: MTLGPUFamilyCommon3 (3003)
ggml_metal_device_init: GPU family: MTLGPUFamilyMetal4 (5002)
ggml_metal_device_init: simdgroup reduction = true
ggml_metal_device_init: simdgroup matrix mul. = true
ggml_metal_device_init: has unified memory = true
ggml_metal_device_init: has bfloat = true
ggml_metal_device_init: has tensor = true
ggml_metal_device_init: use residency sets = true
ggml_metal_device_init: use shared buffers = true
ggml_metal_device_init: recommendedMaxWorkingSetSize = 30150.67 MB
| model | size | params | backend | threads | test | t/s |
| ------------------------------ | ---------: | ---------: | ---------- | ------: | --------------: | -------------------: |
| qwen35 27B Q4_0 | 14.70 GiB | 26.90 B | MTL,BLAS | 6 | pp512 | 620.95 ± 4.19 |
| qwen35 27B Q4_0 | 14.70 GiB | 26.90 B | MTL,BLAS | 6 | tg128 | 22.25 ± 0.14 |
Poslednja izmena:
Za poredjenje u odnosu na iznad. Nisam nasao identican release qwen3.5 ali slican.
Asus A16 laptop u performance modu Qualcomm X2 Extreme
Za X2 vise odgovara ovaj model: gemma4 26B.A4B Q4_0
Asus A16 laptop u performance modu Qualcomm X2 Extreme
Kod:
CPU ONLY Qualcomm X2 48GB RAM
| model | size | params | backend | threads | test | t/s |
| ------------------------------ | ---------: | ---------: | ---------- | ------: | --------------: | -------------------: |
| qwen35 27B Q4_K - Medium | 15.39 GiB | 26.90 B | CPU | 18 | pp512 | 48.91 ± 1.17 |
| qwen35 27B Q4_K - Medium | 15.39 GiB | 26.90 B | CPU | 18 | tg128 | 7.76 ± 0.15 |Za X2 vise odgovara ovaj model: gemma4 26B.A4B Q4_0
