Šta je potrebno za pokretanje lokalnog AI modela
- Začetnik teme malipirat
- Datum pokretanja
testthenext
Čuven
- Učlanjen(a)
- 02.05.2004
- Poruke
- 942
- Poena
- 645
Moja oprema
- Pristup internetu
- Optički internet
Posto niko kompetentan ne odgovara, hajde ja koji ne znam nista, da pokusam.
Probao sam razne graficke modele koji traze 12-16-20GB VRAM-a na RTX 4080 Super, pa posle na 14900K procesoru koji ima integrisanu grafiku. Bukvalno je grafika brza 30-60 puta! Mogu misliti koliko je 5090 sa 32GB brza od procesora, ali to nisam probavao, jer znam da je od 4080 Super brza oko 3x u generisanju slike... LLM samo na grafikama sa 96GB.
A posto su one nedostupne nama, trenutno je jedino koliko toliko priustivo resenje Intel Arc Pro B70 sa 32GB memorije, pa kombinovati 3 kartice za 96GB, ali treba ploca za to + procesor + napajanje. I to je skupa prica.
Pogledaj ovaj kanal, neki rus koji dosta obradjuje LLM na "jeftinim" konfiguracijama:
Probao sam razne graficke modele koji traze 12-16-20GB VRAM-a na RTX 4080 Super, pa posle na 14900K procesoru koji ima integrisanu grafiku. Bukvalno je grafika brza 30-60 puta! Mogu misliti koliko je 5090 sa 32GB brza od procesora, ali to nisam probavao, jer znam da je od 4080 Super brza oko 3x u generisanju slike... LLM samo na grafikama sa 96GB.
A posto su one nedostupne nama, trenutno je jedino koliko toliko priustivo resenje Intel Arc Pro B70 sa 32GB memorije, pa kombinovati 3 kartice za 96GB, ali treba ploca za to + procesor + napajanje. I to je skupa prica.
Pogledaj ovaj kanal, neki rus koji dosta obradjuje LLM na "jeftinim" konfiguracijama:
