Nedavni sadržaj od lognebudo

Pošto se ovde dosta pričalo o VRAM-u i o kompresiji KV keša, jedna stvar koju sam izmerio a koja ne zavisi od kartice: koliko kešа zapravo iskoristite po poruci. Lokalni model (Ollama, llama.cpp) ponovo koristi keš prompta samo dok se prompt poklapa od prvog tokena. Ako vaš alat stavlja datum i...