Intalirao sam iOS 27 Public Beta na iP17PM. Baš brzo i upeglano radi.
Mislim da koncept Siri AI (koji se ne zove više tako) predstavlja ogroman napredak i smer u kome će lokalni AI da se razvija. Umesto dosadašnjeg guranja ogromnih modela da rade ono što LLM ne može da radi (npr. da računa), Siri je ustvari agentic kod koji poziva određene funkcije, a LLM kasnije radi ono što najbolje ume da radi - pravi kontekst od gotovih podataka.
To je slično kao kada se lokalni LLM agent obuči da kroz MCP-ove poziva npr. funkciju za računanje sume, sortiranje, poređenje podataka i takav gotov izveštaj pošalje na LLM da protumači ili napravi izveštaj. Prosto ne očekujte od LLM-a da računa, već mu dajte digitron.
Za takve operacije, ako je dobro utreniran, dovoljan je mali model od 5-6b parametara koji nije veći od par GB. Za takvu implementaciju sasvim je dovoljno 12-16GB RAM na telefonu. Prvevashodno jer model zauzima nekoliko GB, to je cela priča oko RAM-a.
Apple je istrenirao svoj model da radi te specifične stvari koje su zamislili da Siri obavlja, pa im zato i ne treba model od 30GB sa velikim kontekst promptom. Za bilo šta kompleksnije uvek može da pozove Gemini koji ima milijarde parametara i puno veći kontekst, što je koncept koji danas koristi većina proizvođača.
Da li je za to bilo potrebno 2-3 godine, verovatno ne. Mada to sada nije ni bitno. Bitno je koliko će to korisnicima biti korisno i da je Apple konceptualno sada par koraka ispred ostalih po pitanju implentacije AI.
Opet je nekako čudno da se za ovaj koncept znalo duže, a svi opet čekaju Apple. Te firme kao npr. Samsung imaju puno AI inženjera koji su mogli lako da predvide šta Apple razvija, jer se time bave svakodnevno.