Koliko „slobodan“ sme da bude AI? Safety filteri, jailbreakovi i granica između zaštite i cenzure

[pmb]

Rasprava o AI safety često završi u dve krajnosti: jedni svaki refusal vide kao cenzuru, drugi ograničenja opravdavaju mogućom zloupotrebom. Zanimljivije pitanje je između:

Ako je model sposoban da generiše određeno znanje ili rešenje, pod kojim uslovima je opravdano sprečiti ga da to prenese korisniku?

Kod pretraživača čovek uglavnom sam nalazi, povezuje i primenjuje informacije. Napredni AI može da uradi ceo lanac - razume problem, prilagodi odgovor, napiše kod ili proceduru, koristi alate i proveri rezultat.

Zato više nije dovoljno pitati „da li je informacija javno dostupna?“ Bitnije je koliko pristup modelu povećava sposobnost korisnika u odnosu na baseline bez modela. U safety evaluacijama to se često meri kao uplift. OpenAI - uplift evaluacije

„Safety“ nije jedna stvar

Pod istom rečju često mešamo nekoliko slojeva:

• model safety/alignment - šta je model naučen da radi ili odbija;
• content/usage policy - šta servis dozvoljava korisniku;
• abuse prevention - monitoring, rate limits i account enforcement;
• security - prompt injection, krađa podataka i kompromitovanje alata;
• risk governance - evaluacije sposobnosti, deployment i pristup naprednim mogućnostima.

Zato dva servisa sa sličnim modelom mogu imati različite granice, a odbijanje može nastati u modelu, klasifikatoru, monitoringu ili account sistemu.

OpenAI za GPT-5.6 opisuje model-level safety training, activation classifiers za Sol i Terra, slojeviti real-time monitoring, actor-level enforcement i trusted-access programe. GPT-5.6 System Card

Misuse, prompt injection i misalignment

To su tri različita problema.

Misuse: korisnik namerno pokušava da iskoristi model za štetan cilj.

Prompt injection: korisnik može biti benignan, ali agent pročita zlonamernu instrukciju sa sajta, iz mejla, PDF-a ili drugog sadržaja. OWASP posebno razlikuje direktne i indirektne napade. OWASP - Prompt Injection

Misalignment, u kontekstu agentnog ponašanja ovde: ponašanje modela odstupa od namere korisnika, zadatih ograničenja ili ciljeva prema kojima bi sistem trebalo da bude usklađen.

Kod chatbota safety često štiti svet od korisnika koji pokušava da zloupotrebi model. Kod agenta mora sve više da štiti i korisnika od sveta koji pokušava da zloupotrebi njegov AI.

Kod long-horizon sistema problem može nastati tek kroz niz koraka tokom dužeg rada agenta, pa jedna izolovana akcija nije uvek dovoljna za procenu. Long-horizon safety

Zašto ograničenja uopšte postoje?

Rizik nije samo sadržaj koji zvuči opasno. Tu su fizička šteta, dual-use biologija i hemija, cybersecurity, prevare i spam, privatnost i agenti koji izvršavaju kod, pristupaju fajlovima i preduzimaju radnje.

NIST zato generativni AI tretira kao skup rizika kojima se upravlja kroz životni ciklus sistema. NIST AI 600-1

Sposobnosti takođe više nisu na nivou iz 2022. OpenAI GPT-6 Astra je prvi njihov široko deployovan model sa Critical nivoom u Cybersecurity kategoriji i High u Biological and Chemical, dok GPT-6.1 Sol deo tih sposobnosti približava znatno nižoj ceni.

A cena safety-ja je stvarna

Over-refusal nije samo sitna neprijatnost. Security istraživač, biolog, lekar, novinar ili student može da dobije lošiji alat zato što sistem ne ume pouzdano da proceni kontekst.

Centralizovan safety takođe znači da mala grupa privatnih kompanija praktično određuje deo granica za milione korisnika. Pravila mogu da se promene, nisu uvek potpuno transparentna i korisnik često nema jasan način da ospori pogrešnu blokadu.

Ako odlučan napadač može da pređe na lokalni open-weight model ili drugi servis, stroga ograničenja cloud AI-ja mogu nesrazmerno više pogoditi legitimnog korisnika. Zato „više safety-ja“ nije automatski isto što i „bolji sistem“.

Da li je „cenzura“ prava reč?

„Cenzuru“ ovde koristim kolokvijalno. Pravno i tehnički precizniji pojmovi često su moderacija, safety policy i access control. Privatni servis koji odbije zahtev nije isto što i državna zabrana govora.

Ali iz perspektive korisnika rezultat može biti sličan: sistem ograniči odgovor iako model u mnogim slučajevima ima relevantnu sposobnost da generiše korisnu pomoć.

Zašto je dual-use granicu teško povući?

Uzmimo zahtev: „Kako napraviti PoC za konkretnu ranjivost da proverim sopstveni server?“

To može biti legitiman defensive-security posao, ali ista pomoć može koristiti i napadaču. Sam prompt često nije dovoljan da se namera pouzdano zaključi.

Previše konzervativan sistem blokira legitimne zahteve; previše liberalan propušta rizične. To je osnovni trade-off između over-refusal problema i propuštanja stvarne zloupotrebe.

OpenAI je sa GPT-5 prešao sa grubljeg input-centric „comply/refuse“ pristupa ka safe-completion pristupu, gde je fokus više na bezbednosti konkretnog izlaza i maksimalnoj korisnosti unutar te granice.

Najbolji safety sistem zato možda nije onaj koji najčešće kaže „ne“, nego onaj koji najpreciznije zna koliko može da kaže „da“.

Jailbreak pokazuje zašto je zaštitu teško učiniti robusnom

Sam generativni model ne primenjuje pravila kao klasičan if/else, iako sistem oko njega može imati determinističke klasifikatore, permission kontrole i blokade.

Anthropic je u jednom testu imao 183 učesnika koji su za dva meseca proveli više od 3.000 sati pokušavajući da pronađu univerzalni jailbreak za prototip Constitutional Classifier sistema. Niko nije našao jedan kojim bi model odgovorio na svih deset zabranjenih upita, ali Anthropic naglašava da savršeno robusna zaštita ne postoji. Constitutional Classifiers

Sadržaj ili sposobnost?

Jedan grublji pristup je: „određene vrste zahteva treba blokirati“.

Precizniji pristup pita: koliko konkretan odgovor povećava sposobnost korisnika da napravi štetu?

Nije isto opšte objašnjenje, detaljno uputstvo, rešavanje prepreka i autonomno izvršavanje:

znanje -> savet -> detaljno uputstvo -> optimizacija -> izvršavanje -> autonomija

Što se ide više udesno, isti domen može imati potpuno drugačiji profil rizika.

Ko treba da određuje granicu?

Da li kompanija, zakonodavac, nezavisni standardi, korisnik ili neka kombinacija?

EU više nije samo posmatrač. AI Act uvodi obaveze za sve GPAI providere, dok za modele sa sistemskim rizikom postoje dodatne obaveze, uključujući evaluacije, procenu i ublažavanje sistemskih rizika, prijavu ozbiljnih incidenata i cybersecurity zaštite. Obaveze se primenjuju od 2. avgusta 2025, Komisija ih od 2. avgusta 2026. sprovodi uključujući kazne, dok za modele stavljene na tržište pre 2. avgusta 2025. važi rok do 2. avgusta 2027. European Commission - GPAI obligations

Trust-based access otvara novo pitanje: da li verifikovani security istraživač ili laboratorija treba da dobije šire mogućnosti od anonimnog korisnika? GPT-5.6 već ima domain-specific programe kroz koje verifikovani korisnici i organizacije mogu dobiti širi, ali i dalje ograničen i monitorovan pristup određenoj dual-use pomoći.

Da li time dobijamo razumno upravljanje rizikom ili neku vrstu klasnog sistema pristupa inteligenciji?

Cloud protiv open-weight modela

Cloud servis može imati monitoring, account kontrole, rate limits i menjati zaštite kada se otkrije nova zloupotreba. Kod lokalnog open-weight modela veliki deo tih spoljašnjih kontrola nestaje, a korisnik dobija veću autonomiju i mogućnost nezavisnog testiranja, modifikovanja i inspekcije deployment stack-a.

Kada se weights distribuiraju, provider više ne može retroaktivno zakrpiti već preuzete kopije, opozvati im sposobnost ili nametnuti monitoring.

Zato ovo nije „open dobro, closed loše“, nego trade-off:

kontrola korisnika <-> kontrola rizika

Ko je zapravo odbio odgovor?

Ako AI nešto odbije, da li korisnik treba da zna da li je odluku doneo model, spoljašnji classifier, account-level safety sistem, pravna obaveza ili product policy? Ako je odluka pogrešna blokada, treba li da postoji način da se ospori?

Što AI postaje važniji alat, transparentnost tih odluka postaje sve važnija.

Pitanja za diskusiju

• Da li odraslom korisniku AI treba da odgovori na skoro sve što je legalno?
• Da li treba razlikovati „objasni mi“ od „uradi ovo umesto mene“?
• Da li verifikovani stručnjak treba da ima šire mogućnosti od anonimnog korisnika?
• Ko treba da definiše safety granicu - kompanija, država, nezavisno telo ili korisnik?
• Koliko legitimnih zahteva smo spremni da blokiramo da bismo smanjili rizik ozbiljne zloupotrebe?
• Treba li korisnik da zna koji safety sloj mu je blokirao odgovor i da ima pravo na žalbu?
• Da li open-weight modeli ograničavaju koliko safety može centralno da se nametne?
• Ako AI postane mnogo sposobniji od čoveka u pojedinim oblastima, da li ćemo želeti manje ograničenja - ili neuporedivo više?

Ako nas današnji safety filteri nerviraju zato što je AI ponekad previše oprezan, šta ćemo želeti onda kada problem više ne bude samo AI koji daje odgovor, nego AI koji je dovoljno sposoban da taj odgovor pretvori u akciju?

 

[pmb]

Da probam da vratim temu na jedno konkretnije pitanje, pošto sam u uvodnom postu izgleda otvorio previše stvari odjednom. 🙂

Zamislite da od AI-ja tražite da pronađe bezbednosni propust na vašem računaru ili mreži. Može da vam objasni kako ranjivost funkcioniše, napiše kod za njeno testiranje ili čak sam pokrene test ako ima pristup potrebnim alatima.

Gde biste povukli granicu?

Meni te tri stvari nisu ni približno iste. Jedno je preneti znanje, drugo dati nekome gotov alat, a treće samostalno izvršiti radnju. Problem je što AI ne može pouzdano da zna da li zaista testirate sopstveni sistem ili tuđi.

Zato mi ima više smisla da ograničenja zavise od toga šta AI konkretno omogućava i kakve posledice to može imati, nego da automatski odbija čitave kategorije pitanja. Naravno, ni samo davanje informacija nije uvek bez rizika.

Ali da ne ostanemo opet samo na teoriji, zanima me i vaše iskustvo. Da li vam se desilo da ChatGPT, Claude, Gemini ili neki drugi model odbije sasvim legitiman zahtev, ili suprotno, da bez problema pruži pomoć za koju ste pomislili da je ipak trebalo da postoji neka granica?

Mislim da bi nekoliko stvarnih primera bilo zanimljivije za diskusiju od načelnog opredeljivanja za ili protiv safety filtera.