Deepfake danas: mnogo više od zamene lica - primene, rizici i kako proveravati sadržaj

[pmb]

Otvaram temu jer se "deepfake" i dalje često koristi kao sinonim za zamenu lica u videu, a priča je danas dosta šira. Poenta nije ni promocija alata ni panika, već da razdvojimo šta zovemo deepfakeom, gde ima legitimnu primenu i gde nastaje ozbiljan problem.

Šta zapravo znači deepfake?

Ne postoji potpuno univerzalna definicija. EU AI Act definiše deepfake kao AI-generisan ili AI-manipulisan slikovni, audio ili video sadržaj koji liči na postojeću osobu, objekat, mesto, entitet ili događaj i lažno deluje autentično ili istinito.

Dakle, nije samo "tuđe lice nalepljeno preko glumca".

NIST-ov aktuelni Deepfakes 2026 program obuhvata face swapping, body swapping i manipulaciju konteksta.

Tu se mešaju još dva termina. Synthetic media je širi pojam za slikovni, audio, video ili tekstualni sadržaj koji je potpuno ili delimično veštački generisan ili sintetički izmenjen, dok manipulated media obuhvata i klasičnu montažu, sečenje ili promenu konteksta bez generativnog AI-ja.

AI-generisan tekst može biti synthetic media, ali nije "deepfake" po definiciji EU AI Act-a. Kod potpuno sintetičkih lica granica je manje oštra: smernice Evropske komisije pojam tumače dovoljno široko da može obuhvatiti i sadržaj koji predstavlja nešto što bi realno moglo da postoji, ako pritom lažno deluje autentično.

Koje tehnike danas ulaze u deepfake i synthetic media?

Nisu sve ove tehnike same po sebi deepfake; zavisi šta imitiraju i kako je sadržaj predstavljen.

Kod lica postoji klasičan face/identity swap, facial reenactment, gde se prenose mimika i izrazi, i AI lip-sync, gde se pokreti usana prilagođavaju novom govoru. Talking-head sistemi od jedne ili nekoliko fotografija mogu da naprave osobu koja govori i menja izraz.

Kod zvuka postoji voice cloning, odnosno sintetizovanje govora koji zvuči kao određena osoba, i voice conversion, gde se postojeći govor prenosi u glasovne karakteristike druge osobe. Srodne tehnike koriste se i za pevački glas.

Kod tela postoje body swap, body reenactment i motion transfer, a mogu se menjati i godine, izgled, odeća ili delovi tela. U sceni se mogu menjati pozadina, kontekst i objekti ili generisati događaj koji se nije desio. Multimodalni sistemi mogu da kombinuju lice, telo, glas, pokret i okruženje, pa je "deepfake = face swap" danas preuska predstava.

Gde je ovo legitimno i korisno?

Iste tehnike imaju sasvim legitimne primene. U filmu i VFX-u mogu da služe za podmlađivanje ili rekonstrukciju likova, zamenu izvođača u određenim kadrovima i druge efekte, uz odgovarajuću saglasnost i prava.

Kod lokalizacije AI lip-sync može da prilagodi pokrete usana prevedenom govoru, dok igre i digitalni avatari koriste srodne metode za animaciju. U obrazovanju i muzejskim postavkama sintetizovan lik može da bude deo jasno označene prezentacije, a satira i parodija nisu isto što i obmana ako je publici jasno šta gleda.

Identitet osobe na snimku može se izmeniti radi zaštite privatnosti, a personalizovani sintetizovani glas može pomoći nekome ko je zbog bolesti izgubio mogućnost govora da zadrži glas sličan svom. FTC upravo voice cloning navodi i kao tehnologiju sa korisnim primenama, paralelno sa upozorenjima na zloupotrebu.

Granica zato nije "AI = loše". Važniji su saglasnost, prava, kontekst i način na koji se sadržaj predstavlja publici.

Gde nastaje problem?

Problem počinje kada se sintetički sadržaj koristi da bi se neko lažno predstavio ili naveo drugu osobu da reaguje kao da je sadržaj autentičan.

Najjednostavniji primer su prevare sa kloniranim glasom: poziv navodnog člana porodice koji traži da se hitno pošalje novac. FTC savetuje upravo ono što je ovde najvažnije - zahtev proveriti drugim kanalom, recimo tako što ćete sami pozvati osobu na broj koji već poznajete.

Isti princip važi za imitiranje direktora, kolege ili službenog lica, socijalni inženjering, lažne video-pozive, krađu identiteta i pokušaje izvlačenja poverljivih podataka.

Druga grupa problema je reputaciona i lična šteta: lažne izjave, ucena, iznuda i neovlašćeno generisanje intimnog sadržaja. Treća je informaciona: lažni snimci javnih ličnosti, političke manipulacije, izmišljeni događaji i fotografija, video ili audio predstavljeni kao "dokaz" nečega što se nije dogodilo.

Mogući su i pokušaji zaobilaženja sistema za biometrijsku proveru identiteta, ali to ne znači da je svaka biometrija automatski "probijena". Ishod zavisi od konkretnog sistema i dodatnih kontrola koje koristi.

Poseban problem je liar's dividend. Kako javnost postaje svesna koliko ubedljiv sintetički sadržaj može da bude, pojavljuje se i obrnuta mogućnost: autentičan snimak neko može jednostavno da odbaci tvrdnjom "to je AI".

Problem više nije samo da poverujemo falsifikatu, već i da prestanemo da verujemo pravom snimku. To može ozbiljno narušiti poverenje u digitalne dokaze.

Koliko možemo verovati deepfake detektorima?

Detektor može biti koristan signal, ali nije presuda.

Rezultat tipa "97% AI" sam po sebi ne dokazuje da je nešto lažno. Detektori mogu imati i false positive i false negative rezultate, a jedan od najvećih problema je generalizacija: sistem koji dobro prepoznaje tragove generatora na kojima je treniran ne mora isto da radi sa novim generatorom ili drugačije obrađenim sadržajem.

NIST u opisu programa Deepfakes 2026 citira podatak o padu performansi od 45-50% pri prelasku sa akademske evaluacije na operativnu upotrebu. To nije univerzalna "stopa greške deepfake detektora", već dobar pokazatelj koliko rezultat zavisi od uslova. Kompresija, skaliranje, ponovno snimanje ekrana i druga obrada mogu dodatno da promene tragove na koje se detektor oslanja.

Zato ni saveti tipa "pogledaj prste, zube, treptanje i senke" više nisu pouzdan metod sami za sebe. Takvi artefakti mogu da budu razlog za dodatnu proveru, ali generator koji danas greši na određenom detalju sutra možda neće.

Kako se praktično zaštititi?

Mnogo je korisnije proveravati poreklo i kontekst nego loviti "AI piksele".

Ako dobijete sumnjiv poziv od bliske osobe, prekinite razgovor i sami je pozovite na broj koji već znate. Ne potvrđujte priču kroz isti kanal kojim je stigla.

Zahtev za novac, lozinku, kod, dokument ili poverljiv podatak ne treba odobriti samo zato što glas ili lice deluju poznato. U porodici ili firmi može da pomogne unapred dogovorena reč ili drugi nezavisan način potvrde za hitne situacije.

Kod sumnjivog ili viralnog snimka tražite originalni izvor i puni kontekst. Proverite zvanični nalog ili sajt i da li informaciju potvrđuju drugi pouzdani izvori.

Reverse image pretraga, kao i pretraga izdvojenih ključnih kadrova iz videa, može da pronađe stariju verziju snimka, drugo mesto ili događaj iz kog je materijal uzet.

Metapodaci i podaci o poreklu takođe mogu pomoći. Važan pravac je C2PA / Content Credentials, gde sadržaj može da nosi kriptografski proverljive informacije o poreklu i izmenama.

Ali ni to nije "sertifikat istine". Validan zapis o poreklu može da pruži proverljive podatke o poreklu fajla i evidentiranim izmenama, ali ne dokazuje da je tvrdnja koju sadržaj prikazuje istinita. Ni taj lanac nije nužno kompletan: Content Credentials mogu da nedostaju ili budu uklonjeni, pa ni njihovo odsustvo nije dokaz da je sadržaj lažan.

Regulativa i označavanje

Pravo zavisi od države i konkretne upotrebe, pa američke propise ne treba prepisivati kao da važe u Srbiji.

Kao važan regionalni primer, EU AI Act ima eksplicitnu definiciju deepfakea i transparentnost takvog sadržaja uređuje kroz član 50, koji se primenjuje od 2. avgusta 2026.

To ipak nije jednostavno pravilo "svako ko napravi deepfake mora da ga označi". Zakon razlikuje providere i deployere, postoje izuzeci i posebna pravila, a fizičko lice koje AI koristi isključivo u ličnom i neprofesionalnom svojstvu ne smatra se deployerom po AI Act-u. To ne znači da takav sadržaj automatski ne podleže drugim pravilima o prevari, privatnosti ili pravima trećih lica. FAQ Evropske komisije detaljnije objašnjava te razlike.

Važna razlika je da EU AI Act ne kaže jednostavno "deepfake je zabranjen". Jedno je sama tehnologija, drugo obaveza transparentnosti u određenom kontekstu, a treće su prevara, ucena, povreda privatnosti ili druga protivpravna upotreba.

Mislim da ćemo sve manje moći da se oslanjamo na pitanje "da li mi ovo izgleda kao AI", a sve više na "odakle je ovo došlo i mogu li nezavisno da proverim". Upravo zbog liar's dividenda, dokazivanje porekla autentičnog sadržaja možda će postati važnije od lova na svaki mogući falsifikat.

Gde biste vi povukli granicu između legitimne primene i obmane - na samoj tehnici, saglasnosti osobe, nameri autora ili načinu na koji se sadržaj predstavlja publici? I da li mislite da će sistemi za dokazivanje porekla poput C2PA dugoročno biti korisniji od samih AI detektora?

 

[emaremare]

Vrlo kompleksna tema i definitivno vremena koja dolaze nam donose veliki izazov u traganju za pravim izv(b)orom informacija.

Mislim da kao što decenijama lično funkcionišem a sve više odnosno sve uže će mi biti interesovanje i odlaziće od sfera gde će maliciozni deepfake imati koristi. A to je što dalje od politike, žute štampe i "stanja" u svetu. Više fokus na sport, filmove, muziku, putovanja, gaming, zdrav život... Naravno i tu se uvaljuje deepfake videli smo na SP u fudbalu par primera doduše fotomontaže ali ta malicioznost je prisutna čak i u sportu.

 

[uji]

Ono što sam projektovao da može biti realnost za 2029. dešava se upravo sada u 2026. Istini za volju, u sadržaj se ugrađuju nečujni i nevidljivi potpisi koji otkrivaju AI generaciju ili alternaciju, ali to takođe ima i drugu stranu novčića. Dok se dokaže da li su gaće pale, šteta je već učinjena.

 

[pmb]

Da se nadovežem na ovo što su @uji i @emaremare pomenuli – glavni problem i jeste u tome što šteta nastane mnogo pre nego što uopšte stigneš da proveriš da li je snimak autentičan. Pritom više nije dovoljno ni da se prosto isključiš iz politike i tabloida da bi bio van domašaja takvih stvari.

Interpol je baš pre neki dan (19. oktobra) pokrenuo kampanju o deepfake prevarama gde fokus uopšte nije na političarima i poznatima, nego na običnim ljudima. Objavili su tri kratka AI videa kao ilustraciju na šta treba paziti: video-poziv „kolege“ koji traži hitan transfer novca, poziv člana porodice u nevolji i prevare kroz internet poznanstva:
https://www.interpol.int/en/News-and-Events/News/2026/INTERPOL-launches-public-awareness-campaign-highlighting-risk-of-AI-deepfake-scams

Još nezgodniji mi je slučaj na koji je FBI upozorio u julu. Prevaranti su napravili lažni portal IC3 (za prijavljivanje internet kriminala) i koristili AI snimke visokog zvaničnika FBI-ja kako bi ubedili ljude da je sajt pravi. Znači, čovek već bude žrtva prevare, pokuša da uradi pravu stvar i prijavi slučaj, a oni iskoriste njegovo poverenje u instituciju da mu izvuku još podataka:
https://www.ic3.gov/PSA/2026/PSA260720

U takvim situacijama deepfake i ne mora da bude savršen. On je tu samo kao dodatak koji daje privid autoriteta, dok je cela priča okolo već složena da deluje uverljivo. Zato nam ni neki idealan detektor ne bi rešio ceo problem u praksi, jer se odluke donose u trenutku, često pod pritiskom. Uostalom, čak i kad na ekranu zaista jeste prava osoba koju poznaješ, opet ne znaš da li joj je nalog kompromitovan ili traži nešto mimo procedure.

Zanima me kakva je praksa kod nas, posebno među ljudima koji rade u IT-u ili većim poslovnim sistemima. Kada neko od kolega ili nadređenih preko Teamsa ili Zooma traži hitnu uplatu, promenu računa ili slanje poverljivog dokumenta – da li postoje konkretne procedure kako se takav zahtev dodatno proverava? Ili se u praksi sve i dalje svodi na to da prepoznaš sagovornika po licu i glasu, jer bi dodatna provera za svaku sitnicu previše usporila posao?

 

[emaremare]

Ne vidim scenario u kom bi neko preko teamsa hitno tražio uplatu unutar korporativnog sistema a da može da zaobiđe ustaljenu proceduru. To će pre da prodje kod srednjih i manjih preduzeća pro nabavci od inostranog partnera npr hakuju mail izmene beneficiary na profakturi i kada ga pozoveš da proveriš jesu li stvarno menjali odrade neki deepfake. Ali i to je odavno rešeno da zoveš tu osobu direktno na mobilni i da tražiš potvrdu promene računa na memorandumu sa pečatom. Da i to se da modifikovati lako ali ipak zoveš na br koji znaš, pozoveš par ljudi iz te firme pogotovo ako su velike svote u pitanju.

P.S. Interpol ako im se na vreme prijave ove mahinacije, tokom istog dana stopira transfer i može se rešiti ali mora brzo da se reaguje.

 

[marantz]

Zanima me kakva je praksa kod nas, posebno među ljudima koji rade u IT-u ili većim poslovnim sistemima. Kada neko od kolega ili nadređenih preko Teamsa ili Zooma traži hitnu uplatu, promenu računa ili slanje poverljivog dokumenta – da li postoje konkretne procedure kako se takav zahtev dodatno proverava? Ili se u praksi sve i dalje svodi na to da prepoznaš sagovornika po licu i glasu, jer bi dodatna provera za svaku sitnicu previše usporila posao?

Ti sada o ovome pričaš kao da je svakodnevnica. To su i dalje izolovani slučajevi na svetskom nivou i ne postoje procedure za to. U praski se svodi na to da takva praksa (još uvek) ne postoji. I dalje smo na nivou princa iz Nigerije koji pokušava da ti prepiše milione preko maila.

 

[pmb]

Ne pričam o tome da će ti neko svakog dana preko Teamsa ili Zooma izvući milione, niti da treba proveravati identitet sagovornika za svaku sitnicu. Poenta je da lice i glas više nisu dovoljan dokaz identiteta kada se traži nešto ozbiljno. A procedure za to odavno postoje i nisu nikakva topla voda. Promena broja računa, vanredna uplata ili slanje poverljivih dokumenata proveravaju se nezavisnim kanalom, preko ranije poznatog kontakta, a za veće sume može da se traži i odobrenje druge osobe. To nije paranoja, nego najosnovnija zaštita od socijalnog inženjeringa.

Da cela priča više nije na nivou „nigerijskog princa“, lepo pokazuje slučaj kompanije Arup iz 2024. godine, gde je zaposleni posle lažnog video-sastanka sa navodnim kolegama i finansijskim direktorom prebacio prevarantima oko 25 miliona dolara. Naravno da se takve pljačke ne dešavaju svaki dan, ali jesu dokaz da tehnologija već može ozbiljno da se zloupotrebi i da više ne možeš da se osloniš samo na to što nekoga vidiš i čuješ na ekranu.

A ako govorimo o svakodnevici, dovoljno je otvoriti Instagram ili TikTok. Na tim mrežama već nailazimo na prevarantske reklame koje koriste AI slike, klonirane glasove i deepfake snimke poznatih ličnosti koje navodno preporučuju sumnjive proizvode, kripto-šeme i razne navlakuše. Kada se to spoji sa algoritmima za targetiranje, prevarant uopšte ne mora da zna ko si ti konkretno. Dovoljno je da plasira reklamu, a sistem oglašavanja može da je usmeri prema korisnicima na osnovu njihovih interesovanja, ponašanja i sadržaja koji prate. Ako te zanimaju gedžeti, veća je verovatnoća da ćeš naleteti na takvu ponudu. Ista infrastruktura koja služi legitimnom marketingu može sasvim lepo da posluži i prevarantima. FTC je upravo na takve zloupotrebe oglašavanja upozoravao.

Slična stvar su i one čuvene reklame za jeftine proizvode sa Temua i sličnih platformi, gde proizvod na snimku radi čuda, a u praksi se neretko ispostavi da nema mnogo veze sa onim što je prikazano. Ok, tu često nije u pitanju pravi deepfake, nego klasična montaža, preuveličavanje i obmanjujući marketing, ali mehanizam je sličan. Ubedljiv video te lako navede da kupiš maglu. Ne znači da je svaki jeftin proizvod loš, ali problem sa obmanjujućim prodajnim praksama svakako postoji. Uostalom, i Evropska komisija je ukazala na problematične prakse Temua, uključujući lažne popuste i agresivne prodajne trikove.

A gde je tek zloupotreba AI-ja za pravljenje lažne pornografije? Danas postoje čitavi servisi koji od obične fotografije stvarne osobe mogu da naprave lažne intimne slike i snimke bez njenog znanja ili pristanka. CBS je prošle godine otkrio stotine reklama za takve alate upravo na Metinim platformama. Takav sadržaj može da se koristi za ponižavanje, ucene i iznudu, što više nije samo neka prljava igra na internetu, nego ozbiljna zloupotreba koja, zavisno od okolnosti, može predstavljati i krivično delo. Nekome time doslovno možeš da upropastiš život.

Zato sam i pokrenuo pitanje procedura. Ne mora neko da ti ukrade milione preko Zooma da bi problem bio stvaran. Tehnologija je već tu, usavršava se i zloupotrebljava na različite načine. Ako budemo čekali da korporativne deepfake prevare postanu svakodnevica kod nas da bismo uveli osnovnu proveru identiteta i zahteva, onda smo debelo zakasnili. Dodatna provera kod rizičnih stvari nije nepotrebno kočenje posla, nego način da sa nekoliko minuta provere sprečiš štetu od koje posle boli glava.

 

[marantz]

Naveo si da li kada dođemo na posao, kolege nam preko Teams-a šalju Deepfakes i traže pare i kako to rešavamo. To se ne dešava.
Tik Tok i ostalo što sada pišeš, nije ono na šta se deo posta koji sam citirao odnosio. To je druga tema.

 

[MilanBre]

Po meni deepfake treba zabraniti.

 

[emaremare]

Mnogo toga treba zabraniti ali je nemoguće a i nije svima u interesu.