Pravljenje muzike uz pomoć AI

[neoNEVIDLJIVI]

Pošto nemam adekvatan hardver i jaču grafičku, odnosno konfigurisao bih Google Colab za slične potrebe, ali nikako da se nakanim; Da li YuE2 funkcioniše na očekivani način u domašaju gde ti se generiše pesma na osnovu svoje melodije koju otpevaš? (pod pretpostavkom da znaš da pevaš)

YuE2 lokalno u ComfyUI - pesme, reference/cover i instrumentali

Evo nečega za one kojima je zanimljivo lokalno generisanje muzike, umesto oslanjanja isključivo na Suno/Lyria servise.

Poslednjih dana testiram YuE2-3B u ComfyUI-ju. Ne bih ga predstavljao kao nekakav "Suno killer", ali kvalitet aranžmana, instrumenata i finalnog zvuka je već dovoljno dobar da ima smisla porediti ga sa ozbiljnim cloud servisima.

Po mom praktičnom utisku, ukupni kvalitet je već u istoj široj kategoriji sa Suno i Google Lyria 3.5, s tim što ovde sve radi lokalno i imate dosta više kontrole nad samom kompozicijom.

Autori ga porede sa Suno v5/v6. Na njihovom WildSongBench testu standardni YuE2 ima SongBench Avg 6.7316, Suno v6 6.5562, dok YuE2 best-of-8 ide do 6.9632.

To, naravno, ne znači da je YuE2 univerzalno bolji. Različiti modeli imaju različite prednosti, a automatski benchmark nije isto što i slepi ljudski test.

WildSongBench rezultati i metodologija

Kod mene radi na RTX 5090 32 GB, BF16.

Šta je zanimljivo kod YuE2

YuE2 može da napravi kompletnu pesmu direktno iz Style + Lyrics, ali može i prvo da napravi simbolički plan pesme:

Style + Lyrics
↓
ABC score
melodija + akordi
↓
YuE2
↓
48 kHz stereo audio

ABC može da se pregleda i menja pre finalnog rendera.

Režimi su:

FULL    = melodija + akordi
MELODY  = melodijski plan, više slobode za harmoniju/aranžman
OFF     = bez symbolic planninga

Za običan text-to-song uglavnom koristim FULL.

Za reference i ozbiljniju promenu žanra često mi je bolji MELODY.

Srpski

Ovde odmah jedna ograda.

Zvanično su kao podržani jezici navedeni engleski i kineski. Srpski ipak radi zero-shot i ume da bude iznenađujuće upotrebljiv. Tekst razume, peva ga i dosta reči izgovori potpuno normalno.

Najveći problem je akcenat.

Na pojedinim bitnim rečima naglasi pogrešan slog i tada se odmah čuje da srpski nije primarno podržan jezik.

Probao sam i ručno označavanje akcenata, ali je kod mene rezultat bio još gori, pa sada koristim običnu latinicu ili ćirilicu, bez fonetskih znakova, i probam nekoliko seedova.

muzika / aranžman / produkcija: vrlo dobri
engleski vokal: vrlo dobar
srpski vokal: upotrebljiv
srpski akcenat: još nije pouzdan

ComfyUI

Najlakše je koristiti Windows Portable za NVIDIA.

Direktan download - ComfyUI Windows Portable NVIDIA

ComfyUI - zvanični GitHub

Raspakuje se i pokreće:

run_nvidia_gpu.bat

Pre YuE2 workflowa preporučujem da ComfyUI bude ažuriran, pošto sada ima native YuE2 podršku.

Glavni YuE2 model

Koristim:

yue2_3b_bf16.safetensors

Ide u:

ComfyUI\models\checkpoints\

Comfy-Org YuE2 - svi ComfyUI modeli

Direktan download - yue2_3b_bf16.safetensors

Postoji i INT8 verzija, ali ako imate dovoljno VRAM-a, ja bih koristio BF16.

Originalni model:

m-a-p/YuE2-3B

YuE2 - zvanični GitHub

Reference / cover

Za postojeći WAV/FLAC kao muzičku referencu treba:

sheetsage2_bf16.safetensors

Ide u:

ComfyUI\models\audio_encoders\

Direktan download - sheetsage2_bf16.safetensors

SheetSage2 ne šalje originalni waveform direktno YuE2-u, već radi otprilike ovo:

reference audio
↓
SheetSage2
↓
ABC score
↓
YuE2 + novi Style/Lyrics
↓
nova verzija

Zbog toga mogu da se rade stvari tipa:

trap → modern pop
rock → jazz
pop → metal
balada → synthpop

Za veću promenu stila koristim MELODY.

Ako želim da sačuvam više originalne harmonije, onda FULL.

Ako koristite tuđe komercijalne pesme kao reference i rezultat planirate javno da objavljujete, treba, naravno, voditi računa o autorskim pravima.

Instrumental LoRA

Za instrumentale postoji korisna AR LoRA:

ar_lora_inst_v3abc_comfyui.safetensors

YuE2 Instrumental AR LoRA

ar_lora_inst_v3abc_comfyui.safetensors - download stranica

Ide u:

ComfyUI\models\loras\

LoRA je trenirana na približno 2.700 instrumentalnih numera uparenih sa ABC scoreovima.

Bitna stvar je da ovo nije klasična audio LoRA.

Menja AR planner, odnosno u native ComfyUI workflowu koristi se kroz CLIP granu:

YuE2 CLIP
↓
LoraLoader
strength_clip = 1.0
↓
YuE2 Generate ABC
↓
YuE2 Generate Music

Za početak koristim:

strength_clip = 1.0
mode = full
lyrics = [instrumental]

Bez nje standardni YuE2 ume da ubaci vocal chop, humming ili uzdahe čak i kada prompt traži čist instrumental.

LoRA to dosta smanjuje, ali nije apsolutni vocal suppressor.

Workflowi

Zvanični ComfyUI workflowi:

YuE2 Text-to-Music workflow

YuE2 Music Cover / Reference workflow

Uz njih kačim i workflowe koje sam prilagodio:

YuE2_3B_BF16_Instrumental_AR_LoRA_ComfyUI.json
YuE2_3B_BF16_Reference_Instrumental_AR_LoRA_ComfyUI.json
ComfyUI-YuE2-Reference-Instrumentalizer.zip

Poslednji je mali helper node za instrumentalni reference workflow.

Problem je što SheetSage2 score može da sadrži:

V: Vocal
V: Ins

Ako Vocal deo direktno ode dalje, YuE2 ponekad odluči da tu melodiju treba da peva ili pevuši.

Helper može Vocal note automatski da pretvori u rests:

vocal_to_rests

dok instrumentalna staza ostane sačuvana.

Recimo, za:

trap reference → modern pop instrumental

koristim:

SheetSage2 = melody
Instrumentalizer = vocal_to_rests
Instrumental LoRA = 1.0
Lyrics = [instrumental]

Na taj način ostane prvenstveno melodijska ideja reference, dok YuE2 ponovo pravi harmoniju, drums, bass, synthove i ostatak aranžmana.

Folderi

ComfyUI
├── models
│   ├── checkpoints
│   │   └── yue2_3b_bf16.safetensors
│   │
│   ├── audio_encoders
│   │   └── sheetsage2_bf16.safetensors
│   │
│   └── loras
│       └── ar_lora_inst_v3abc_comfyui.safetensors
│
└── custom_nodes
└── ComfyUI-YuE2-Reference-Instrumentalizer

Licenca

Vredi pročitati aktuelni model card pre komercijalne upotrebe.

YuE2 weights su CC BY-NC 4.0 uz dodatnu creator permission.

Autori trenutno navode da personal users, content creators i musicians mogu da koriste YuE2 i monetizuju generisane outpute bez njihovih naknada, dok kompanije treba da ih kontaktiraju za komercijalnu licencu za weights.

Licenca i aktuelni uslovi na zvaničnom YuE2 repozitorijumu

Zaključak

Suno/Lyria su svakako jednostavniji: napišeš prompt i gotovo.

YuE2 traži GPU, ComfyUI i malo petljanja oko workflowa, ali zauzvrat dobijaš lokalnu generaciju, editabilnu melodiju i harmoniju, reference workflow i dosta prostora za eksperimentisanje.

Za engleski mi deluje vrlo ozbiljno.

Za srpski je upotrebljiv i često prijatno iznenadi, ali pogrešan akcenat na pojedinim rečima je trenutno njegova najočiglednija mana.

Bravo! 'Kapa dole' na podeljenim iskustvima i trudu za ovako detaljan post! 👏👏👏

 

[uji]

Da, u principu može baš tako, samo nije direktno fazon "ubaci sirov glas u YuE2". Otpevaš svoju melodiju u WAV/FLAC, SheetSage2 je transkribuje u ABC score, pa YuE2 dobije taj ABC zajedno sa Style promptom i Lyrics i od toga generiše kompletnu novu pesmu. Zvanični cover workflow upravo koristi SheetSage2 da iz reference izvuče vocal/lead melodiju i koristi je kao simbolički melody condition.

Ako čisto otpevaš svoju melodiju, pogotovo a cappella ili uz vrlo prostu pratnju, trebalo bi da bude sasvim dobar input. Naravno, sve zavisi od toga koliko SheetSage2 pogodi pitch, ritam i fraziranje, tako da nije garantovano da će svaka nota biti 1:1. Dobra stvar je što dobijeni ABC možeš da pregledaš i ručno ispraviš pre generacije.

Za taj scenario koristiš MELODY mode - tvoja melodija ostaje osnova, a YuE2 pravi harmoniju, instrumente i aranžman. Iz reference uzima melodiju, dok novi vokal generiše prema Style promptu. Može i tvoj tekst, samo je poželjno da broj slogova i fraziranje približno legnu na melodiju.

Dakle, nije isto što i Suno "Upload Audio", preciznije je audio -> symbolic melody -> nova generacija. Meni je baš taj koncept jedna od zanimljivijih stvari kod YuE2: smisliš i otpevaš melodiju, a model od nje napravi ceo produkcijski aranžman.

Ovo dosta toga menja. Probao sam na huggingface space-u da ovo provučem i stvarno „čuje“ šta pevam. Stavio sam mu moj tekst i napravio je kompletan aranžman. Možda nije idealno, ali mogu dalje da ga obrađujem.

Hum to Song - a Hugging Face Space by Mothersuperior

Hum a melody, get a finished song

huggingface.co

 

[hogarstrasni]

 

[hogarstrasni]

Sinoc pred spavanje naleteh na neki twit da je umro Goran Bare. Navodno poslednji Hrvatski roker. Rekoh, hajde da cujem sta peva. Ostao sam satima da slusam njegove pesme . Licno, veoma malo slusam muziku(imam sijaset drugih hobija), pa je valjda moja sramota sto nisam ranije cuo za njega. Nije ni ta muzika, bas ono na sta se lozim, ali u kombinaciji sa njegovim likom,pricom o njegovom zivotu...(slusao sam i neki intervju).Nesto me dotaklo.Imaju te pesme u sebi lepotu koja nije mozda potpuno ni izrecena a koja se stidljhivo krije izmedju stihova.Svakako i iskrenost.Mozda sam pronasao i delic sebe u njima. I tako, napisah pesmu muzicaru za kojeg sam cuo tek kad je umro. Neka sad peva sa andjelima

 

[jacio]

Vidim da ovde dosta ljudi eksperimentiše sa AI muzikom. Šta vam je najteže da pogodite iz prvog pokušaja — vokal, melodiju ili to kako tekst „legne” na muziku?

Radim na onlymusic.ai, pa me posebno zanima šta obično menjate posle prvog generisanja. Da li prvo prepravite tekst, promenite opis stila ili krenete od početka?

 

[uji]

Najteže mi je da pogodim iz prvog pokušaja stil koji tražim. Nekad uspe, nekad ne. Opet, ni nema pravila koja vrsta promptova uspeva, bilo jednostavna ili složena. Sve više se troše mogućnosti za dolaženje do boljih pesama, datasetovi redukuju i samim tim, dok ne prođu regulacije, biće jako veselo.

 

[hogarstrasni]

 

[MilanBre]

Ja gledam da pesma ima flow, ne sme nigde da se guši. Gledam da ima rimu ili slant rimu. Nekad radim rimu i ovako ali mora i tu da ima flow.
A
B
C
B

Ako pesma ne teče lepo, menjam tekst dok ne rešim da to teče kako treba a onda se bakćem sa vokalom i melodijom.

Tako da za jedan demo, odradim preko 80 generisanja. 😅

Ne svidja mi se što suno izmeni style sam od sebe, nisam gledao da li može to da se isključi.


Jel šaljete demo nekome? Ili za svoju dušu pravite pesmu?

 

[Moca]

Pošto ne znam da sviram niti sam muzički obrazovan meni obično padnu na pamet stihovi dok slušam neku drugu pesmu. Treba mi dva tri stiha da krenem nekad su to stihovi iz strofe nekad iz refrena. E onda na Chatgpt tražim da mi napravi promprt od pesme koja mi je bila inspiracija. Mada to često ne ispadne ni slično tome 😀 E onda posle eksperimentišem pa isprobavam drugačije stilove i dešava mi se da stil koji sam imao u glavi na kraju zamenim potpuno drugačijim.

@MilanBre ne šaljem demo nikome jer sam iz razgovora sa nekim ljudima u toj industriji dobio info da je to uzaludan posao da su svi povezani i da niko ne želi da uzima od nepoznatih autora jer nema ko da ti gura pesmu jer ovi poznati tekstopisci imaju svoje veze na radio stanicama koji će gurati pesmu. Pričao sam sa drugarom koji ima bend za svadbe i to ozbiljan bend sa preko 200 svirki godišnje i on mi kaže da mu se ne isplati to jer kaže najlakše je snimiti pesmu ali je problem kasnije je gurati jer mora ozbiljne pare da se ulože u to.

Imam kanal i imam 350 sabskrajbera i najpopularnija pesma mi ima 65k pregleda ali ostatak jako slabo zbog YT algoritma, poslednja pesma koju sam objavio mi ima manje pregleda nego što mi slika pečenja iz Javor Džoka ima lajkova 🤣 Mislim da sam napravio grešku što sam ljudima koje poznajem šerovao na FB i insta i onda retko ko želi da posluša jer će pre da poslušaju nekog kog ne znaju kao u onoj narodnoj "Niko nije postao prorok u svom selu". Od te pesme koju sam u junu objavio nisam više nijednu objavio već pravim i razmišljam šta dalje. Da pravim alter ego ili sajt za koji niko ne zna čiji je kao što je uradio lik koji ima kanal Noćni ritam i kome pesme imaju po nekoliko miliona pregleda ali on je sve to odradio profi sa nalozima na svim mrežama pa i na spotifaju itd. I problem je što pravim pesme različitih stilova od roka, preko bluza do narodnjaka i onda zbunjuje slušaoce.

 

[MilanBre]

Jeste zatvoreni krug ali ništa ne košta da se proba. Ja sam uspeo da dodjem do jedne naše kuće pa sad je loptica kod njih. Poslao sam hladan upit.

A za engleske pesme, to ću tek na zimu. Jedna mi izlazi na spotify i svuda drugde 1 decembra, Božićna pesma.

 

[Moca]

@MilanBre a jel možeš da mi objasniš proceduru za Spotifaj?

 

[hogarstrasni]

 

[Moca]

Lepa balada.
Probaj refren poslednji stih "Bez tebe me ne zanima" izbaci ono "ni" jer dva stiha iznad "Sebe tražim danima" ima 7 slogova a ovaj dole ima 9 pa izbaci bar jedan da popraviš metriku.
I probaj kako će zvučati u troćoj strofi umesto "Još neki stih" stavi "Još jedan stih",

 

[v_electro]

Suno a i ostali ai servisi su bespravno koristili mzuiku za treniranje modela, sto je rezultovalo tuzbom u Americi, pa ce morati da plate neke silne milijarde. I moraju da povuku modele gde su se koristile te pesme i ti artisti. Zato osecaj da suno izbacuje smece u poslednje vreme vas ne vara, a razlog je upravo taj. AI muzika nema nikakvu vrednost, na kilometar se cuje, zvuk je generalno los, i vecina platformi je vec uvela detekciju ai pesama, i bice u posebnim sekcijama sa mnogo manjim payoutom (spptify, youtube etc)
Najveci problem sa ai-em je repeticija stilova, ne mogucnost da napravi nista novo sto ima smisla. Sve sto vam izbaci je vec direktna kopija neke postojece pesme... (zato i placaju sada settlement) Vokali kojengenerise AI najvise pate od šuma koji je prepoznatljiv svakom ko se bavi produkcijom, od aliasinga, losih "chorusa" i detektuju se na prvu.

Traxsource vec ima ai detekciju par meseci. Generisati celu pesmu preko ai-a je stvarno povrsan pristup muzickoj produkciji. Kao sto rekoh, prompt nije umetnost...
Upotrebu AI alata mogu da razumem u kontekstu da vam recimo ai izgenerise vokal da ubacite u svoju pesmu, par reci ili nesto slicno. Ako vam fali string sekcija, pa onda izgenerisete to. One shot prompt za celu pesmu je bas low effort sprdanje sa muzikom i na kraju ne naucite nista.
Ne pricam ovo da sada nekog u ovoj temi vredjam, daleko od toga.
Zelim da skrenem paznju da muzika i umetnost nisu ai prompt, i da ako zelite da se malo posvetite muzici to uradite kako treba. Nikad vise besplatnih youtube tutorijala, banki zvukova, daw-a gotovi samplova da krenete (drums, etc)...
I dobijete nesto svoje, jedinstveno samo za vas. Jos uzivate u celom procesu.
Ali eto, to je neko moje razmisljanje.

 

[MilanBre]

AI je alat, ja pišem pesme, ne umem da sviram instrumente, a tekst kao tekst niko ne želi jer, koliko god bio dobar, pitanje je kako će zvučati kada se peva.

Pesme koje pišem sada idu kroz Suno. Kakav god prompt da mu zadam, ne dobijem uvek ono što želim, pa sam bio dovitljiv i u samom tekstu pesme ubacivao komande i smernice. I da, ne uspe svaki put, zato odradim i preko 80 generisanja dok ne dobijem donekle savršen demo. Tokom pravljenja muzike dosta toga se promeni, a najviše sam tekst, zbog flow-a i uklapanja u melodiju.

Kada završim sa tim, demo je tu da se šalje dalje za re-cut, da vide moju ideju za pesmu i, ako im se svidi, da je uzmu.

Od svih pesama koje sam napisao, samo mi jedna donosi neki novac, mada više za kafu nego za život. 😂 To mi je bio prvi AI eksperiment, a usput sam testirao kako BMI, Songtrust i DistroKid funkcionišu zajedno.

Druga pesma izlazi na svim servisima 1. decembra. Kada sam unosio podatke, bio sam transparentan i svuda naveo da su vokal i melodija AI. Nijedan servis me nije odbio. Tekst pesme je originalan i totalno odstupa od svih božićnih pesama, a pošto je dečija pesma, kontrole su još strože.

Što se tiče ostalih pesama, one su sačuvane i čekaju izvođača za re-cut. Naravno, prvo neko mora da otvori vrata, kao što sam ranije pisao.

Summa summarum, ja pišem pesme, provučem ih kroz Suno da čujem kako zvuče, pa jurim izvođače za re-cut, jer bih najviše voleo da ih otpeva ljudski glas. A ako se usput ušićari neki royalty, puna kapa. 😂

 

[hogarstrasni]

Lepa balada.
Probaj refren poslednji stih "Bez tebe me ne zanima" izbaci ono "ni" jer dva stiha iznad "Sebe tražim danima" ima 7 slogova a ovaj dole ima 9 pa izbaci bar jedan da popraviš metriku.
I probaj kako će zvučati u troćoj strofi umesto "Još neki stih" stavi "Još jedan stih",

Hvala Moco. U pravu si ,posebno sto se tice onog -NI. Jednostavno ispljunem pesmu iz sebe i ne zezam se puno detaljima. Zenska mi je perfekcionista i veruj mi, dovoljan je jedan u kuci😉