Gyűjts egy lejátszási listát, keress egy számot, ami megakadt a fejedben, írj egy színdarabot: mire képes a mesterséges intelligencia a zenével
Vegyes Cikkek / / March 30, 2022
Kompozíciók felismerése
Menő zeneszám hallható bárhol: bevásárlóközpontban, kávézóban, de akár a közeli autó ablakából is, forgalmi dugóban állva. Annak érdekében, hogy ne maradjon le az ismeretlen dalról, ami tetszik, elég bekapcsolni a felismerő alkalmazást. A kompozíció nevét és a benne szereplő művész nevét a mesterséges intelligencia másodpercek alatt adja ki. Igaz, egy ilyen gyors eredmény mögött alapos felkészülés húzódik meg: a dallam gyors megtanulásához a programnak először emlékeznie kell rá. Ennek érdekében a neurális hálózatokat egy hatalmas sávkönyvtárba vezetik be, majd az algoritmusok a hangot spektrogrammá alakítják, és időre, frekvenciára és intenzitásra bontják.
Anatolij Sztarosztin
A Yandex Media Services technológiai fejlesztési szolgálatának vezetője.
A spektrogram egy gráf. Az idő a vízszintes tengely mentén, a hang frekvenciája a függőleges tengely mentén helyezkedik el, és intenzitása egy meghatározott pillanatban színnel fejeződik ki. Az alacsony jelet egy piros sáv jelzi alul, a magas jelet pedig felül. Az eredmény egy színes vízszintes csíkokból álló kép. Az ilyen áramkörök elemzése segít a zene felismerésében. A spektrogramokkal végzett munka során ugyanazokat a neurális hálózati megközelítéseket alkalmazzák, mint a képelemzésben.
Tegyük fel, hogy valaki hall egy dalt a rádióban, és tudni akarja a nevét és az előadót. A felismerő program létrehozza a hangzó részlet spektrogramját, és elküldi azt a sávok könyvtárába. Ezután összehasonlítja a kívánt dallam "képét" más kompozíciók spektrogramjaival, és kiválasztja a legpontosabb illeszkedést. A mesterséges intelligencia ugyanakkor felismeri a dallamot még komoly interferencia esetén is, például útzaj vagy a szomszédos lakás javítása során.
A neurális hálózat egyébként nem csak az előadót és a fejben ragadt zeneszám nevét képes azonosítani, hanem nagyjából meghatározza a műfaját is. Ennek érdekében a mesterséges intelligenciát arra tanítják, hogy találjon mintákat a különböző zenei stílusokban. Az ilyen sajátos jellemzők általában nem hozzáférhetők az emberi látás és hallás számára. De a gépi tanulásnak köszönhetően lehetővé válik a zenei műfajok kiszámítása spektrogramképekből.
Ajánlj dalokat
Úgy tűnik, hogy több milliárd dalban egyedül találja meg a hangulatához illő "ugyanazt" a számot, szinte olyan valószínűtlen, mint első látásra szerelembe esni. Ám az ajánlási algoritmusoknak köszönhetően a tökéletes egyezés nem történik meg olyan gyakran. Először a mesterséges intelligencia keresi a hasonló ízlésű embereket, majd statisztikai képletek kapcsolódnak össze: egy adott kompozíció lájkjainak, nemtetszésének, lejátszásának és kihagyásának száma.
Anatolij Sztarosztin
A dalajánlás egy egyszerű séma szerint működik: ha Vasyának tetszett az X szám, majd Petya is értékelte, akkor amikor Vasyának tetszik az Y, akkor Petyának is ajánlania kell az Y számot. Amikor az algoritmusnak meg kell találnia a következő dalt, a képletet a rendszer a potenciális dalokra alkalmazza. A legmegfelelőbb úszik a tetejére.
A tömeghallgató lejátszási listáin nem látható "hideg" tartalom lassabban terjed. De a neurális hálózatoknak köszönhetően az ismeretlen előadóknak és a niche zenének még mindig van egy kis esélye, hogy villogjanak az ajánlások folyamában. Ha minden technikai árnyalatot leegyszerűsítünk, akkor azt mondhatjuk, hogy ilyenkor a mesterséges intelligencia kideríti, milyen gyakran egy adott felhasználó hasonló spektrogramokkal rendelkező dalokat hallgat, és rendszeresen meghívja őt, hogy ismerkedjen meg új dalokkal számokat.
Mary Gu
Énekes.
Néha az ajánlásokban keresek ihletet. A kompozíció kiválasztását a zenei szolgálatra bízom, meghallgatom a dallamokat, találok érdekes hangokat vagy szövegeket. Így igazán spontán módon beleszerethetsz egy ismeretlen előadó dalába. És egy másik sor, amelyet véletlenül hallottam, arra késztethet, hogy saját verseimet hozzam létre.
A neurális hálózatok a fitneszhez, a sétához vagy az alváshoz szükséges zenei válogatások létrehozásában is segítenek. A tartalomszerkesztők referenciasávokat választanak ki az algoritmusokhoz, és spektrogramjaik alapján a mesterséges intelligencia kibővíti a tematikus ajánlásokat.
zenét generálni
Korábban csak a zeneszerzők alkothattak dallamokat. Ma már zenészek részvétele nélkül is lehetséges. 2020-ban Hollandia adott otthont az első Eurovíziós Dalfesztiválnak a neurális hálózatok számára – az AI Song Contest. Az ausztrál nyert együttműködés mesterséges intelligencia koalákkal, jégmadárokkal és tasmán ördögökkel. A dalt a kontinensen tomboló erdőtüzeknek szentelték. Az állathangokat rövid mintákban rögzítették - 1-2 másodperces töredékekben. Az algoritmus kombinálta őket az igazi Eurovízió összes korábbi nyertesének slágereivel, majd a mintákat saját dallammá rakták össze.
Nem ez az egyetlen példa a programozók és a neurális hálózatok sikeres kreatív uniójára. 2019-ben a Téli Nemzetközi Művészeti Fesztivál zárónapján Szocsiban az Állami Zenekar egy 8 perces darabot adott elő. Kuzma Bodrov zeneszerző írta neurális hálózatok által generált különálló dallamtöredékekből. Ma a zenealkotás a legígéretesebb terület a mesterséges intelligencia fejlesztésében.
Anatolij Sztarosztin
A mesterséges intelligencia háromféleképpen tud zenét létrehozni. Az első a hangminták kész "téglák" építésével kapcsolatos. Ebben az esetben az algoritmus egyszerűen a megfelelő sorrendbe rendezi őket több hangsávon, és az elektronikus hangszerelő összekeveri a kész sávot. A második módszer a kottaírás generálása. Ez olyan, mintha utasításokat írna a zenésznek, hogy játssza le rajta a kész művet. A harmadik módszer pedig a „nyers” hangjel rögzítése. Ebben az esetben maga a neurális hálózat hoz létre olyan hanghullámokat, amelyek hasonlóak például Mozarthoz vagy a Beatleshez.
A neurális hálózatok egyébként dalokhoz is tudnak verset írni. Eddig meglehetősen furcsán hangzanak az ilyen számok, így a dalszerzőknek nem kell aggódniuk a munkanélküliség miatt. Ráadásul a „számítógépes elme” mentes az érzésektől. Nem tud behatolni az érzelmi kontextusba, és átadni azokat az élményeket, amelyek a művek szerzőit alkotásra kényszerítették.
Mary Gu
A költészet és a zene elsősorban az emberek lelkéről, belső világáról, élményeiről, érzéseiről és érzelmeiről szól. Például az új „Don't Burn Out” című szám az én személyes történetem, de mindenkiről szól, aki egy álom után megy, és megpróbálja megérteni önmagát. Nem hiszem, hogy a mesterséges intelligencia valaha is helyettesíteni fogja az élő embert a zeneiparban. De itt kaphat egy érdekes tandem "ember - neurális hálózat". Több tucat példát ismerünk már arra, amikor a mesterséges intelligencia segített a zeneszerzőknek egyedi dallamok létrehozásában. Valójában ez egy új irány a zenei világban, aminek biztos vagyok benne, hogy a jövőben meglesz a maga hallgatója és közönsége.
A mesterséges intelligencia mindenki számára elérhetővé teszi a kreativitást, a zene pedig segíti a fejlődését. Annak megértéséhez, hogy ez a két pólus hogyan konvergál és hogyan befolyásolja egymást,Leckék számai” a Yandextől – „Digitális művészet: zene és IT”. A résztvevők a képregény hőseivel együtt megtanulják, hogyan ismerik fel és generálják a sávokat a neurális hálózatok, és milyen technológiák segítik az általunk ismert zenei szolgáltatások munkáját. A leckében a tanulók maguk próbálják kitalálni a dallamot a spektrogram alapján, és összeállítanak egy lejátszási listát ajánlásokkal.
"Lecke Numbers"-t akarok
Borító: Willyam Bradberry / Shutterstock / Eric Isselee / Shutterstock / Ljupco Smokovski / Shutterstock / FOTOSPLASH / Shutterstock / Olga Selepina / Lifehacker