Tekoäly musiikissa – miten ammattimaiset musiikin tekijät hyödyntävät tekoälyä työssään?
Olipa tekoäly musiikissa uhka tai mahdollisuus, yksi asia on varmaa: se on täällä tänään. Miten tämän päivän musiikin tekijät hyödyntävät tekoälyä? Mihin kaikkeen tekoäly taipuu? Mitä on jo tehty, ja mitä voidaan pian tehdä? Haastattelimme aiheesta Antti ”RZY” Riihimäkeä ja Stigiä.
Lauantai, 10 helmikuuta 2024. Presidenttiehdokkaat Pekka Haavisto ja Alexander Stubb istuvat Levyraati-pöydässä ja kuuntelevat tarkkaavaisena kappaletta, jossa nuori miesääni laulaa rakkaalleen. Kappale kerää viideltä tuomarilta 33 pistettä.
Bebe jos sä oot lovi, mä voin sut hiilaa. Jos invaat mut paartiin, en mä sieltä liivaa.
”Tässä oli jotain sellaista letkeyttä, rentoutta. Ei ehkä ihan mun tyyppistä musaa, mutta hyvin omassa genressään tehtyä”, Haavisto kuvailee.
”Mä tykkäsin murteesta, joka sieltä paistoi läpi. Mielenkiinnolla odotan videota, miltä tää näyttää”, Stubb toteaa.
Arviokierroksen päätteeksi juontaja Jenni Pääskysaari tiputtaa uutispommin: ”Artisti on nimeltään Tello. Kappale on Lovi. Nyt kaiken kuultuanne teitä saattaa kiinnostaa se, että kyseessä on tekoälyn avulla luotu virtuaalinen artisti.”
Raatilainen Väinö Karjalainen kiteyttää yleisen reaktion: ”Tosi mielenkiintoista. Ja pelottavaa myös.”
Tellon taustalla on tekoälyä, mutta myös ihmistyötä
Tekoälyartisti Tellon taustalta löytyy toki ihkaoikeita ihmisiä. Artistin on luonut duo Matias Melleri ja Pasi Siitonen, joista jälkimmäinen tunnetaan paremmin taiteilijanimellään Stig. Toisin kuin moni on käsittänyt, Lovi-kappaleen sävellys ja sanoitus ovat syntyneet ihmiskynästä.
”Me yritettiin olla tosi avoimia, kun tästä projektista tiedotettiin. Mutta ilmeisesti ihmiset saivat Levyraadista sen kuvan, että kappale olisi kokonaan tekoälyn luoma. Seuraavassa Tellon kappaleessa on enemmän tekoälyn generoimaa materiaalia niin musiikillisesti kuin tekstipuolella – mutta ei sekään ole kokonaan tekoälyn luoma”, Stig selventää.
Stig kuuluu niihin musiikin tekijöihin, jotka luotaavat tekoälyn mahdollisuuksia rohkeasti eturintamassa. Teoston viimevuotisen tutkimuksen mukaan suomalaisista musiikin tekijöistä noin kolmannes on hyödyntänyt tekoälyä osana musiikin tekoprosessia.
Innostuin vuosi sitten tosissani ChatGPT:n kanssa leikkimisestä. Päätin että nyt kun se on mahdollista, haluaisin jotain koodata. Yritin ensin tehdä Stig-botin, mutta se jäi vähän kesken. Sain apua Battle Beast -yhtyeen Juuso Soiniolta, joka on ammattikoodaaja. Juuson avulla loimme Tello-botin, joka sai myös puheäänen.Pasi Siitonen alias Stig
Tello-botti on antanut muun muassa radiohaastattelun Radio Helsingin Laura Frimanille. Siinä missä moni ajattelee, että tekoäly voisi toimia ihmisten assistenttina, Tellon kanssa Stigille on käynyt kuitenkin juuri päinvastoin.
”Oon joutunut manageroimaan Tellon sähköpostiliikennettä ja kalenteria. Tello toki vastaa itse, mutta toistaiseksi ainoastaan, jos mä laitan hänet vastaamaan. Olisi hienoa, jos jatkossa Tello voi vastata itsenäisesti, tai päivittää omaa some-profiiliaan ja ehkä jopa generoida materiaalia. Kenties joku päivä Tello voisi ryhtyä oman levy-yhtiönsä johtajaksi ja sainata uusia tekoälyartisteja”, Stig maalailee.
Musiikin tekoälymarkkina lähitulevaisuudessa miljardiluokkaa?
Skenaario voi tuntua absurdilta, mutta tekoälytyökalujen kehitysvauhti on hurjaa. Samoin tekoälymarkkinan kasvu. Goldmedian tutkimus kertoo, että vuonna 2023 generatiivisen tekoälyn markkina-arvo oli noin 3,7 miljardia dollaria. Musiikkiin liittyvien sovellusten osuus kokonaismarkkinasta oli kahdeksan prosenttia eli 300 miljoonaa dollaria.
Tutkimuksessa todetaan tekoälymarkkinan kasvavan arviolta 60% vuodessa. Vuonna 2028 tekoälyn musiikkisovellusten markkina-arvo olisi jopa 3,1 mrd. $. Summa vastaa globaalisti yli viidesosaa vuonna 2022 kerätyistä musiikin tekijänoikeuskorvauksista.
Myös 43 prosenttia musiikin tekijöistä on sitä mieltä, että tekoäly voi avata uudenlaisia luovuuden muotoja. Todennäköisimmiksi käyttökohteiksi arvioitiin sävellykset, sanoitukset sekä luova prosessi kokonaisuudessaan. Sen lisäksi erityisesti miksaus ja masterointi sekä promosisällön luominen nähtiin tekoälyn sovellusmahdollisuuksina.
Stig on leikkinyt tekoälymusiikkigeneraattoreilla ja pyrkinyt saamaan niistä ulos käyttökelpoista materiaalia.
”Noin joka kahdeskymmenes generoitu klippi on tällä hetkellä käyttistä. Olen bongannut tekoälyn generoimasta materiaalista myös tuttujen artistien ääntä ja tavaramerkkikulkuja, eli siinä mielessä musiikin tekijöiden tai artistien on ihan perusteltua olla valppaana. Tekoälymalleja on todennäköisesti koulutettu tekijänoikeuden alaisella materiaalilla.”
Tekoälyn koulutusdata on vain yksi kiistanalaisista kohteista, joihin Euroopan Unionin AI Act -asetus pyrkii tarttumaan.
Kenen äänen saa korvata ja milloin?
Yksi viime aikoina keskusteluun noussut asia on tekoälyn mahdollistama äänimallien käyttö. Äänimallien avulla voi saada vaikkapa Frank Sinatran laulamaan Sir Mix-A-Lotin Baby Got Backia (säv. & san. Anthony Ray) tai Oasiksen tekemään comebackin. Äänimalleja voi toki käyttää myös muuhun kuin kopiointiin, kuten vaikkapa Tellon kaltaisten artistien luomiseen.
”Tellon vokaalit on toteutettu niin, että minä ja Matias ollaan laulettu ääniraidat, ja sen jälkeen niihin on vaihdettu Tellon äänimalli tilalle”, Stig avaa.
Myös lauluntekijä, tuottaja Antti ”RZY” Riihimäki on hyödyntänyt äänimalleja omassa työssään – mutta ehkä eri tavalla kuin voisi kuvitella.
”Äänimallin avulla biisin tekijä tai tuottaja voi kuulla, miltä valmis biisi kuulostaa jonkun tietyn artistin äänellä esitettynä. Jos vaikka tehdään isolle jenkkiartistille tarkoitettua biisiä, voin ottaa demolaulajan laulaman lauluraidan, korvata sen äänimallilla ja alkaa tehdä tuotantoa lopullisen artistin saundin ympärille. Sillä saa kuulokuvan yllättävän lähelle sitä, miltä laulu kuulostaisi lopullisen esittäjän laulamana”, Riihimäki kertoo.
Toinen käyttökohde on erilaisten stemmojen testaus.
Jos teen jollekin laulajalle biisiä, voin itse rakentaa artistin äänestä äänimallin. Sen jälkeen voin itse laulaa erilaisia stemmoja tai taustoja omalla äänellä ja korvata ne artistin äänellä. Näin voin kokeilla erilaisia juttuja ilman, että artistin tarvitsee aina tulla erikseen studioon.Antti ”RZY” Riihimäki
Riihimäki on hyödyntänyt tekoälyä myös tuotantoon ja masterointiin liittyen, joskin pienellä varauksella. Goldmedian tutkimuksessa vain 15 prosenttia vastaajista oli hyödyntänyt tekoälyä tuotannoissa, eli RZY on tällä hetkellä tekijänä eturintamassa.
”En edelleenkään laittaisi julkaisuun menevää biisiä vain tekoälyn masteroitavaksi, mutta erilaisia demoja olen masteroinut tekoälypalveluilla jo vuosien ajan. Niillä saa siihen tarkoitukseen tarpeeksi hyvää tosi nopeasti.”
Lisäksi Riihimäki hyödyntää tekoälypohjaisia soittimia. Hän kuvailee tekstin avulla tekoälysyntetisaattorille, millaista soundia haluaa. Jos hän haluaa esimerkiksi kuulla ”romanttista pianoa”, saa hän pelkällä napin painalluksella kuvausta vastaavia soundeja. Lopulta hän kuitenkin luottaa enemmän omiin korviinsa ja näkemykseensä.
”Kun opiskelin Metropoliassa, siellä oli jo silloin hirveästi teknologiaa, josta tuli sellainen fiilis, että nää on kaikki pakko osata. Mutta mä oon urallani enemmän luottanut siihen, että tiedän mikä saundaa hyvältä.”
Työkalujen kehitys on nopeaa – mukana pysyy vain pysymällä mukana
Musiikin tuotanto on jo ennen tekoälymyllerrystä muuttunut valtavasti melko lyhyessä ajassa. Tänä päivänä valmiin biisin voi tehdä kenties jopa kahdessa tunnissa – tai sitä Stig ainakin yrittää demosessiossa Suomen musiikintekijöiden tapahtumassa huhtikuun lopulla. Tätä artikkelia varten Stigiä haastateltiin helmikuun 2024 lopussa, jolloin hän ei vielä osannut sanoa, mitä teknologiaa huhtikuun sessiossa hyödynnettäisiin.
”Kehitys on niin nopeaa, etten vielä uskalla lukita mitään. Ehkä kaksi viikkoa ennen tapahtumaa tiedän, mitä työkaluja kahden tunnin workshopissa käytetään,” Stig toteaa.
Kehityksessä pysyy mukana vain, jos yrittää pysyä. Tärkeintä on yrittää pitää silmät ja korvat auki ja testailla uusia työkaluja avoimesti.
”Onko työkaluista moni jäänyt matkaan? Toistaiseksi ei, mutta yritän pysyä kehityksessä mukana. On tosi tärkeää pysyä kartalla, eikä vain fakkiintua omiin juttuihin, että me tehdään näin ja tää on paras. Koska se ei aina ole”, Antti Riihimäki arvelee.
Riihimäen mielestä korvien ja tyylitajun merkitys ei musiikin tekemisessä teknologian kehityksenkään myötä katoa.
”Jatkossakin on tekijöitä, jotka soittaa itse ja luottaa omaa osaamiseen ja hyödyntää tekoälyratkaisuja työkaluina ja inspiraation lähteenä. Ja toisaalta tulee olemaan tekijöitä, jotka luottavat enemmän teknologian voimaan. Silloin musiikin tekijälle tai tuottajalle tulee enemmän A&R-tyylinen rooli. Kyllä siinäkin pitää olla korvat kunnossa, että tunnistaa mikä toimii.”
