illustration
Blogitekstejä

Lumikolasta selaimeen ja tekoälyt rallattaa — nykypäivän luomisen audiotyökalut

Musiikki, internet ja tekoäly, missä mennään?

Luomisen tuskaan vetoaminen voi olla nykypäivänä vaikeaa – tai ylipäänsä saamattomuuden itselleen perusteleminen. Häiriötekijöiden määrä nykyajan huomiotalousyhteiskunnassa on toki suurempi kuin koskaan, mutta työkaluja luovuuden avuksi löytyy yhä enemmän suoraan selaimesta. Taideteoksia voi luoda pelkästään CSS:llä, ja selainta vaihtamalla teoksen tyylisuuntakin muuttuu vaikkapa kubismiin tai ääriabstraktiin nykytaiteeseen.

Entä miten on musiikin laita? En puhu pelkästään kuuntelusta, vaan myös luomisesta ja yhteistyön tekemisestä muiden kanssa: miksaamisesta, re-miksaamisesta, musiikin generoimisesta, tekoälyn käyttämisestä. Kauas on tultu ajoista, jolloin musiikillisen itseilmaisun taltiointi vaati pääsyä äänitysstudioon kunnioitettavan kokoisten analogisten laitteiden sekaan. Nyt periaatteessa riittää pääsy internetiin. Tutkaillaanpa tarkemmin, mikä kaikki musisoinnin saralla on nykyään mahdollista.

 

Web Audio API

Web Audio API on rajapinta, jonka kautta voi käsitellä ääntä selaimissa – eräänlainen JavaScript-miksauspöytä siis tavallaan. Tero Parviaisen kokoama selitelmä on yksi parhaita näkemistäni. Chris Rogers alkoi kehittää Web Audio API:a Googlen palveluksessa niin sanottuna skunk-projektina eli vapaavalintaisena työnä, johon työntekijä sai käyttää 20 prosenttia ajastaan. Apple osoitti aiheeseen suurta kiinnostusta, mikä varmasti auttoi asiaa eteenpäin. Kun Rogersin pääasiallinen projekti lähti alta, hän sai jatkaa sivuprojektinsa parissa päätoimisesti vakuutettuaan johtoportaan tekemillään demoilla.

Mozilla toteutti omaa kilpailevaa ehdotustaan samanaikaisesti Rogersin kanssa, mutta luopui oman Audio Data API:nsa kehittämisestä ja alkoi suositella myös Web Audio API:n käyttöä. Alkusyksyllä 2018 Web Audio API:n spesifikaatio sai jo CR-statuksen (Candidate Recommendation) W3C-ryhmältä. World Wide Web Consortium (W3C) on kansainvälinen ryhmä, joka kehittää ja päättää webin standardeista. Ehdotukset standardeiksi saavat matkansa varrella eri tason statuksia.

 

Web Assembly ja Web Audio pluginit

Web Assembly on uusi ja koko ajan kehittyvä web-standardi – matalamman tason ohjelmointikieli (vrt. assembly jo nimessäkin), joka mahdollistaisi paremman, natiivitason suorituskyvyn ja toimisi yhdessä JavaScriptin kanssa. Nyt on myös mahdollista kääntää muilla kielillä (kuten vaikka C tai C++) tehtyjä moduleita Web Assembly -moduuleiksi. Näitä pystyy siis käyttämään suoraan Web Assemblyn JavaScript API:n kautta.  

Tätä on jo käytetty hyväksi audiosovellusten teossa. Monenlaisia plugineja on jo olemassa myös vapaasti omassa sovelluksessa käytettäväksi: Web Audio Modules community site.  Esimerkiksi suomalainen Jari Kleimola on kovatasoinen tekijä tällä saralla ja koko web audio -skenessä.

 

Moniraitanauhureita internetissä

Viime vuosituhannella, kun itsekin kävin joitakin kertoja äänitysstudioissa tekemässä äänitteitä, ääni taltioitiin vielä pääasiassa ns ‘narulle’ eli kelanauhurille. Digitaaliset moniraiturit (Digital Audio Workstation, DAW) alkoivat pikavauhtia korvata tätä jo vuosituhannen loppupuolella. Ensin rautaversioina, sitten ohjelmistoina kuten Pro Tools, Cubase tai Logic Pro, tuoden samalla koko prosessin äänitysstudioista harrastajien koteihin. Nyt sama vallankumous on ainakin jossain määrin tapahtumassa selainten puolella.

Webissä alkaa olla jo hyvinkin tasokasta DAW-tarjoajaa. Amped Studion demoa katsoessa piti ihan hieraista silmiä. Kun on satsattu niin toiminnallisuuteen kuin siistiin käyttöliittymäänkin, käyttökokemus on sen mukainen. Mainittakoon, että Jari Kleimola on ollut mukana tässäkin projektissa. Ulkoasua koskien mielleyhtymältä iZotopen tuotteisiin ei voinut välttyä, mutta tämä ei ole lainkaan negatiivinen huomio iZotopen fanilta.

Toki täytyy pitää mielessä näkökulma, joka nousi esiin myös jutellessani Andrew MacPhersonin (Soundtrap) kanssa Web Audio -konferenssissa: mikäli olet jo sillä tasolla, että olet käyttänyt jotain kaupallista DAW:ia, selaimessa pyörivät moniraiturit eivät ehkä ole sinua varten. Eikä näin ole (ainakaan vielä) tarkoituskaan olla. Pääasiassa ajatuksena on alentaa kynnystä musiikin luomiseen ja mahdollistaa yhteistyö ihmisten kesken kirjaimellisesti ympäri maapalloa.

Soundtrap on siis toinen merkittävä kaupallinen digitaalinen työasema netissä. Spotify osti yhtiön vuonna 2017. Lisäksi on olemassa erilaisia ilmaisia saitteja, kuten Multi Web Audio Sequencer, joilla voi halutessaan tehdä muiden kanssa yhteistyötä musiikin luomisessa. Hyvin usein nämä palvelut ovat syntyneet yksittäisten harrastajien omina projekteina.

 

Musisoivat tekoälyt

Yksi mielenkiintoisimmista ilmiöistä musiikkibisneksessä on ollut lisääntyvä algoritmien ja tekoälyn käyttö. Omalla kohdallani musiikin kuuntelu ja uuden musiikin löytäminen on nykyään täydellisesti Spotifyn algoritmien varassa. Sen viikoittain uudistuva Discover weekly -lista toimii todella hyvin omalla kohdallani. Sen avulla olen löytänyt jo satoja uusia artisteja, joista en pomminvarmasti olisi ikinä kuullut ilman Spotifyta.

Musiikkia myös luodaan tekoälyn avulla. Jo reippaasti viime vuosituhannen puolella esimerkiksi David Bowie käytti lyriikoita generoivaa Verbasizer-ohjelmaa apuna sanoitusten teossa. Nyt ollaan jo astetta pidemmällä. Luova tekoäly alkaa pikkuhiljaa olla pienehkö teollisuudenala. Tämä voi olla vielä ennenaikainen väite, mutta varmasti jo lähitulevaisuutta. Amper on ehkä kiinnostavimpia nimiä kaupallisen musiikin generoimisessa. Spotifystakin löytyy Amperin avulla luotua musiikkia ainakin albumillisen verran, todennäköisesti paljon enemmänkin. Sonyn tutkijaryhmän kehittämän Flow Machinesin säveltämä Beatles-pastissi Daddy’s car puolestaan löytyy Youtubesta.

Viime aikoina jonkin verran porua on herättänyt epäily siitä, että Spotify itse tuottaisi omille soittolistoilleen keinoälyn tekemää musiikkia ja välttyisi näin rojaltien maksamiselta. Spotify on kieltänyt asian, mutta satsannut tekoälyosaamiseen merkittävästi muun muassa yritysostoilla. Täysin tuntemattomia ‘artisteja’ esiintyy edelleen Spotifyn omilla soittolistoilla. Voinemme siis päätellä, että 1.0 + 1.0 = 2.00000693454 (Koodarihuumoria. Anteeksi).

Hiukan poikkitaiteellisempana esimerkkinä Dadabots-ryhmä on luonut jo useita metalli- ja punkbiisejä olemassa oleviin malleihin eli biiseihin ja albumeihin perustuen. Toisin sanoen biisit on luotu lyhyistä ääninäytteistä tietyn genren musiikilla opetettua tekoälyä käyttäen.

Magenta on Googlen Tensorflowiin perustuva musiikkiin erikoistunut AI-kirjasto, jolla on jo useita erilaisia käyttötapoja. Asiasta kiinnostuneelle voin suositella lämpimästi jo kertaalleen aiemmin mainitun Tero Parviaisen edesottamuksia. Hän on kiertänyt lukemattomissa konferensseissa ja meetupeissa ympäri maailmaa puhumassa kokeiluistaan musiikin ja tekoälyn parissa.

 

Web Audio Conference

Alkusyksyllä Berliinissä järjestettiin lähes vuosittainen Web Audio Conference. Itse osallistuin konferenssiin ensi kertaa kuluvana vuonna helleaallon valtaamalla Saksanmaalla ja olin tyytyväinen, että tuli käytyä.

Koko web audio -skene on suhteellisen pieni, eräänlainen niche jopa. Siksipä itse konferenssissa näki, kuuli ja tapasi henkilöitä kirjaimellisesti tämän osaamisalueen huipulta – mukaan lukien jo aiemmin mainittu Web Audio API:n kehittäjä Chris Rogers. Oli todella kiehtovaa nähdä, kuinka monia erilaisia netissä toimivia audiosovelluksia ihmiset ovat luoneet. Ja totta kai paras anti tällaisissa tapahtumissa usein on mukavien ja samanhenkisten ihmisten tapaaminen.

Koko tarinan konferenssista voit lukea lyhentämättömänä ja englanninkielisenä täältä. Seuraava on Norjan Trondheimissa joulukuussa 2019.

Haluatko kuulla lisää tästä aiheesta? Jätä yhteystietosi niin olemme yhteydessä.

Lähettämällä lomakkeen hyväksyn tietojeni tallentamisen ja käsittelyn tietosuojaselosteen mukaisesti.