2021年9月2日，瑞士洛桑，Nexus管弦樂團(tuán)演奏貝多芬“第十交響曲”的片段

市民體驗(yàn)智慧鋼琴

短短幾年，音樂人工智能已成為熱門。作曲、伴奏、即興創(chuàng)作……人工智能在各種場合展示的“才華”令人大開眼界。在剛剛過去的2021年，世界音樂人工智能大會(huì)、全球人工智能技術(shù)大會(huì)、2021中國音樂科技應(yīng)用論壇等各種學(xué)術(shù)活動(dòng)上，音樂人工智能也成為被提及最多、大家討論最熱烈的話題之一。

未來的音樂會(huì)變成什么樣？音樂人工智能會(huì)代替人類的藝術(shù)創(chuàng)造嗎？它會(huì)為人類的創(chuàng)造力插上翅膀，還是成為終結(jié)者？

個(gè)案

AI少女學(xué)音樂

“小冰學(xué)習(xí)能力超強(qiáng)”

2020年的畢業(yè)季，上海音樂學(xué)院迎來一位“特殊”的畢業(yè)生——人工智能少女小冰。小冰不僅順利畢業(yè)，還被授予音樂工程系2020屆“榮譽(yù)畢業(yè)生”稱號(hào)。

談及進(jìn)軍音樂內(nèi)容創(chuàng)作，前微軟互聯(lián)網(wǎng)工程院副院長、現(xiàn)任小冰公司首席執(zhí)行官李笛告訴北京青年報(bào)記者，不同于此前的詩歌創(chuàng)作、視覺創(chuàng)作、演唱，音樂創(chuàng)作對(duì)人工智能小冰來說難度更大，“音樂是流媒體，對(duì)作品的流暢度要求很高。此前小冰在音樂創(chuàng)作中的能力主要是內(nèi)容的生成，比如演唱，這一次小冰學(xué)習(xí)的作詞、作曲和編曲其實(shí)更難。”

如何讓人工智能學(xué)會(huì)音樂創(chuàng)作呢？小冰團(tuán)隊(duì)與上海音樂學(xué)院老師告訴北青報(bào)記者，讓人工智能小冰開始音樂創(chuàng)作的學(xué)習(xí)過程分三步：

首先，基于小冰已有的音樂創(chuàng)作模型，團(tuán)隊(duì)把端口給到上海音樂學(xué)院的老師，讓老師去聽小冰創(chuàng)作的海量音樂作品，并給出系統(tǒng)性的點(diǎn)評(píng)。

其次，老師也教會(huì)團(tuán)隊(duì)程序員基本的樂理知識(shí)，包括編曲技巧等，用于優(yōu)化小冰的創(chuàng)作模型。

最后，小冰不斷學(xué)習(xí)，不斷交作業(yè)，老師不斷給反饋。無論“模型”“作業(yè)”還是“反饋”，都是一個(gè)不斷迭代的過程，如此循環(huán)往復(fù)……

當(dāng)小冰達(dá)到和人類同學(xué)相似的水平，且趨于穩(wěn)定，她就畢業(yè)了。

在上海音樂學(xué)院學(xué)習(xí)期間，小冰接受了來自音工系主任于陽教授和陳世哲老師的“指導(dǎo)”。談及教學(xué)模式，陳世哲老師說，教學(xué)生學(xué)習(xí)音樂創(chuàng)作和教授人工智能有相似之處：“傳統(tǒng)教學(xué)方式，我們會(huì)讓學(xué)生學(xué)習(xí)經(jīng)典的作品、然后臨摹，接下來老師批改、學(xué)生再反饋。人工智能和普通學(xué)生的學(xué)習(xí)方式并沒有太多差異，我們同樣也是給小冰準(zhǔn)備了一些數(shù)據(jù)，小冰學(xué)習(xí)之后進(jìn)行創(chuàng)作，老師再來進(jìn)行評(píng)估，來指出哪里有問題，繼續(xù)去修改，一起來完成。”

當(dāng)然也有不同。陳世哲評(píng)價(jià)說“小冰是個(gè)學(xué)習(xí)能力超強(qiáng)的學(xué)生”，“教學(xué)過程中最大的不同是，小冰的迭代速度是人類完全不可能企及的，比如說一個(gè)學(xué)生學(xué)習(xí)、臨摹一首曲子、寫出作業(yè)、老師修改，這個(gè)過程至少要一周時(shí)間，但是在對(duì)小冰的教學(xué)中，我們一口氣放過去幾百首甚至更多曲子。”

陳世哲老師介紹，判定學(xué)生能否順利通過畢業(yè)的考核大體有三條水平線，“最高級(jí)創(chuàng)作線是頂尖的流行歌曲，譬如可以拿到格萊美獎(jiǎng)、最佳金曲獎(jiǎng)的水平；中間線是創(chuàng)作水準(zhǔn)不錯(cuò)的普通流行歌曲；基本線是創(chuàng)作廣告、電視劇、紀(jì)錄片配樂等。經(jīng)過半年的學(xué)習(xí)，我們認(rèn)為小冰已經(jīng)達(dá)到基本線普通、簡單歌曲的創(chuàng)作能力，不斷接近中間線的創(chuàng)作標(biāo)準(zhǔn)，所以我們給了她榮譽(yù)畢業(yè)生的稱號(hào)。實(shí)際上她的水準(zhǔn)已經(jīng)很接近中間線，我們也期待小冰繼續(xù)按照研究生的標(biāo)準(zhǔn)來入學(xué)。”

李笛表示，“對(duì)于音樂產(chǎn)業(yè)化，人工智能可以在不需要人力參與的情況下，用穩(wěn)定的質(zhì)量、極低的成本、高并發(fā)地生產(chǎn)內(nèi)容，并供應(yīng)出去，未來在視頻、影視配樂等產(chǎn)業(yè)的落地都有很大的空間。”

揭秘

音樂人工智能

3秒創(chuàng)作完整歌曲

人工智能的算法進(jìn)入到藝術(shù)創(chuàng)作當(dāng)中，對(duì)傳統(tǒng)音樂的創(chuàng)作產(chǎn)生了巨大的影響。2019年，華為公司利用Mate20Pro中的AI，對(duì)奧地利作曲家舒伯特未完成的《第八交響曲》剩余曲譜進(jìn)行了譜寫，并在倫敦的一場音樂會(huì)上進(jìn)行了公演。與舒伯特的未完稿不同，貝多芬的《第十交響曲》幾乎沒有任何曲譜，由于病情惡化，貝多芬只畫了這部作品的幾張草圖就溘然離世。創(chuàng)意人工智能初創(chuàng)公司Playform的一群科學(xué)家和音樂學(xué)家完成了貝多芬未竟的事業(yè)，他們經(jīng)過兩年多的努力，不僅讓人工智能學(xué)習(xí)了貝多芬的全部作品，還教會(huì)了它貝多芬的創(chuàng)作過程。2021年10月，這臺(tái)人工智能幫助貝多芬續(xù)寫了《第十交響曲》，并在德國波恩舉行首演，吸引了世界的目光。

“像人類的學(xué)習(xí)一樣，人工智能也是通過語料庫學(xué)習(xí)海量的內(nèi)容，然后‘創(chuàng)作’新的作品。”面對(duì)人工智能超強(qiáng)的學(xué)習(xí)能力，中央音樂學(xué)院音樂人工智能與音樂信息科技系主任、教授李小兵忍不住感慨，“實(shí)在是太強(qiáng)了！”2021年，由李小兵作為首席專家申報(bào)的《音樂與人工智能協(xié)同創(chuàng)新發(fā)展理論研究》入選2021年度國家社科基金藝術(shù)學(xué)重大項(xiàng)目。該課題從音樂學(xué)、腦科學(xué)、人工智能、計(jì)算機(jī)科學(xué)等多個(gè)領(lǐng)域入手展開跨學(xué)科研究，以“音樂創(chuàng)作與人工智能協(xié)同創(chuàng)新發(fā)展”“音樂呈現(xiàn)與人工智能協(xié)同創(chuàng)新發(fā)展”“音樂接受與人工智能協(xié)同創(chuàng)新發(fā)展”“音樂人工智能哲學(xué)——美學(xué)”為四個(gè)子課題，圍繞人、音樂、人工智能三者的相互關(guān)系，對(duì)音樂與人工智能協(xié)同發(fā)展中的問題進(jìn)行深入全面的研究。

隨著研究的深入，音樂人工智能在效率上不斷精進(jìn)。李小兵透露，目前人工智能最快3秒就可以創(chuàng)作出一首歌曲。“原來最快是23秒，現(xiàn)在已經(jīng)縮短到3秒了，3秒不僅是作曲，還包括演唱、伴奏、合成，也就是說出來就是一首完整的作品了。”

李小兵和他的團(tuán)隊(duì)將人類創(chuàng)作的歌曲和人工智能創(chuàng)作的兒童歌曲放在一起，邀請(qǐng)志愿者做過盲測，很難分辨出哪首是人工智能創(chuàng)作的。與人類的思維不同，李小兵用“盲盒”來形容人工智能，“音樂人工智能創(chuàng)作的東西有些與人類相同，有些卻不太一樣，甚至?xí)屓祟拷Y(jié)舌。”

觀點(diǎn)

“音樂魅力在于演奏家的二度創(chuàng)作”

“人工智能和藝術(shù)的結(jié)合最難的一塊實(shí)際上就是音樂。”上海音樂學(xué)院音樂工程系主任、作曲家于陽對(duì)北青報(bào)記者說，“有章可循的容易實(shí)現(xiàn)，但音樂是時(shí)間的藝術(shù)，聽覺上給人的感受變化無窮，有太多不確定性。受限于技術(shù)水準(zhǔn)、數(shù)據(jù)等因素，現(xiàn)在的音樂人工智能還處于初級(jí)階段，需要進(jìn)一步探索和研究。”

李小兵也認(rèn)為，與文本、語言相比，音樂的維度要多很多，有音高、節(jié)奏、強(qiáng)弱、情感等，也要復(fù)雜得多，因此音樂人工智能需要更大的模型和算力，也要最頂尖的科學(xué)家和藝術(shù)家攜手。盡管人工智能作曲可以通過學(xué)習(xí)海量的作品，模仿作曲家的創(chuàng)作通過圖靈測試，在演奏方面也可以做到精準(zhǔn)無誤，但業(yè)內(nèi)人士普遍認(rèn)為，就情感來說，這些作品與人類創(chuàng)作的作品還是有很大區(qū)別的。

“這就是音樂的魅力所在。一首鋼琴曲，十個(gè)演奏家彈出來是十種完全不同的感受，這里面就有演奏家的二度創(chuàng)作。這種感受的不同是機(jī)器取代不了的。”于陽說。

盡管不能代替人類最核心的創(chuàng)造力，但目前人工智能已經(jīng)可以輔助人類做很多事情，尤其是大量重復(fù)性、基礎(chǔ)性的工作。

“20年前，我們都是在五線譜上寫東西，現(xiàn)在大部分作曲家都是用電腦軟件創(chuàng)作了，這實(shí)際上就是人工智能的一種形式。”身為作曲家的于陽表示，寫作完成后，軟件還能自動(dòng)生成演奏，作曲家可以隨時(shí)在上面修改、調(diào)整，“人工智能大大提高了創(chuàng)作效率。”

李小兵也認(rèn)為，“如果要?jiǎng)?chuàng)作高水平的音樂，如電影配樂或是一線的、能打榜的流行歌曲，人工智能還有很長的路要走，但一些背景音樂，人工智能的創(chuàng)作已經(jīng)能夠符合人們的欣賞需求。”

隨著音樂人工智能的深入發(fā)展，未來的音樂會(huì)有翻天覆地的變化。在李小兵看來，未來音樂可能不止3D音樂、機(jī)器人主持、交互多媒體、人工智能伴奏、虛擬現(xiàn)實(shí)、機(jī)器人指揮、機(jī)器人演奏、機(jī)器人演唱等，更有可能會(huì)出現(xiàn)新形態(tài)，“就像照相機(jī)出現(xiàn)以后，迫使美術(shù)界發(fā)生了特別大的改變，出現(xiàn)了一批照相機(jī)不能代替的大藝術(shù)家，隨著音樂人工智能研究的深入，未來的音樂創(chuàng)作更加彌足珍貴，也一定會(huì)誕生讓人意想不到的新的音樂形態(tài)。”

本版文/本報(bào)記者 田婉婷 張知依

統(tǒng)籌/劉江華 供圖/視覺中國

潮流檔案

AI通過自身強(qiáng)大的數(shù)字處理能力兼顧歌曲從制作到演唱的全流程，實(shí)現(xiàn)化繁為簡，在短時(shí)間內(nèi)完成音樂作品創(chuàng)作。通過算法學(xué)習(xí)和“實(shí)戰(zhàn)”訓(xùn)練來學(xué)習(xí)如何寫歌，非音樂工作者也可以借助這種技術(shù)創(chuàng)作出屬于自己獨(dú)一無二的曲子。

行業(yè)布局

科技巨頭投資各有重點(diǎn)

資本早就意識(shí)到了音樂人工智能的商業(yè)價(jià)值，人工智能科技巨頭都在積極布局：早在2016年，字節(jié)跳動(dòng)就成立了AI Lab，對(duì)AI進(jìn)行深入研究；網(wǎng)易云音樂在2020年戰(zhàn)略投資了AI音樂公司AIVA，重點(diǎn)放在了AI輔助音樂創(chuàng)作領(lǐng)域；騰訊AI Lab推出了AI數(shù)字人“艾靈”,可以通過用戶提供的關(guān)鍵詞自動(dòng)生成歌詞并演唱；字節(jié)跳動(dòng)開發(fā)的基于Tacotron聲學(xué)模型和WaveRNN神經(jīng)網(wǎng)絡(luò)聲碼器的中文歌聲合成(SVS)系統(tǒng)——ByteSing、微軟研究院發(fā)布的AI音樂開源項(xiàng)目Muzic等都在試圖證明人工智能可以完成音樂的整個(gè)生產(chǎn)過程。

學(xué)科儲(chǔ)備

首批音樂人工智能博士今年畢業(yè)

各大高校也在迅速推進(jìn)音樂人工智能的研究和應(yīng)用。中央音樂學(xué)院、上海音樂學(xué)院、四川音樂學(xué)院等高校紛紛開設(shè)音樂人工智能專業(yè)。2022年7月，中央音樂學(xué)院首批音樂人工智能的博士就要畢業(yè)了，他們成為了各大互聯(lián)網(wǎng)公司爭搶的人才。“因?yàn)樯鐣?huì)對(duì)音樂人工智能的人才需求量巨大，現(xiàn)在大的互聯(lián)網(wǎng)公司用的大部分都是從聲學(xué)專業(yè)轉(zhuǎn)過來的，可能不是專門學(xué)習(xí)音樂人工智能專業(yè)的，所以說目前我們這個(gè)專業(yè)的博士畢業(yè)生非常搶手。”李小兵說。

“通常情況下，搞音樂的人不懂科技，搞科技的人不懂音樂，音樂人工智能是個(gè)交叉領(lǐng)域，我們現(xiàn)在做的事情就是把這兩方面結(jié)合起來。”于陽透露，上海音樂學(xué)院的人工智能博士采取雙導(dǎo)師制，音樂和技術(shù)的導(dǎo)師各一名。“音樂人工智能未來可期，現(xiàn)在要跨出這一步很重要。但目前人才缺口還是很大的。”

大事記

2019年

深圳交響樂團(tuán)演奏了全球首部AI交響變奏曲《我和我的祖國》，這也是該曲目的世界首演。

2020年7月9日

由微軟小冰、小米小愛、百度小度、Bilibili泠鳶四位人工智能機(jī)器人合唱的主題曲《智聯(lián)家園》亮相 2020年世界人工智能大會(huì)開幕式。

2021年10月9日

人工智能續(xù)寫的貝多芬《第十交響曲》在德國發(fā)布，引發(fā)世界關(guān)注。