近日，網(wǎng)易云音樂2篇論文《TG-Critic: A Timbre-Guided Model for Reference-Independent Singing Evaluation》《TrOMR:Transformer-based Polyphonic Optical Music Recognition》入選ICASSP2023，論文提出的兩種算法模型均優(yōu)于現(xiàn)有最先進(jìn)模型。

一種是歌唱評價算法模型TG-Critic，利用它可以僅依靠一段演唱音頻判斷歌手演唱水平，實驗結(jié)果表明，算法模型評估的歌曲與人工專家評價“演唱水平好”的歌曲，相似度達(dá)91%；另一種是識別圖像樂譜的算法模型，通過模型識別圖片中的五線譜，實驗結(jié)果在復(fù)音樂譜上的錯誤率最高也僅為2.1%。

據(jù)了解，ICASSP（International Conference on Acoustics, Speech and Signal Processing）即國際聲學(xué)、語音與信號處理會議，是IEEE主辦的全世界最大的，也是最全面的信號處理及其應(yīng)用方面的頂級會議，在國際上享有盛譽并具有廣泛的學(xué)術(shù)影響力。此次入選，代表了網(wǎng)易云音樂在國際舞臺上，展示出了在音樂音頻領(lǐng)域的技術(shù)實力。

而且憑借在音樂技術(shù)領(lǐng)域的積累創(chuàng)新，網(wǎng)易云音樂也不斷將前沿領(lǐng)域研究成果應(yīng)用于實踐。依靠目前準(zhǔn)確率最高的歌曲質(zhì)量評價算法，歌唱評價將不再依賴人力手工準(zhǔn)備模板物料，歌手也不再需要模仿模板以獲取高分，更鼓勵歌手的個性化演繹。而且相比卡拉ok中的傳統(tǒng)歌唱評價，該模型未來將用于更加豐富的使用場景，如歌曲分發(fā)、優(yōu)質(zhì)歌手挖掘、聲音社交等等領(lǐng)域。而利用識別圖像樂譜的算法模型，可以將模糊的圖片樂譜準(zhǔn)確識別，方便轉(zhuǎn)換為利用率更高的格式，服務(wù)于音樂人、用戶在欣賞、教育、創(chuàng)作等場景的需要。

三大技術(shù)創(chuàng)新拆解“開口跪”，將全球最優(yōu)算法準(zhǔn)確率至少提升4%

當(dāng)歌唱老師和專家聽到一首歌，就能迅速可以判斷出歌手的演唱水平，而普通人則會用“開口跪”表達(dá)夸贊。當(dāng)人們評價歌聲質(zhì)量時，人聲的音色是影響判斷的重要因素。受其啟發(fā)，網(wǎng)易云音樂首創(chuàng)提出了一個音色為指導(dǎo)的歌唱評價模型：TG-Critic，將全球最優(yōu)算法準(zhǔn)確率提升4%以上。

據(jù)介紹，網(wǎng)易云音樂音頻實驗室在歌唱評價模型的設(shè)計過程中引入了三個主要創(chuàng)新點：

1.首次在模型中顯式引入音色信息輔助歌聲評價：研究表明，歌手的”音色”是影響人們對于歌聲感受的重要因素。但不同于音準(zhǔn)、節(jié)奏等較為簡單的屬性，音色是一系列復(fù)雜而抽象的感受的集合，因此其提取過程更為復(fù)雜，更難被模型直接捕捉到。至今為止的歌聲自動評價系統(tǒng)中，還沒有研究聚焦音色特征對于模型預(yù)測的影響。 為了填補這一空缺，團(tuán)隊創(chuàng)新性地使用原本為“歌手識別”任務(wù)設(shè)計的預(yù)訓(xùn)練模型，提取與音色相關(guān)的高級特征，并將其用作歌聲評價模型的輸入。盡管這些特征原本并非為歌聲質(zhì)量設(shè)計，但是來自質(zhì)量標(biāo)簽為“好”和“差”的樣本的特征，在高維空間中分別呈現(xiàn)出較明顯的聚集現(xiàn)象，證明了其與歌聲質(zhì)量的相關(guān)性。

2.遷移高分辨率網(wǎng)絡(luò)結(jié)構(gòu)處理聲譜特征：除了音色特征輸入，團(tuán)隊從音頻樣本中提取CQT聲譜特征作為模型的主要輸入。為了解決卷積網(wǎng)絡(luò)局部性帶來的問題，團(tuán)隊將圖像分割領(lǐng)域較為常用的“高分辨率網(wǎng)絡(luò)”遷移到歌聲評價任務(wù)中，分別通過高、中、低三個不同的分辨率分支分別處理特征。通過高分辨率特征捕捉局部信息（如演唱技巧、小瑕疵等）、低分辨率特征捕捉長距離信息（氣息穩(wěn)定性、音準(zhǔn)等），從而實現(xiàn)保持高效性的同時，提升模型提取有用信息的能力。

3.提出循環(huán)自動數(shù)據(jù)標(biāo)注降低人工成本： 對于一個模型的訓(xùn)練，可靠的標(biāo)注數(shù)據(jù)尤為重要。團(tuán)隊收集了3萬余條歌聲數(shù)據(jù)樣本，以及其對應(yīng)的機器打分（針對音準(zhǔn)、節(jié)奏等）、紅心數(shù)、評論數(shù)等可以一定程度反映歌聲質(zhì)量的元數(shù)據(jù)。通過一個循環(huán)迭代過程，只需要人工標(biāo)注其中小部分樣本，便能獲得足夠可靠的自動數(shù)據(jù)標(biāo)簽，大大降低了標(biāo)注所需的人工成本。

實驗結(jié)果表明，在各類公開數(shù)據(jù)集上，網(wǎng)易云音樂提出的TG-Critic均達(dá)到國際最先進(jìn)水平，相比已有算法，準(zhǔn)確率提升至少4%，部分?jǐn)?shù)據(jù)集提升10%以上。而且應(yīng)用于網(wǎng)易云音樂業(yè)務(wù)測聽的結(jié)果顯示：在音樂人業(yè)務(wù)：運營評估歌曲推薦值≥3共159首歌曲中，算法評價為“演唱水平好”共144首，準(zhǔn)確率達(dá)90.5%；在直播業(yè)務(wù)：運營提供100首算法判定“演唱水平好”歌曲的人工驗證，準(zhǔn)確率91%；在500+全演唱水平分類實驗中，準(zhǔn)確率81.2%。

據(jù)了解，TG-Critic歌曲質(zhì)量評價模型將進(jìn)一步減少人力依賴并擴(kuò)大應(yīng)用場景在直播、音樂人等內(nèi)容分發(fā)場景，可協(xié)助人工挑選優(yōu)質(zhì)內(nèi)容，可服務(wù)于作品審核、分發(fā)或推薦，優(yōu)質(zhì)歌手挖掘在社交、游戲等C端場景，可提供“開口跪挑戰(zhàn)”等運營玩法。

懂AI又懂樂理，看圖識譜技術(shù)上的又一次突破

隨著深度學(xué)習(xí)方法的應(yīng)用，OCR（圖像文字識別 ）近年得到了長足的進(jìn)步，而OMR（圖像樂譜識別）卻始終處于研究應(yīng)用的初級階段。由于這個方向?qū)儆诮徊鎸W(xué)科，既要懂視覺算法又要懂樂理。目前市面上的商業(yè)或開源軟件都不具備可用的準(zhǔn)確率。

因此，網(wǎng)易云音樂音視頻實驗室采用基于端到端的算法識別路線，優(yōu)化識別流程：1）拿到一個樂譜圖片，檢測圖片中的曲譜位置坐標(biāo)；2）提取曲譜區(qū)域，進(jìn)行曲譜識別，識別出樂譜中的內(nèi)容信息，如下圖：

針對該樂譜識別模型，網(wǎng)易云音樂音頻實驗室也做了多方面的創(chuàng)新，大大提高了準(zhǔn)確性。例如，將Transformer引入到樂譜識別任務(wù)中，通過該結(jié)構(gòu)可以實現(xiàn)更大的感受野，有利于對長序列進(jìn)行預(yù)測，提升識別準(zhǔn)確率；同時，將樂譜的信息維度將樂譜符號分為：樂譜符號全局表征+樂譜符號局部表征+音符音高。這樣的拆分方式更利于機器理解和學(xué)習(xí)。

值得注意的是，團(tuán)隊還精心設(shè)計了一套樂譜圖片拍攝的方案。為了收集大量真實的數(shù)據(jù)，使用手機作為拍照工具，模仿最真實的拍照場景，對明、暗光場景的紙質(zhì)樂譜進(jìn)行拍照，以及對顯示在顯示屏上的樂譜進(jìn)行拍照。

實驗結(jié)果表示，網(wǎng)易云音樂的樂譜識別算法的準(zhǔn)確性已經(jīng)超過目前最好的端到端音樂譜識別方法，大幅降低錯誤率。下圖中第一行為正確的樂譜識別結(jié)果，第二行為目前最好的復(fù)音樂譜識別方法的識別結(jié)果，第三行為本技術(shù)提出方案的識別結(jié)果，紅框標(biāo)記的為錯誤區(qū)域。

據(jù)介紹，該方法可以準(zhǔn)確地將圖片樂譜轉(zhuǎn)換為midi、musicxml等格式，未來可用于音樂輔助教育、聽歌搜譜等場景中，致力于在音樂欣賞、教育、創(chuàng)作等場景上，為音樂人、用戶提供更好的服務(wù)。