新浪科技訊 11月27日下午消息，巨人巨人網(wǎng)絡(luò)AI Lab與清華大學(xué)SATLab、網(wǎng)絡(luò)西北工業(yè)大學(xué)聯(lián)合推出三項(xiàng)音視頻領(lǐng)域的布多多模態(tài)生成技術(shù)成果，相關(guān)研究成果將陸續(xù)在GitHub、模態(tài)HuggingFace等平臺(tái)開源。生成術(shù)

　　本次發(fā)布的新成三項(xiàng)研究成果——音樂(lè)驅(qū)動(dòng)的視頻生成模型YingVideo-MV、零樣本歌聲轉(zhuǎn)換模型YingMusic-SVC與歌聲合成模型YingMusic-Singer，果相關(guān)技展現(xiàn)了團(tuán)隊(duì)在音視頻多模態(tài)生成技術(shù)上的開源最新成果。

　　據(jù)悉，巨人YingVideo-MV模型實(shí)現(xiàn)“一段音樂(lè)加一張人物圖像”即可生成一個(gè)音樂(lè)視頻片段。網(wǎng)絡(luò)該模型能夠?qū)σ魳?lè)進(jìn)行節(jié)奏、布多情緒與內(nèi)容結(jié)構(gòu)的模態(tài)多模態(tài)分析，從而使鏡頭運(yùn)動(dòng)與音樂(lè)的生成術(shù)高度同步，具備推、新成拉、果相關(guān)技搖、移等鏡頭語(yǔ)言，并通過(guò)長(zhǎng)時(shí)序一致性機(jī)制，有效緩解了長(zhǎng)視頻中常見(jiàn)的人物“畸變”與“跳幀”現(xiàn)象。

　　在音頻領(lǐng)域，YingMusic-SVC主打“真實(shí)歌曲可用”的零樣本歌聲轉(zhuǎn)換能力。它通過(guò)針對(duì)真實(shí)音樂(lè)場(chǎng)景的全面優(yōu)化，有效抑制了伴奏、和聲與混響對(duì)歌聲轉(zhuǎn)換的干擾，顯著降低了破音與高音失真的風(fēng)險(xiǎn)，為高質(zhì)量的音樂(lè)再創(chuàng)作提供了穩(wěn)定的技術(shù)支撐。

　　而YingMusic-Singer歌聲合成模型則支持在給定旋律下輸入任意歌詞，即可生成發(fā)音清晰、旋律穩(wěn)定的自然歌聲。該模型的主要特點(diǎn)在于能夠靈活適應(yīng)不同長(zhǎng)度的歌詞，并支持零樣本音色克隆，提升了AI演唱在創(chuàng)作過(guò)程中的靈活度與實(shí)用性，降低音樂(lè)創(chuàng)作的門檻。