2020年12月31日晚,“美好有你”2021年浙江衛視跨年晚會精彩上演。網易互娛AI Lab與可以傳媒聯合打造的數字女孩“萬一”,在晚會中首次驚艷亮相,其逼真細膩的表情和靈動自然的神態變化,令人眼前一亮。以數字人物替代真人進行節目演出,將炫酷的虛擬偶像技術與大膽的內容創意相結合,日漸成熟的AI制作技術,為即時性、現場感強的直播類晚會帶來了一種全新的呈現模式。
在浙江衛視跨年晚會中穿插的四條下節預告VCR中,萬一化身AR世界里的虛擬助手,出演了在跨年夜這天與四個人物之間發生的小故事。雖然是數字人,但萬一的形態堪比真人。從表情上看,這個青春可愛的女孩高度還原了真人的神態,她的眼神、唇動、眉毛、甚至法令紋等表情變化都細致入微。說話時,她的每一個字都能精準匹配相應的口型。在不同的語境下,不論是天真機靈、嘟嘴生氣,還是驚訝好奇的多種情緒變化,萬一都能生動演繹、精準表達。而這一切,都離不開網易互娛AI Lab的AIxFace面部動捕技術的強力支撐。
通過AIxFace實現的萬一表情特寫
AIxFace是網易互娛AI Lab開發的輕量級面部動捕系統,不同于傳統的面部動捕技術,AIxFace無需復雜專業的動作捕捉場地和設備,也不需要設置任何面部標記點,只需要一個單目攝像頭,就可以實時將演員的面部表情遷移到數字女孩萬一的臉上,并實現舌頭、視線、口型等表情細節變化的精準跟蹤。虛擬偶像的面部表情向來是粉絲衡量其表現力的重要標準,然而為了實現高水準的神態變化,其耗費的技術成本通常比較高昂,這也是虛擬偶像行業的關鍵門檻之一。借助AIxFace,萬一的表情動畫在動捕階段就可以基本實時展現出最終的效果,這能夠大幅節省制作時間和成本,給后期渲染等環節預留更多的空間,最終達到晚會所呈現的動畫效果。
AIxFace面部動捕技術效果展示
(眼神、眉動、法令紋、嘴型變化跟蹤)
除了動畫制作,AIxFace憑借其實時驅動的特性,還能夠幫助虛擬偶像真正“打破次元壁”。過去,由于技術局限,傳統的虛擬偶像即便可以通過全息技術進行線下演出,但也難以根據實況與粉絲進行互動。通過AIxFace,虛擬偶像可實現在直播等場景與觀眾實時互動,在與粉絲拉近距離的同時能確保準確而傳神的表情變化,增強情緒的感染力和真實感。在萬一項目之前,AIxFace已成功幫助多個虛擬人物實現直播互動,例如《第五人格》Bilibili禿禿杯游戲決賽的虛擬偵探主播,首秀即突破60萬人氣值。
《第五人格》Bilibili“禿禿杯”虛擬偵探直播
(AIxFace實現眼神、口型的精準跟蹤)
網易互娛AI Lab成立于2017年,是游戲行業領先的人工智能實驗室,除了致力于游戲場景下的AI落地研究以外,同時也提供虛擬偶像相關的人工智能技術支持,如面部表情動捕、視頻動捕和音樂自動生成舞蹈動畫等。網易互娛AI Lab希望通過領先的人工智能技術不斷提升虛擬偶像內容生成的智能化程度,進一步增強虛擬偶像的精細度、真實感和交互能力,從而促進其商業模式逐漸走向多元化。未來,虛擬偶像不僅可以活躍在當下已非常普遍的影視、游戲、直播領域,也能夠逐漸擴展至金融、教育、醫療等更加廣闊的應用場景。
