本報訊 （記者桂小筍）6月11日至6月15日，2025國際計算機視覺與模式識別會議（CVPR2025）召開。北京值得買科技股份有限公司（以下簡稱“值得買”）與中國人民大學高瓴人工智能學院在多模態領域的最新聯合研究成果《圖像轉有聲視頻》（《Animate and Sound an Image》）成功入選。

    該成果首次提出了一種從靜態圖像直接生成同步音視頻內容的生成框架JointDiT（Joint Diffusion Transformer），實現了從圖像到“動態視頻+聲音”的高質量聯合生成。這不僅展現了雙方在AIGC領域的技術創新突破，也為AI多模態的高質量發展提供了新的思路與啟發。

    據介紹，《圖像轉有聲視頻》首次提出并系統定義了圖像到有聲視頻生成（Image-to-Sounding-Video，I2SV）這一新任務：讓靜態圖像“動”起來的同時，生成與之語義匹配、時間同步的音頻內容。同時還提出了一種新穎的內容生成框架JointDiT（Joint Diffusion Transformer），并具體闡述了如何利用兩個強大的單模態預訓練擴散模型（一個視頻生成器，一個音頻生成器），構建統一的聯合生成框架，實現多模態協同生成。

    人大高瓴人工智能學院長聘副教授宋睿華表示：“接下來，研究團隊計劃將JointDiT擴展至圖像、文本、音頻、視頻四模態的聯合建模，為構建更通用、更智能的多模態生成系統奠定基礎。”

（編輯 何成浩 郭之宸）