本報訊 (記者梁傲男)10月27日,美團LongCat團隊發布并開源LongCat-Video視頻生成模型,以統一模型在文生、圖生視頻基礎任務上達到開源SOTA(最先進水平),并依托原生視頻續寫任務預訓練,實現分鐘級長視頻連貫生成,保障跨幀時序一致性與物理運動合理性,在長視頻生成領域具備顯著優勢。
近年來,“世界模型”因讓人工智能真正理解、預測甚至重構真實世界,被業界視作通往下一代智能的核心引擎。作為能夠建模物理規律、時空演化與場景邏輯的智能系統,“世界模型”賦予人工智能“看見”世界運行本質的能力。而視頻生成模型有望成為構建世界模型的關鍵路徑——通過視頻生成任務壓縮幾何、語義、物理等多種形式的知識,人工智能得以在數字空間中模擬、推演乃至預演真實世界的運行。
正因如此,美團LongCat團隊認為,此次發布的視頻生成模型,是為探索“世界模型”邁出的第一步。未來,憑借精準重構真實世界運行狀態的能力,LongCat模型也會融入公司近年來持續投入的自動駕駛、具身智能等深度交互業務場景中,成為公司更好連接“比特世界”和“原子世界”的技術基礎。
此次開源模型的技術報告顯示,作為基于Diffusion Transformer架構的多功能統一視頻生成基座,LongCat-Video創新通過“條件幀數量”實現任務區分,原生支持三大核心任務:文生視頻無需條件幀、圖生視頻輸入1幀參考圖、視頻續寫依托多幀前序內容,且無需額外模型適配,形成“文生/圖生/視頻續寫”完整任務閉環。
此外,依托視頻續寫任務預訓練,新模型可穩定輸出5分鐘級別的長視頻,且無質量損失,達到行業頂尖水平。同時,從根源規避色彩漂移、畫質降解、動作斷裂等行業痛點,保障跨幀時序一致性與物理運動合理性,適配數字人、具身智能、世界模型等需要長時序動態模擬的場景需求。模型還結合塊稀疏注意力(BSA)與條件token緩存機制,大幅降低長視頻推理冗余——即便處理93幀及以上長序列,仍能兼顧效率與生成質量穩定,打破長視頻生成“時長與質量不可兼得”的瓶頸。
針對高分辨率、高幀率視頻生成的計算瓶頸,LongCat-Video通過“二階段粗到精生成(C2F)+塊稀疏注意力(BSA)+模型蒸餾”三重優化,視頻推理速度提升至10.1倍,實現效率與質量的最優平衡。
技術報告還稱,LongCat-Video的模型評估圍繞內部基準測試和公開基準測試展開,覆蓋Text-to-Video(文本生成視頻)、Image-to-Video(圖像生成視頻)兩大核心任務,從多維度(文本對齊、圖像對齊、視覺質量、運動質量、整體質量)驗證模型性能:136億參數的視頻生成基座模型,在文生視頻、圖生視頻兩大核心任務中,綜合性能均達到當前開源領域SOTA級別;通過文本-視頻對齊、視覺質量、運動質量、整體質量四大維度評估,其性能在文本對齊度、運動連貫性等關鍵指標上展現顯著優勢;在VBench等公開基準測試中,LongCat-Video在參評模型中整體表現優異。
(編輯 郭之宸)
| 23:42 | 兩部門發文促進文旅與民航業融合發... |
| 23:42 | 從寧波舟山港實現第四個“千萬箱級... |
| 23:42 | 11月份中國物流業景氣指數為50.9% |
| 23:42 | 李強主持國務院第十七次專題學習 |
| 23:42 | 前10個月我國服務進出口總額同比增... |
| 23:42 | 多地加碼購房補貼支持住房消費 |
| 23:42 | 多家外資機構發布研報樂觀預期A股... |
| 23:42 | 四重支撐勾勒A股市場長期向好運行... |
| 23:42 | 離岸人民幣對美元匯率盤中升破7.06... |
| 23:42 | 數據新政釋放紅利 構建學科人才培... |
| 23:42 | 折疊屏手機賽道硝煙再起 產業鏈創... |
| 23:42 | 京東工業啟動招股擬全球發售2.11億... |
版權所有《證券日報》社有限責任公司
互聯網新聞信息服務許可證 10120240020增值電信業務經營許可證 京B2-20250455
京公網安備 11010602201377號京ICP備19002521號
證券日報網所載文章、數據僅供參考,使用前務請仔細閱讀法律申明,風險自負。
證券日報社電話:010-83251700網站電話:010-83251800 網站傳真:010-83251801電子郵件:xmtzx@zqrb.net
安卓
IOS
掃一掃,加關注
掃一掃,加關注