本報訊 (記者袁傳璽)8月27日,在第四屆828 B2B企業節開幕式上,華為云宣布其Tokens服務全面接入CloudMatrix384超節點,通過xDeepServe架構創新,單芯片最高可實現2400TPS、50msTPOT的超高吞吐、低時延的性能,超過業界水平。
過去18個月,中國AI算力需求呈現指數級增長。數據顯示,2024年初中國日均Token的消耗量為1000億,截至今年6月底,日均Token消耗量已突破30萬億,1年半的時間增長了300多倍,反映了我國人工智能應用規模快速增長,也對算力基礎設施的需求提出了更大的挑戰。
在以往按卡時計費的基礎上,今年3月份,華為云正式推出了基于MaaS的Tokens服務。針對不同應用、不同場景的性能和時延要求,還提供了在線版、進線版、離線版乃至尊享版等多種服務規格,為大模型、Agent智能體等AI工具提供了更為靈活、便捷、低成本的先進算力。
而這一次,華為云的Tokens服務正式接入CloudMatrix384,并通過384原生的xDeepServe框架再次實現了吞吐量的突破,從年初的1920TPS提升至2400TPS,TPOT僅為50ms。
大算力的構建不是單點突破,而是一個從硬件到軟件、從算子到存儲、從推理框架到超節點的全棧創新,充分依托了華為的“大雜燴”能力。
CloudMatrix384超節點以全新的計算架構創新,突破性能瓶頸,構筑穩固澎湃的算力根基;CANN昇騰硬件使能,優化算子與高效通信策略,讓云端的算力能夠以最高效的方式被調用和組合;EMS彈性內存存儲打破AI內存墻,突破性地實現“以存強算”,徹底釋放了每一顆芯片的算力;xDeepServe分布式推理框架則以極致分離架構Transfomerless讓超節點釋放出更高效算力。
據悉,目前,華為云MaaS服務已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型及versatile、Dify、扣子等主流Agent平臺。
華為云積累了大量模型性能優化、效果調優的技術和能力,從而實現“源于開源,高于開源”,讓更多大模型可以在昇騰云上跑得更快更好。以文生圖大模型來說,在輕微損失畫質的情況下,通過Int8量化、旋轉位置編碼融合算子等方式,在在華為云MaaS平臺實現了2倍于業界主流平臺的出圖速度,最大尺寸支持2K×2K。而在文生視頻大模型上,不僅通過量化方式來提速,還通過通算并行等方式,降低延遲與顯存占用,大幅提升視頻生成速度,相較于友商實現了3.5倍的性能提升。華為云Tokens服務在性能、模型適配、效果調優方面的基礎,也讓更多企業能夠快速開發和構建AI Agent。
而在應用層,華為云已與超過100家伙伴攜手深入行業場景,共建豐富的Agent,在調研分析、內容創作、智慧辦公、智能運維等領域解決產業難題,讓企業更便捷地擁抱AI創新,加速智能化。
如基于MaaS平臺推出的今日人才數智員工解決方案,集成了先進的自然語言處理、機器學習和深度學習技術,能實現與用戶的智能交互和任務處理,顯著提升服務效率與客戶滿意度;而北京方寸無憂科技開發的無憂智慧公文解決方案可以提升公文處理效能,實現政企辦公智能化轉型。
以Token為動力的智能社會已經到來,據悉,華為云將以系統級創新能力和全新的Tokens服務構筑先進算力,助力各行各業加速落地AI。
(編輯 張明富)
| 23:42 | 兩部門發文促進文旅與民航業融合發... |
| 23:42 | 從寧波舟山港實現第四個“千萬箱級... |
| 23:42 | 11月份中國物流業景氣指數為50.9% |
| 23:42 | 李強主持國務院第十七次專題學習 |
| 23:42 | 前10個月我國服務進出口總額同比增... |
| 23:42 | 多地加碼購房補貼支持住房消費 |
| 23:42 | 多家外資機構發布研報樂觀預期A股... |
| 23:42 | 四重支撐勾勒A股市場長期向好運行... |
| 23:42 | 離岸人民幣對美元匯率盤中升破7.06... |
| 23:42 | 數據新政釋放紅利 構建學科人才培... |
| 23:42 | 折疊屏手機賽道硝煙再起 產業鏈創... |
| 23:42 | 京東工業啟動招股擬全球發售2.11億... |
版權所有《證券日報》社有限責任公司
互聯網新聞信息服務許可證 10120240020增值電信業務經營許可證 京B2-20250455
京公網安備 11010602201377號京ICP備19002521號
證券日報網所載文章、數據僅供參考,使用前務請仔細閱讀法律申明,風險自負。
證券日報社電話:010-83251700網站電話:010-83251800 網站傳真:010-83251801電子郵件:xmtzx@zqrb.net
安卓
IOS
掃一掃,加關注
掃一掃,加關注