5 月 13 日消息，昆侖萬維剛剛宣布 Matrix-Game 大模型（17B+）正式開源，即 Matrix-Zero 世界模型中的可交互視頻生成大模型。

昆侖萬維表示，Matrix-Game 是 Matrix 系列在交互式世界生成方向的正式落地，也是工業(yè)界首個(gè)開源的 10B+ 空間智能大模型，它是一個(gè)面向 游戲 世界建模的交互式世界基礎(chǔ)模型，專為開放式環(huán)境中的高質(zhì)量生成與精確控制而設(shè)計(jì)。

據(jù)介紹，Matrix-Game 包括三大核心：

Matrix-Game-MC 數(shù)據(jù)集 ：自主構(gòu)建的大規(guī)模交互世界數(shù)據(jù)集，包含兩類數(shù)據(jù)：一是大規(guī)模無標(biāo)簽的 Minecraft 游戲視頻，二是帶有鍵盤與鼠標(biāo)控制信號的 Minecraft 與 Unreal 可控視頻數(shù)據(jù)，具備精細(xì)的動作注釋。該數(shù)據(jù)集支持對復(fù)雜環(huán)境動態(tài)與交互模式的高效建模與學(xué)習(xí)。 Matrix-Game 主模型 ：基于先進(jìn)擴(kuò)散模型技術(shù)開發(fā)的圖像到世界生成框架，能夠根據(jù)用戶輸入（鍵盤指令、鼠標(biāo)移動等）生成連貫、可控的互動視頻，兼顧視覺質(zhì)量、時(shí)序一致性與物理合理性。 GameWorld Score 評測體系 ：提出統(tǒng)一的游戲交互世界評估標(biāo)準(zhǔn)，從視頻的視覺質(zhì)量、時(shí)序質(zhì)量、動作可控性與物理規(guī)則理解四個(gè)維度，全面量化模型性能，填補(bǔ)了該領(lǐng)域缺乏系統(tǒng)性評測基準(zhǔn)的空白。

Matrix-Game 能夠在不同 Minecraft 場景下（如森林、沙灘、沙漠、冰川、河流、平原等）實(shí)現(xiàn)可控生成，包括基礎(chǔ)運(yùn)動、復(fù)合運(yùn)動、視角運(yùn)動等。例如，在一個(gè)沙漠場景中，Matrix-Game 能夠根據(jù)用戶輸入的任意控制指令（IT之家注：如鍵盤的 W / A / S / D 方向鍵、Space 鍵用于跳躍、Attack 鍵用于攻擊，以及鼠標(biāo)用于視角移動），生成對應(yīng)的游戲世界視頻，支持角色的前后左右移動、跳躍、攻擊以及視角變換等動態(tài)行為。

在此基礎(chǔ)上，Matrix-Game 支持自回歸式的長視頻生成，不僅能實(shí)現(xiàn)動作與視角之間的絲滑銜接，還在時(shí)間一致性與環(huán)境適應(yīng)性方面表現(xiàn)出色，為開發(fā)沉浸式長時(shí)體驗(yàn)、創(chuàng)意內(nèi)容生成及游戲設(shè)計(jì)等應(yīng)用奠定了堅(jiān)實(shí)的模型基礎(chǔ)。

參考資料

項(xiàng)目主頁： https://matrix-game-homepage.github.io 技術(shù)報(bào)告： https://github.com/SkyworkAI/Matrix-Game/blob/main/assets/report.pdf GitHub 開源地址： https://github.com/SkyworkAI/Matrix-Game HuggingFace 開源地址： https://huggingface.co/Skywork/Matrix-Game

【來源： IT之家 】