昆仑万维发布交互视频生成大模型

来源:爱范儿

昆仑万维发布交互视频生成大模型

昨日,昆仑万维正式开源(17B+)Matrix-Game 大模型(即 Matrix-Zero 世界模型中的可交互视频生成大模型)。据官方介绍,Matrix-Game 聚焦于视频生成与用户交互的深度融合,是工业界首个开源的 10B+ 空间智能大模型,也是一个面向游戏世界建模的交互式世界基础模型,专为开放式环境中的高质量生成与精确控制而设计。官方信息显示,Matrix-Game 由以下三大核心部分构成:
Matrix-Game-MC 数据集:自主构建的大规模交互世界数据集,包含两类数据:大规模无标签的 Minecraft 游戏视频、带有键盘与鼠标控制信号的 Minecraft 与 Unreal 可控视频数据,具备精细的动作注释。该数据集支持对复杂环境动态与交互模式的高效建模与学习。
Matrix-Game 主模型:基于先进扩散模型技术开发的图像到世界生成框架,能够根据用户输入(键盘指令、鼠标移动等)生成连贯、可控的互动视频,兼顾视觉质量、时序一致性与物理合理性。
GameWorld Score 评测体系:提出统一的游戏交互世界评估标准,从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度,全面量化模型性能,填补了该领域缺乏系统性评测基准的空白。与知名创业公司 Decart 开源方案 Oasis 和微软开源模型 MineWorld 对比,Matrix-Game 在 Minecraft 世界生成任务的各项指标上实现了全面超越,尤其在交互可控性和物理一致性理解方面表现尤为出色。此外,得益于 Unreal 数据的融入,Matrix-Game 在泛化到更广泛的通用游戏场景方面展现出明显优势。目前,Matrix-Game 已公布技术报告及 GitHub、HuggingFace 开源内容。

项目主页:https://matrix-game-homepage.github.io

技术报告:https://github.com/SkyworkAI/Matrix-Game/blob/main/assets/report.pdfGitHub

开源地址:https://github.com/SkyworkAI/Matrix-GameHuggingFace

开源地址:https://huggingface.co/Skywork/Matrix-Game

本文转载自爱范儿,本文观点不代表雅典娜AI助手YadiannaAI立场。

(0)
Athena的头像Athena
上一篇 2025年5月13日 上午9:14
下一篇 2025年5月14日 上午10:51

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

客服邮箱: kefu@yadiannaai.com

投稿邮箱:tougao@yadiannaai.com

合作邮箱:hezuo@yadiannaai.com

关注微信