发现者网
产业经济 科技业界 3C数码 文化传媒 移动智能 家电行业 产业互联网 AI大模型 汽车出行

阿里MotionShop惊艳亮相:一键将视频人物替换为3D形象

2024-01-18来源:发现者网编辑:快报

【发现者网】1月18日消息,阿里巴巴近日推出了一项名为MotionShop的新技术,该技术能够将视频中的人物角色替换成3D形象,同时保持其他场景和人物不变。这一创新性的技术已经在ModelScope社区开放试玩,引发了广大网友的热烈讨论和期待。

据了解,MotionShop的操作简单易懂,只需三步即可完成:上传视频、确定目标对象、选择要替换的虚拟对象。然而,在实际操作过程中,用户需要注意一些细节。上传的视频不能超过15秒,且最好是未经剪辑的、一镜到底的镜头,以保证人物的完整性。其次,在选择替换人物时,系统会自动选择一个对象,用户需要确认是否符合自己的目标对象。目前,MotionShop提供了四个可替换的虚拟形象供用户选择。

据发现者网了解,阿里巴巴的研究团队为了实现这一技术,提出了一个由两部分组成的框架:一是用于提取和修复背景视频序列的视频处理管线,二是用于生成3D人物视频的序列的姿态估计和渲染管线。这两条管线并行运行,并使用高性能的光线追踪渲染器TIDE,以在保证视频质量的同时,提高处理速度。

此外,研究团队还详细介绍了MotionShop技术的具体实现步骤。包括角色检测、分割与追踪、修补、姿态估计、3D人物生成、光线处理和渲染以及最终的合成等七个步骤。每一步都采用了先进的技术和方法,以确保最终生成的视频质量和自然度。

尽管MotionShop技术目前仍处于试玩阶段,但其潜在的应用前景已经引发了业界的广泛关注。有分析人士认为,这一技术有望在未来的影视制作、虚拟现实、游戏等领域发挥重要作用,为用户带来更加丰富多彩的视觉体验。