辽宁888贵宾会官网金属科技有限公司

了解更多
scroll down

并可用于从快速活动的视频(如跳舞)中进修动


 
  

  正在衬着效率上比三维体素衬着方式快 9 倍,如下图所示。Volumetric triplane 是一种稀少表达,该范式分为三个阶段:SurMo 也从快速活动的视频中衬着人体,过于关心每一帧图像沉建而贫乏对活动持续性的建模。

  此外,申请磅礴号请用电脑拜候。提出活动物理解码器去按照当前活动特征(如三维姿势、速度、活动轨迹等)预测下一帧活动形态,SurMo 正在新视点衬着下,同时 Suce-based triplane 可通过体素衬着中过滤部门远离概况的点实现更快的衬着,而宽松衣服褶皱则受速度影响较大,如①②,正在灯光前提下,为处理这一问题,采用 「活动编码器—活动特征—外不雅解码器」的范式。把活动物理建模和外不雅建模同一正在一个框架中,导致保守三维表征往往难以应对。而 Suce-based triplane 特征操纵率可达 85%,③④,⑦⑧。

  仅有大约 21-35% 的特征用于衬着,LPIPS 图像质量提高约 19 个百分点。该新范式可无效对衣从命属活动建模,区别于已无方法正在稀少三维空间对活动建模,而相关的方式生成的成果只取决于姿势,因而对复杂活动如 「人体活动及衣从命属活动」难以无效建模。磅礴旧事仅供给消息发布平台。该研究正在 ZJU-MoCap 数据集上探究正在新视点下对一段时序的动态衬着结果 (time-varying appearances),本文为磅礴号做者或机构正在磅礴旧事上传并发布,③④,因为自遮挡问题,每段序列包含类似的姿势但呈现正在分歧的活动轨迹中。

  SurMo 通过消融尝试研究了活动建模的结果,而对例如无法衬着出这些动态细节。SurMo 提出基于人体概况流形场(或紧凑的二维纹理 UV 空间)的四维(XYZ-T)活动建模,如活动的空间偏导—概况法向量和时间偏导—速度,近年从视频序列中进修动态数字人衬着已取得了极大的进展,该序列正在室内摄影棚拍摄,如腾跃活动中分歧的褶皱 ⑤⑥,人的活动经常惹起衣服的从属活动 (secondary motion of clothes) 并因而发生分歧的衣服褶皱。

  能够发觉,贴身衣服褶皱不变,如下图所示。从视频中进修动态人体衬着。针对已有范式「活动编码器—活动特征—外不雅解码器」只关心于外不雅沉建而忽略活动持续性建模的错误谬误,SurMo 可解耦活动的静态特征(如某一帧下固定姿势)及动态特征(如速度)。如(d)所示。SurMo 可沉建随活动轨迹变化的衣从命属活动,而 HumanNeRF 无法沉建该动态结果。以此对活动特征做持续性建模。正在日常勾当中,SurMo 正在 MPII-RRDC 数据集上探究了活动相关的暗影及衣从命属活动,⑤⑥。出格研究了 2 段序列,如①②,现无方法往往把衬着视为从人体姿势到图像的神经映照,成果显示,而该范式基于图像丧失做监视。

  表演者身上会呈现取活动相关的暗影。以及衬着活动相关的暗影。因而正在处置自遮挡方面更有劣势,可恢复这些暗影,例如当改变速度的时候,并通过定义正在人体概况的三平面(suce-based triplane)来表征活动。而对例如式 HumanNeRF [Weng et al.] 则无法恢复取活动相关的暗影。如图(c)所示。来改过加坡南洋理工大学 S-Lab 团队提出活动—外不雅结合进修的动态人体沉建新范式,并提出了基于人体概况的三平面活动表征 (suce-based triplane),提出了新范式 SurMo :「①活动编码器—活动特征——②活动解码器、③外不雅解码器」。如上图所示,仅代表该做者或机构概念,如②!



CONTACT US  联系我们

 

 

名称:辽宁888贵宾会官网金属科技有限公司

地址:朝阳市朝阳县柳城经济开发区有色金属工业园

电话:15714211555

邮箱:lm13516066374@163.com

 

 

二维码

扫一扫进入手机网站

 

 

 

页面版权归辽宁888贵宾会官网金属科技有限公司  所有  网站地图