果然只要是视频,字节就一定会整一个 SOTA 出来。

发布 X- Portrait2 单图生成面部视频技术。

效果吊打 Runway,甚至比 HeyGen 还好一点!!

面部和唇部肌肉非常自然而且生动,真实的有点离谱了。

妈的,这下 AI 脱口秀视频和对谈视频,还有表演技术彻底成熟了。

X-Portrait 2技术上的突破是:

他们构建了一个最先进的表情编码器模型,通过新的端到端自监督训练框架,能够从人像视频中自学习ID无关的运动隐式表征。

另外通过为模型设计过滤层,编码器能有效过滤运动表征中的ID相关信号,使得即使ID图片与驱动视频中的形象和风格差异较大,模型还可以实现跨ID、跨风格的动作迁移。
Media is too big
VIEW IN TELEGRAM
 
 
Back to Top