京东科技与香港大学合作开发的音频驱动3D说话人脸视频生成框架,提供精确的唇部与音频同步,以精确模拟说话者的唇部动作和面部表情,让生成的视频更逼真。
JoyGen 是由京东科技与香港大学合作开发的音频驱动3D说话人脸视频生成框架,一种新颖的两阶段框架,这个技术在于通过音频输入来驱动3D深度感知模型,提供精确的唇部与音频同步,以精确模拟说话者的唇部动作和面部表情,让生成的视频更逼真,主要应用于视频编辑和虚拟交互领域。