StereoCrafter

StereoCrafter是一个由腾讯ai实验室开发的能将普通的2D视频转换为沉浸式的立体3D视频的开源框架。

StereoCrafter的框架由两个主要步骤组成：深度基于视频喷溅和立体视频修复。首先，通过深度估计从输入的单视角视频中提取深度信息，并利用该信息进行视频的变形和遮挡掩码的生成。接着，使用立体视频修复模型填补变形视频中的空白区域，从而合成右视图视频。这种方法不仅提高了生成的3D视频的质量，还确保了在不同长度和分辨率的视频输入下的灵活性和适应性。

此外，StereoCrafter还支持多种视频源，包括电影、视频博客、3D卡通和AI生成内容（AIGC）视频，进一步扩展了其应用范围。StereoCrafter的设计目的在于满足日益增长的3D内容需求，尤其是在沉浸式体验领域，能够为用户提供更为丰富的视觉体验。