Light-A-Video

Light-A-Video是一个应用于逐帧图像重光照模型的简单应用，主要解决光源一致性以及重光照外观的问题。该项目的目标是提升视频中光照效果的自然性，使得生成的视频帧在光源和外观上更加一致，解决了传统视频重光照方法面临的高训练成本、数据稀缺性、时间一致性差以及应用领域限制等问题。

Light-A-Video功能特征：

无需训练：Light-A-Video采用无监督学习的方式，不需要大规模的数据集或复杂的训练过程。

CLA模块：通过双流注意力机制，结合原始帧的高频细节和跨帧平均后的稳定背景光照，确保光照源的稳定性，减少闪烁。

PLF策略：该策略逐步融合重光照效果，确保在视频去噪过程中保持光照的一致性和平滑过渡，从而避免了逐帧处理导致的不自然效果。

广泛兼容性：该方法与多种视频生成模型兼容，如UNet和DiT，显示了其在不同应用场景中的通用性。

光照一致性：通过引入两个核心模块来增强视频中的光照一致性：

• Consistent Light Attention (CLA)：通过增强自注意力机制中的跨帧交互，确保背景光源的一致性。

• Progressive Light Fusion (PLF)：利用光传输的独立性原理，通过线性混合来平滑光照过渡，确保视频帧间的光照一致性。

技术流程：

• 视频编码与加噪：输入视频被编码到潜在空间，并添加噪声以准备后续处理。

• 逐帧重光照：利用预训练的图像重光照模型对每一帧进行处理。

• CLA模块应用：通过增强跨帧交互，稳定光照效果，保持视频帧间的一致性。

• PLF策略实施：逐步将重光照效果融入视频的去噪过程，确保时间上的平滑过渡。

• 视频解码：最终生成重光照后的视频，保持高质量和时间连贯性。

Light-A-Video应用场景：

Light-A-Video只要为视频编辑、电影特效制作、虚拟现实、广告和游戏开发等领域提供更高效、更灵活的视频光照调整工具：

• 全视频重光照：适用于整个视频的重光照。

• 视频前景重光照：结合背景生成进行视频前景的重光照。

Light-A-Video 由来自上海交通大学、中国科学技术大学、香港中文大学、香港科技大学、斯坦福大学等机构的研究人员共同开发，是首个无需预先训练就能够实现高质量、时间连贯的视频重光照模型。