LivePortrait

LivePortrait，利用AI技术将静态照片转换为视频，展现逼真的面部表情和动作。LivePortrait开源项目来自中国快手科技和复旦大学，使用经过特殊训练的模型，可以将视频或网络摄像头中的动画转换为动画，并将动作转换为图像或照片。

LivePortrait 利用基于隐式关键点的框架从单个源图像创建逼真的视频动画。这种方法平衡了计算效率和可控性，使其成为各种应用的实用工具。

LivePortrait的Comfyui版本：https://github.com/shadowcz007/comfyui-liveportrait

LivePortrait功能征：

• 将静态照片转换为动画视频；

• 生成逼真的面部表情和动作；

• 支持不同风格的动画生成；

• 允许用户上传视频并同步面部动作。

• 提供个性化视频沟通工具，提升沟通效果；

LivePortrait 如何生成 AI 内容

LivePortrait 的动画过程涉及两个阶段的训练流程：

第一阶段：基础模型训练

在第一阶段，从头开始训练基础模型。此阶段涉及优化外观提取器（F）、运动提取器(M)、变形模块(W)和解码器(G)。这些组件协同工作，分别从源图像和驾驶视频中提取和合成外观和运动。

第二阶段：拼接和重定向模块培训

在第二阶段，之前训练的组件被冻结，重点转移到优化拼接和重定向模块。这些模块通过对眼睛和嘴唇等特定面部特征提供更精细的控制来提高动画质量，从而实现更详细和更具表现力的动画。

LivePortrait 的主要特点

效率和速度：LivePortrait 实现了惊人的生成速度，在使用 PyTorch 的 RTX 4090 GPU 上达到每帧 12.8 毫秒。这种效率使其适合实时应用。

高品质动画：通过将训练数据扩展至约6900万个高质量帧并采用混合图像视频训练策略，LivePortrait确保了卓越的动画质量和泛化能力。

先进的可控性：拼接和重定向模块可以精确控制面部特征，从而实现详细的动画。用户可以控制眼睛和嘴唇运动的程度，增强生成视频的真实感。

多功能性：LivePortrait支持写实、油画、雕塑、3D渲染等多种风格。这种多功能性使其适用于从创意内容到专业视频制作的广泛应用。

LivePortrait应用群体

内容创作者和影响者：LivePortrait 使内容创作者和影响者能够从单个图像生成高质量的动画视频，通过逼真的动画增强其内容。

电影制片人和动画师：专业电影制作人和动画师可以使用 LivePortrait 高效创建逼真的角色动画，从而节省制作过程中的时间和资源。

营销人员和广告商：营销人员和广告商可以利用 LivePortrait 制作引人入胜的动态视频广告，通过逼真的动画吸引观众的注意力。

教育工作者和电子学习开发人员：教育内容可以通过动画肖像变得更具互动性和吸引力，从而使学习材料对学生更具吸引力。

游戏开发商：游戏开发者可以使用 LivePortrait 创建逼真的角色动画，通过逼真的表情和动作增强整体游戏体验。

LivePortrait的Comfyui版本：

Liveportrait comfyui：https://github.com/shadowcz007/comfyui-liveportrait