LivePortrait 是一款由 Kuaishou Technology 开发的高效肖像动画生成工具，适用于需要从静态图像生成动态视频的用户。它通过隐式关键点框架，平衡了计算效率和可控性。用户可以利用驱动视频、音频或文本，生成逼真的面部表情和头部动作。与传统方法不同，LivePortrait不仅支持人脸动画，还能推广到动物肖像，提供了更广泛的应用场景。其独特的拼接和重定向控制功能，使得眼睛和嘴唇的动画更加自然，适合视频编辑和创意制作。

LivePortrait在计算效率和可控性方面表现出色，适用于需要快速生成高质量肖像动画的用户。

LivePortrait(图1)

LivePortrait主要特点：

高效的计算性能：LivePortrait 采用隐式关键点（implicit-keypoint）框架，避免了主流的基于扩散的方法，从而在计算效率上有显著提升。实验结果表明，在 RTX 4090 GPU 上，生成速度可达 12.8ms。

优化的网络架构：为了提升生成质量和泛化能力，LivePortrait 对网络架构进行了升级，并采用了混合图像-视频训练策略。训练数据规模达到了约 6900 万高质量帧，确保了模型在各种场景下的表现。

精细的运动变换和优化目标：LivePortrait 设计了更好的运动变换和优化目标，使得生成的肖像动画更加自然和逼真。

可控性强：通过紧凑的隐式关键点，LivePortrait 能够有效地表示一种混合形状（blendshapes）。此外，工具还引入了缝合和两个重定向模块，这些模块利用了小型 MLP，几乎没有计算开销，从而增强了动画生成的可控性。

LivePortrait应用：

LivePortrait 主要面向需要生成肖像动画的用户，如视频创作者、动画设计师和社交媒体内容制作者。它通过视频驱动的方式，将静态肖像图像转换为动态动画，解决了传统方法中计算复杂度高、生成速度慢的问题。

LivePortrait(图2)

LivePortrait优势与劣势

优势

高效性：生成速度快，适合需要快速输出的场景。

高质量：通过大规模高质量数据训练，生成的动画质量高。

可控性：提供了多种控制模块，用户可以根据需求进行细致调整。

劣势

依赖硬件：尽管计算效率高，但在高性能 GPU 上才能发挥最佳效果。

学习曲线：对于初次接触该工具的用户，可能需要一定的学习时间来熟悉其功能和操作。

LivePortrait 作为一款高效且可控的肖像动画生成工具，适用于需要快速生成高质量肖像动画用户。其在计算效率、生成质量和可控性方面的优势，使其在同类工具中具有竞争力。