图生视频 AI 是如何工作的？原理与实用技巧

一张图片如何变成视频？

图生视频从已有图片出发：主体、构图和视觉风格已经有了基础。根据模型和模式的不同，图片可能被用作首帧，也可能仅作为视觉参考；文字提示词或其他控制参数则用于描述接下来的变化。模型生成的是一种合理的运动推测，并不是还原照片拍摄时真实发生的动作。

1. 处理图片条件：系统将输入图片转换为视觉特征或压缩表示，用于引导视频生成。
2. 理解动作要求：工具如果支持提示词、运动强度或其他参考素材，就可以用它们描述动作和镜头。
3. 生成连续画面：许多系统在压缩的表示空间中逐步处理噪声，结合图片及其他输入生成视频序列；不同模型也可能采用其他方法。
4. 解码输出：将压缩结果转换为视频帧。部分工作流还会根据工具和设置进行超分辨率或插帧处理。

想进一步了解一种具体实现，可以阅读 Stable Video Diffusion 论文及其技术文档。它们介绍的是潜空间视频扩散模型的一种方案，并不代表所有视频生成器都采用相同架构。

模型如何生成动作并保持主体一致？

视频模型在训练中从样例学习外观和时间变化之间的规律。生成时，它根据这些规律推测输入图片可能如何延续；处理时间关系的机制会关联不同画面，帮助形成连贯视频，但具体实现因模型而异。

原图能够提供可见特征，却无法展示背面或被遮挡的细节。当人物转身时，模型需要推测看不到的部分，脸部、衣服、手部或背景可能因此发生变化。动作幅度越大、片段越长，这类问题通常越容易被发现。

如何选择适合生成视频的图片

• 主体清晰：选择光线均匀、细节清楚的图片。人物尽量露出完整面部，产品则要展示形状和关键细节。
• 景别匹配动作：眨眼和微笑适合面部特写；行走或跳舞通常需要更宽的画面，尽量让身体完整入镜。
• 留出运动空间：让主体在画面中有移动余地，背景也应适合自然延展。
• 提前确定画幅：尽量在生成前按发布平台裁好比例，避免过度裁剪导致动作出框或背景信息不足。
• 使用有权使用的图片：尤其是涉及他人肖像或可识别产品时，先确认授权和使用范围。

提示词重点写动作，而不只是外观

图片已经交代了大部分画面信息。提示词可以重点说明主体做什么、动作快慢、镜头怎么移动，以及哪些细节需要保持稳定。要求应与原图中的姿态和环境相符。

如果工具提供独立的镜头或运动控制，注意让它们与文字要求一致。不同模型对提示词的遵循程度不同，运镜术语只是指令，并不保证精确执行。

从图片到成片：一套简单工作流

1. 选择一张清晰图片，先确定希望画面中的哪一部分动起来。
2. 写一个主要动作；需要运镜时再加一种镜头运动，同时说明需要保持不变的细节。
3. 如果工具提供较低成本的设置，先生成短片测试，检查全程的人脸、手部、物体形状和背景。
4. 每次只改动一个因素：简化动作、换图或调整镜头描述，再对比结果。
5. 动作满意后，再用目标设置生成最终版本；需要精确的文字、标题或声音时，可在剪辑软件中添加。

常见问题与调整方法

效果取决于模型和原图。有些参数需要在运动幅度与原图相似度之间取舍：例如 Stable Video Diffusion 文档就描述了输入图像噪声设置带来的这种变化。使用前请查看具体工具的参数和使用条款。

常见问题解答 (FAQ)