圖生視頻 AI 是如何工作的？原理與實用技巧

一張圖片如何變成視頻？

圖生視頻從已有圖片出發：主體、構圖和視覺風格已經有了基礎。根據模型和模式的不同，圖片可能被用作首幀，也可能僅作為視覺參考；文字提示詞或其他控制參數則用於描述接下來的變化。模型生成的是一種合理的運動推測，並不是還原照片拍攝時真實發生的動作。

1. 處理圖片條件：系統將輸入圖片轉換為視覺特徵或壓縮表示，用於引導視頻生成。
2. 理解動作要求：工具如果支持提示詞、運動強度或其他參考素材，就可以用它們描述動作和鏡頭。
3. 生成連續畫面：許多系統在壓縮的表示空間中逐步處理噪聲，結合圖片及其他輸入生成視頻序列；不同模型也可能採用其他方法。
4. 解碼輸出：將壓縮結果轉換為視頻幀。部分工作流還會根據工具和設置進行超分辨率或插幀處理。

想進一步瞭解一種具體實現，可以閱讀 Stable Video Diffusion 論文及其技術文檔。它們介紹的是潛空間視頻擴散模型的一種方案，並不代表所有視頻生成器都採用相同架構。

模型如何生成動作並保持主體一致？

視頻模型在訓練中從樣例學習外觀和時間變化之間的規律。生成時，它根據這些規律推測輸入圖片可能如何延續；處理時間關係的機制會關聯不同畫面，幫助形成連貫視頻，但具體實現因模型而異。

原圖能夠提供可見特徵，卻無法展示背面或被遮擋的細節。當人物轉身時，模型需要推測看不到的部分，臉部、衣服、手部或背景可能因此發生變化。動作幅度越大、片段越長，這類問題通常越容易被發現。

如何選擇適合生成視頻的圖片

• 主體清晰：選擇光線均勻、細節清楚的圖片。人物儘量露出完整面部，產品則要展示形狀和關鍵細節。
• 景別匹配動作：眨眼和微笑適合面部特寫；行走或跳舞通常需要更寬的畫面，儘量讓身體完整入鏡。
• 留出運動空間：讓主體在畫面中有移動餘地，背景也應適合自然延展。
• 提前確定畫幅：儘量在生成前按發佈平臺裁好比例，避免過度裁剪導致動作出框或背景信息不足。
• 使用有權使用的圖片：尤其是涉及他人肖像或可識別產品時，先確認授權和使用範圍。

提示詞重點寫動作，而不只是外觀

圖片已經交代了大部分畫面信息。提示詞可以重點說明主體做什麼、動作快慢、鏡頭怎麼移動，以及哪些細節需要保持穩定。要求應與原圖中的姿態和環境相符。

如果工具提供獨立的鏡頭或運動控制，注意讓它們與文字要求一致。不同模型對提示詞的遵循程度不同，運鏡術語只是指令，並不保證精確執行。

從圖片到成片：一套簡單工作流

1. 選擇一張清晰圖片，先確定希望畫面中的哪一部分動起來。
2. 寫一個主要動作；需要運鏡時再加一種鏡頭運動，同時說明需要保持不變的細節。
3. 如果工具提供較低成本的設置，先生成短片測試，檢查全程的人臉、手部、物體形狀和背景。
4. 每次只改動一個因素：簡化動作、換圖或調整鏡頭描述，再對比結果。
5. 動作滿意後，再用目標設置生成最終版本；需要精確的文字、標題或聲音時，可在剪輯軟件中添加。

常見問題與調整方法

效果取決於模型和原圖。有些參數需要在運動幅度與原圖相似度之間取捨：例如 Stable Video Diffusion 文檔就描述了輸入圖像噪聲設置帶來的這種變化。使用前請查看具體工具的參數和使用條款。

常见问题解答 (FAQ)