我是怎么做出来的?AI 数字人全流程:脸、声音、开口说话|开源模型本地跑

這部在講什麼教學

拆解使用全開源 AI 模型在本地端獨立打造數位人主播的完整工作流。

適合誰想在本地端自建專屬 AI 數位人的創作者。
你會學會本地開源模型選型與配置、人臉一致性與聲音質檢技巧、Claude Code 自動化執行方法。
最值得看06:00 InfiniteTalk 口型同步與底稿防變形技巧。

本片的 3 個主題

依影片順序整理,點時間可回看原段落。

1

臉部生成與一致性微調

03:24
透過 ComfyUI 搭配阿里開源修圖模型進行特徵雕琢,並藉由參考圖維持換裝一致性。
  • 02:00 架構配置:以 Qwen2.5-VL 讀取需求、主模型生成、VAE 壓縮還原,並掛載 LightX2V LoRA 將算圖壓縮至 4 步
  • 03:45 文字設定特徵:以提示詞細緻描述五官與神態,切忌直接餵真人照片避免模型複製長相
  • 04:15 換裝與一致性校驗:每次改圖同步餵入定稿臉作為參考圖,並以 InsightFace 開源工具進行人臉相似度評分把關。
2

聲音設計與雙重質檢

04:45
運用 Qwen3-TTS 進行文字音色設計與聲音克隆,並加入聲紋和語音辨識雙重審核。
  • 05:00 音色設計與克隆:支援純文字描述憑空打造專屬聲音,亦可提供參考音訊克隆語音,並微調音高、共鳴與起伏
  • 05:35 雙重品質把關:配音後以阿里 CAM++ 檢驗聲紋避免中途變聲,再以 OpenAI Whisper 轉寫校驗錯讀字並替換同音字。
3

開口說話與自動化流程

06:00
採用 InfiniteTalk 搭配 Wan 2.1 驅動唇形,並結合 Claude Code 實現無人化批次產出。
  • 06:21 WanVideoWrapper 驅動:在 ComfyUI 安裝 WanVideoWrapper 插件結合 Wan 2.1 基礎模型,讓唇形精準跟隨語音動態
  • 06:43 底稿影片防變形:以定稿照製作微幅晃動的閉嘴底稿影片代替純靜態圖,防止頭部動作過大導致五官失真走樣
  • 07:13 Claude Code 自動化協作:將整套流程打包成 Skill 腳本交由 Claude Code 當副導演,自動發送工作流、檢驗指標並拼圖供人挑選。
讓下一支影片也替你省時間

把你常看的 YouTube 影片,也變成這樣的重點摘要

安裝摘要王後,打開任何 YouTube 影片就能一鍵整理重點,先看值得看的段落,不必再複製網址。

一個選填問題

剛才這份摘要有幫你節省時間嗎?

如果願意,點一下最接近你的感受就好。

需要留意:全套開源模型檔案超過 65GB,且生成 13 秒動態影片在 DGX Spark 上需耗時 8 到 10 分鐘,對電腦顯存與散熱有極高硬體門檻,一般消費級顯卡可能無法完整載入。

延伸思考摘要王的延伸觀點

影片示範了團隊將全開源模型部署在本地 128G 記憶體的 DGX Spark 工作站,並由 Claude Code 腳本自動調度產出。這代表邊緣算力與自動化工具的結合,已能讓創作者在零素材上傳、無持續 API 費用的前提下完成影音創作。

然而,這套解法依賴極高的初期硬體投入與龐大儲存空間,且本地生成 13 秒影片仍需近 10 分鐘運算。在追求完全資產自主掌控與利用雲端 API 的彈性擴展之間,團隊該如何拿捏自建本地算力的投資回收平衡點?

觀眾怎麼看

整理 13 則有效留言信心 中

觀眾對於製作流程的教學品質給予正面肯定,同時針對硬體成本、商用許可選型及模型效率展開深入技術討論。

共識教學品質優良2 則提及

觀眾普遍認為影片教學內容清晰實用,不僅真實演示且提供了具價值的技術細節。

補充製作技巧分享1 則提及

有觀眾分享利用模型間提示詞傳遞來達成人臉肖像脫敏的具體實作訣竅。

本摘要基於 13 則觀眾留言整理,樣本數有限,可能無法完全代表全體閱聽人意見。

生成於 2026-11-08 檢舉
摘要先揭露後段價值,完整內容仍屬於原創作者。 回 YouTube 看最值得的一段 → 在 YouTube 邊播邊讀 · 加入 Chrome →