克隆AI數(shù)字人并生成口播視頻實(shí)操教程)
Duix.Avatar 30分鐘快速部署免費(fèi)克隆AI數(shù)字人并生成口播視頻實(shí)操教程【免費(fèi)下載鏈接】Duix-Avatar Truly open-source AI avatar(digital human) toolkit for offline video generation and digital human cloning.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/he/Duix-AvatarDuix.Avatar 是一個(gè)完全離線運(yùn)行的開(kāi)源 AI 數(shù)字人項(xiàng)目上傳一段 10 秒左右的視頻即可克隆外貌與聲音再輸入文案就能驅(qū)動(dòng)數(shù)字人生成口播視頻。本文帶你從一臺(tái)干凈的 Windows/Ubuntu 機(jī)器開(kāi)始完成本地部署并產(chǎn)出第一個(gè)數(shù)字人視頻。它能做什么日??诓ヒ曨l制作輸入文案、選擇數(shù)字人就能得到可直接發(fā)布的視頻不需要真人出鏡和后期對(duì)口型適合需要高頻更新的短視頻賬號(hào)與自媒體。多語(yǔ)言?xún)?nèi)容產(chǎn)出腳本支持中文、英語(yǔ)、日語(yǔ)、韓語(yǔ)、法語(yǔ)、德語(yǔ)、阿拉伯語(yǔ)、西班牙語(yǔ)共 8 種語(yǔ)言同一個(gè)數(shù)字人形象可以為不同地區(qū)觀眾產(chǎn)出本地化版本。批量生產(chǎn)與二次集成服務(wù)端開(kāi)放了模型訓(xùn)練與視頻合成的本地 API 端口可以圍繞它搭建批量生成流程官方示例代碼在src/main/service/目錄包含model.js、video.js、voice.js三個(gè)文件。部署前硬件與系統(tǒng)檢查清單官方推薦配置為第 13 代 i5-13400F、32GB 內(nèi)存、RTX 4070 顯卡全部算力跑在本地 GPU 上NVIDIA 顯卡是硬性要求。部署前逐項(xiàng)核對(duì)系統(tǒng)Windows 10 19042.1526 或更高版本或 Ubuntu 22.04 Desktop官方在內(nèi)核 6.8.0-52-generic 上完成適配驗(yàn)證顯卡NVIDIA 顯卡并裝好驅(qū)動(dòng)執(zhí)行nvidia-smi能顯示顯卡型號(hào)與驅(qū)動(dòng)版本即通過(guò)內(nèi)存32GB 及以上必要項(xiàng)16GB 機(jī)器可能起不了語(yǔ)音識(shí)別服務(wù)磁盤(pán)WindowsC 盤(pán)留 100GB 以上給 Docker 鏡像D 盤(pán)留 30GB 以上存數(shù)字人與作品磁盤(pán)Ubuntu存放數(shù)據(jù)的位置空閑空間 100GB 以上軟件Docker 與 Docker Compose如要從源碼構(gòu)建客戶(hù)端另需 Node.js 18從裝 Docker 到啟動(dòng)三個(gè)服務(wù)數(shù)字人服務(wù)端的完整本地部署步驟服務(wù)端由三個(gè)服務(wù)組成語(yǔ)音識(shí)別 fun-asr本地端口 10095、語(yǔ)音合成 fish-speech本地端口 18180和視頻合成服務(wù)本地端口 8383。桌面客戶(hù)端通過(guò)本地端口調(diào)用這三個(gè)服務(wù)文件落在本機(jī)d:/duix_avatar_data目錄素材全程不上傳云端。第 1 步安裝 WSL 與 Docker兩個(gè)系統(tǒng)的安裝路徑不同按系統(tǒng)對(duì)照?qǐng)?zhí)行步驟Windows 10/11Ubuntu 22.04虛擬化基礎(chǔ)wsl --list --verbose查看 WSL未安裝則wsl --install再wsl --update更新無(wú)需額外操作Docker從 Docker 官網(wǎng)安裝 Docker Desktopsudo apt update后執(zhí)行sudo apt install docker.io docker-composeGPU 直通Docker Desktop 自帶無(wú)需額外配置安裝nvidia-container-toolkit后執(zhí)行sudo nvidia-ctk runtime configure --runtimedocker再sudo systemctl restart docker重啟生效執(zhí)行wsl --list --verbose后如果列出已安裝的分發(fā)版本說(shuō)明 WSL 已就緒可跳過(guò)安裝步驟。Ubuntu 裝完 Docker 后執(zhí)行docker --version能打印出版本號(hào)即表示安裝成功。第 2 步驗(yàn)證顯卡驅(qū)動(dòng)在終端執(zhí)行nvidia-smi。如果命令報(bào)未找到或報(bào)錯(cuò)先安裝 NVIDIA 驅(qū)動(dòng)再往下走本項(xiàng)目三個(gè)服務(wù)全部依賴(lài)本地 GPU驅(qū)動(dòng)缺失時(shí)服務(wù)是起不來(lái)的。第 3 步可選修改 Docker 鏡像存放位置Docker Desktop 默認(rèn)把鏡像存在 C 盤(pán)。如果 C 盤(pán)空閑不足 100GB打開(kāi)右上角設(shè)置進(jìn)入 Resources → Advanced在 Disk image location 旁點(diǎn) Browse 換一個(gè)空閑充足的磁盤(pán)再點(diǎn) Apply restart 使設(shè)置生效。回到上一頁(yè)后 Disk image location 輸入框顯示新路徑即修改生效。第 4 步獲取代碼并啟動(dòng)服務(wù)git clone https://gitcode.com/GitHub_Trending/he/Duix-Avatar cd Duix-Avatar/deploy第一條命令拉取項(xiàng)目代碼第二條進(jìn)入存放 compose 文件的deploy目錄。之后按系統(tǒng)啟動(dòng)服務(wù)Windowsdocker-compose up -dUbuntu 22.04docker-compose -f docker-compose-linux.yml up -d首次運(yùn)行會(huì)下載約 70GB 鏡像耗時(shí)半小時(shí)左右取決于網(wǎng)速。完成后在 Docker Desktop 的 Containers 列表里應(yīng)看到duix-avatar-asr、duix-avatar-tts、duix-avatar-gen-video三個(gè)容器均為 Running分別監(jiān)聽(tīng) 10095、18180、8383 端口此時(shí)服務(wù)端即就緒。安裝客戶(hù)端并產(chǎn)出第一個(gè)數(shù)字人視頻安裝客戶(hù)端到項(xiàng)目發(fā)布頁(yè)下載對(duì)應(yīng)系統(tǒng)的安裝包。Windows 用戶(hù)雙擊Duix.Avatar-x.x.x-setup.exe完成安裝Ubuntu 用戶(hù)直接運(yùn)行Duix.Avatar-x.x.x.AppImage即可無(wú)需安裝root 用戶(hù)打不開(kāi)時(shí)在終端執(zhí)行./Duix.Avatar-x.x.x.AppImage --no-sandbox啟動(dòng)??蛻?hù)端首頁(yè)有 Create Video生成視頻和 Create Avatar創(chuàng)建數(shù)字人兩個(gè)入口。準(zhǔn)備 10-20 秒的素材素材質(zhì)量直接決定克隆效果時(shí)長(zhǎng) 10-20 秒人物在清晰說(shuō)話聲音用于克隆純 BGM 或無(wú)聲視頻不可用面部光線充足、背景簡(jiǎn)潔。創(chuàng)建數(shù)字人模型點(diǎn)擊 Create Avatar 上傳視頻系統(tǒng)自動(dòng)提取面部特征與聲音特征。這一步按機(jī)器性能需要幾分鐘當(dāng) My Avatars 列表中出現(xiàn)新的模型卡片數(shù)字人就創(chuàng)建完成。生成第一個(gè)視頻進(jìn)入 Create Video選中剛創(chuàng)建的模型輸入文案也可以直接上傳音頻文件點(diǎn)擊生成。等待幾分鐘后成片會(huì)出現(xiàn)在 My Works 列表中可直接播放或?qū)С?。部署高頻問(wèn)題排查速查現(xiàn)象、原因與解法問(wèn)題一執(zhí)行docker-compose up -d時(shí)報(bào)registry-1.docker.io連接超時(shí)。原因網(wǎng)絡(luò)無(wú)法直連 Docker Hub。解法在 Docker Desktop 的 Settings → Docker Engine 中給 JSON 配置加registry-mirrors國(guó)內(nèi)鏡像源點(diǎn) Apply restart 重啟Ubuntu 用戶(hù)把同樣內(nèi)容寫(xiě)入/etc/docker/daemon.json。{ registry-mirrors: [ https://docker.m.daocloud.io, https://docker.1ms.run ] }鏡像源清單收錄在項(xiàng)目的doc/常見(jiàn)問(wèn)題.md中。鏡像地址變動(dòng)較頻繁上述兩個(gè)失效時(shí)請(qǐng)自行搜索最新可用的源。問(wèn)題二三個(gè)服務(wù)起不來(lái)或反復(fù)重啟。原因沒(méi)有 NVIDIA 顯卡或驅(qū)動(dòng)未裝算力全在本地 GPU或內(nèi)存不足。解法用nvidia-smi驗(yàn)證驅(qū)動(dòng)確認(rèn)內(nèi)存達(dá)到 32GB 以上再啟動(dòng)。問(wèn)題三創(chuàng)建模型時(shí)報(bào)錯(cuò)提示視頻沒(méi)有聲音或沒(méi)有人在說(shuō)話。原因素材不滿(mǎn)足要求程序提取不到可用于克隆的聲音。解法重新錄制一段人物在清晰說(shuō)話的 10-20 秒視頻。問(wèn)題四定制模特時(shí)報(bào)Connection refused。原因語(yǔ)音識(shí)別服務(wù)啟動(dòng)較慢首次調(diào)用時(shí)連接尚未就緒。解法等服務(wù)全部 Running 后等待幾分鐘再執(zhí)行克隆形象操作。出了問(wèn)題去哪里找日志客戶(hù)端點(diǎn)右上角設(shè)置的 Open Log 入口會(huì)直接打開(kāi)日志目錄Windows 下位于%APPDATA%\hegem.ai\logs重點(diǎn)看main.log里的報(bào)錯(cuò)。服務(wù)端在 Docker Desktop 點(diǎn)開(kāi)目標(biāo)容器切到 Logs 頁(yè)簽找到報(bào)錯(cuò)行復(fù)制即可定位生成卡住、模型創(chuàng)建失敗這類(lèi)問(wèn)題大多能在日志里看到直接原因。進(jìn)階50 系顯卡、lite 版本與本地 APIRTX 50 系顯卡5090 測(cè)試通過(guò)在deploy目錄改用另一份 compose 文件啟動(dòng)docker-compose -f docker-compose-5090.yml up -dcuda 12.8 的 30/40 系用戶(hù)同樣適用該文件。lite 版本只啟動(dòng)視頻合成一個(gè)服務(wù)docker-compose -f docker-compose-lite.yml up -d成功后 Docker 里只有一個(gè)duix-avatar-gen-video容器。模型訓(xùn)練與視頻合成支持本地端口直接調(diào)用適合做自動(dòng)化批量生產(chǎn)參數(shù)示例見(jiàn)src/main/service/目錄。Duix.Avatar 適合想批量產(chǎn)出口播視頻、又不希望素材離開(kāi)本機(jī)電腦的內(nèi)容創(chuàng)作者、教培團(tuán)隊(duì)與企業(yè)宣傳人員只要你的機(jī)器滿(mǎn)足 32GB 內(nèi)存加 NVIDIA 顯卡的要求按上文步驟即可跑通第一個(gè)數(shù)字人服務(wù)?!久赓M(fèi)下載鏈接】Duix-Avatar Truly open-source AI avatar(digital human) toolkit for offline video generation and digital human cloning.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/he/Duix-Avatar創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考