PrivateGPT Docker部署完全指南一條命令從本地跑通到生產就緒【免費下載鏈接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.項目地址: https://gitcode.com/GitHub_Trending/pr/privateGPTPrivateGPT 是一個開源的本地 AI 應用 API 層它把 Ollama、vLLM、llama.cpp 等本地模型變成生產級私有 AI 應用的后端提供 RAG 檢索、引用溯源、工具調用、MCP 連接器和 Text-to-SQL 等能力。本文帶你用 Docker 部署 PrivateGPT一條docker run命令即可從本地跑通再進階到生產就緒的配置。全程只需約 5 分鐘。為什么選擇 Docker 部署 PrivateGPT很多新手在本地跑通模型后會遇到第二個問題如何把模型變成一個可用的 AI 應用后端Ollama、vLLM 回答的是怎么跑模型而 PrivateGPT 回答的是怎么在模型之上構建應用。用 Docker 部署 PrivateGPT 有三大好處環境隔離容器自帶 Python 3.11 運行時、文檔解析庫LibreOffice、Poppler和瀏覽器依賴無需在本機裝任何環境可復現官方鏡像zylonai/private-gpt:latest預裝core全家桶隨時拉取、隨時回滾生產就緒容器化本身就是生產部署的標準形態后續擴展為多容器編排毫無障礙鏡像的構建細節可以查看倉庫中的 Dockerfile多階段構建已經把依賴安裝、瀏覽器緩存、編碼文件都提前打包好了。部署前的準備工作啟動你的 LLM 服務器PrivateGPT本身不跑模型它通過OPENAI_API_BASE連接任意兼容 OpenAI 協議的推理服務器。最簡單的新手選擇是 Ollama# 拉取一個對話模型LLM ollama pull qwen3.5:35b # 拉取一個嵌入模型EmbeddingsRAG 檢索必需 ollama pull mxbai-embed-large # 啟動服務默認監聽 11434 端口 ollama serve 如果你用的是 LM Studio、llama.cpp 或 vLLM只要它們實現了/v1/chat/completions和/v1/models接口PrivateGPT 都能自動發現并注冊模型無需任何配置文件。更多對比見 providers 文檔。一鍵 Docker 部署 PrivateGPTmacOS / Windows一條命令啟動docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ zylonai/private-gpt:latesthost.docker.internal是 Docker 在 macOS 和 Windows 上訪問宿主機的特殊域名讓容器內的 PrivateGPT 能找到你本機運行的 Ollama。Linux 用戶使用 host 網絡模式docker run --network host \ -e OPENAI_API_BASEhttp://localhost:11434/v1 \ zylonai/private-gpt:latest如果 LLM 服務器需要 API Keydocker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:8000/v1 \ -e OPENAI_API_KEYyour-api-key \ zylonai/private-gpt:latest完整的分步說明見 Docker 安裝文檔。驗證部署打開內置 Workbench UI容器啟動后打開瀏覽器訪問http://localhost:8080/ui你會看到 PrivateGPT 內置的 Workbench 工作臺這個 UI 不只是聊天窗口你可以用它快速驗證部署是否成功發送消息確認模型能正常回復上傳文檔測試 RAG 檢索與引用溯源按會話開啟工具Web 搜索、代碼執行等配置數據庫、MCP 連接器和自定義工具API 本體運行在http://localhost:8080遵循 Anthropic 風格 API 規范全部端點參考 API Reference。部署成功后Workbench 內置的API Debugger還能實時抓包查看每一次請求與響應排查問題時非常直觀生產就緒4 個關鍵配置從本地跑通到生產就緒只差下面 4 步1?? 掛載數據卷持久化上傳的文檔默認情況下攝入的文檔存在容器內部容器一刪就沒了。掛載一個卷即可解決docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -v ./local_data:/home/worker/app/local_data \ zylonai/private-gpt:latest2?? 使用配置 Profile 管理模型參數PrivateGPT 通過 YAML 配置文件管理所有設置。項目根目錄的 settings.yaml 是所有配置的基線每個值都支持${環境變量:默認值}的寫法因此改配置不用改代碼、不用重建鏡像。生產環境推薦創建獨立的 profile 文件如settings-prod.yaml啟動時加載docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -e PGPT_PROFILESprod \ zylonai/private-gpt:latestprofile 的加載與合并機制詳見 How it works 與 Settings Profiles。3?? 開啟鑒權與觀測鑒權在 profile 中設置server.auth.enabled: true并配置secret防止 API 被未授權訪問可觀測性設置observability.mode: arize_phoenix或opik把每一次 LLM 調用、嵌入請求和檢索步驟都變成可視化 trace詳見 Observability 文檔4?? 按需構建自定義鏡像如果默認鏡像不滿足需求比如要加隊列、可觀測性組件可以從源碼構建并指定 extrasgit clone https://gitcode.com/GitHub_Trending/pr/privateGPT cd privateGPT docker build \ --build-arg EXTRAScore queue observability-opik \ -t private-gpt .常見問題排查癥狀可能原因解決方式容器啟動后連接 LLM 超時OPENAI_API_BASE地址錯誤Linux 用--network hostlocalhostmacOS/Windows 用host.docker.internalUI 打不開端口未映射確認加了-p 8080:8080host 網絡模式除外上傳文檔檢索不到沒拉嵌入模型確認 Ollama 中已有mxbai-embed-large等嵌入模型重啟容器后文檔丟失未掛載數據卷添加-v ./local_data:/home/worker/app/local_data遇到更復雜的問題可以查閱 故障排查文檔或用 Workbench 里的 API Debugger 直接看請求詳情?？偨Y階段你完成了什么? 一條命令docker run啟動 PrivateGPT連接 Ollama? 本地驗證/ui打開 Workbench發消息、傳文檔、看引用? 生產就緒數據卷持久化 配置 Profile 鑒權 可觀測性PrivateGPT 讓本地模型與生產 AI 應用之間只差一個 Docker 容器。裝好它之后你的 Ollama 就不再只是能聊天的模型倉庫而是一個帶 RAG、工具、MCP 和數據查詢能力的完整私有 AI 后端。下一步建議從 Quickstart 指南 開始把消息 API 接入你自己的應用?！久赓M下載鏈接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.項目地址: https://gitcode.com/GitHub_Trending/pr/privateGPT創作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 PrivateGPT Docker部署完全指南：一條命令從本地跑通到生產就緒
PrivateGPT Docker部署完全指南一條命令從本地跑通到生產就緒【免費下載鏈接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.項目地址: https://gitcode.com/GitHub_Trending/pr/privateGPTPrivateGPT 是一個開源的本地 AI 應用 API 層它把 Ollama、vLLM、llama.cpp 等本地模型變成生產級私有 AI 應用的后端提供 RAG 檢索、引用溯源、工具調用、MCP 連接器和 Text-to-SQL 等能力。本文帶你用 Docker 部署 PrivateGPT一條docker run命令即可從本地跑通再進階到生產就緒的配置。全程只需約 5 分鐘。為什么選擇 Docker 部署 PrivateGPT很多新手在本地跑通模型后會遇到第二個問題如何把模型變成一個可用的 AI 應用后端Ollama、vLLM 回答的是怎么跑模型而 PrivateGPT 回答的是怎么在模型之上構建應用。用 Docker 部署 PrivateGPT 有三大好處環境隔離容器自帶 Python 3.11 運行時、文檔解析庫LibreOffice、Poppler和瀏覽器依賴無需在本機裝任何環境可復現官方鏡像zylonai/private-gpt:latest預裝core全家桶隨時拉取、隨時回滾生產就緒容器化本身就是生產部署的標準形態后續擴展為多容器編排毫無障礙鏡像的構建細節可以查看倉庫中的 Dockerfile多階段構建已經把依賴安裝、瀏覽器緩存、編碼文件都提前打包好了。部署前的準備工作啟動你的 LLM 服務器PrivateGPT本身不跑模型它通過OPENAI_API_BASE連接任意兼容 OpenAI 協議的推理服務器。最簡單的新手選擇是 Ollama# 拉取一個對話模型LLM ollama pull qwen3.5:35b # 拉取一個嵌入模型EmbeddingsRAG 檢索必需 ollama pull mxbai-embed-large # 啟動服務默認監聽 11434 端口 ollama serve 如果你用的是 LM Studio、llama.cpp 或 vLLM只要它們實現了/v1/chat/completions和/v1/models接口PrivateGPT 都能自動發現并注冊模型無需任何配置文件。更多對比見 providers 文檔。一鍵 Docker 部署 PrivateGPTmacOS / Windows一條命令啟動docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ zylonai/private-gpt:latesthost.docker.internal是 Docker 在 macOS 和 Windows 上訪問宿主機的特殊域名讓容器內的 PrivateGPT 能找到你本機運行的 Ollama。Linux 用戶使用 host 網絡模式docker run --network host \ -e OPENAI_API_BASEhttp://localhost:11434/v1 \ zylonai/private-gpt:latest如果 LLM 服務器需要 API Keydocker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:8000/v1 \ -e OPENAI_API_KEYyour-api-key \ zylonai/private-gpt:latest完整的分步說明見 Docker 安裝文檔。驗證部署打開內置 Workbench UI容器啟動后打開瀏覽器訪問http://localhost:8080/ui你會看到 PrivateGPT 內置的 Workbench 工作臺這個 UI 不只是聊天窗口你可以用它快速驗證部署是否成功發送消息確認模型能正常回復上傳文檔測試 RAG 檢索與引用溯源按會話開啟工具Web 搜索、代碼執行等配置數據庫、MCP 連接器和自定義工具API 本體運行在http://localhost:8080遵循 Anthropic 風格 API 規范全部端點參考 API Reference。部署成功后Workbench 內置的API Debugger還能實時抓包查看每一次請求與響應排查問題時非常直觀生產就緒4 個關鍵配置從本地跑通到生產就緒只差下面 4 步1?? 掛載數據卷持久化上傳的文檔默認情況下攝入的文檔存在容器內部容器一刪就沒了。掛載一個卷即可解決docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -v ./local_data:/home/worker/app/local_data \ zylonai/private-gpt:latest2?? 使用配置 Profile 管理模型參數PrivateGPT 通過 YAML 配置文件管理所有設置。項目根目錄的 settings.yaml 是所有配置的基線每個值都支持${環境變量:默認值}的寫法因此改配置不用改代碼、不用重建鏡像。生產環境推薦創建獨立的 profile 文件如settings-prod.yaml啟動時加載docker run -p 8080:8080 \ -e OPENAI_API_BASEhttp://host.docker.internal:11434/v1 \ -e PGPT_PROFILESprod \ zylonai/private-gpt:latestprofile 的加載與合并機制詳見 How it works 與 Settings Profiles。3?? 開啟鑒權與觀測鑒權在 profile 中設置server.auth.enabled: true并配置secret防止 API 被未授權訪問可觀測性設置observability.mode: arize_phoenix或opik把每一次 LLM 調用、嵌入請求和檢索步驟都變成可視化 trace詳見 Observability 文檔4?? 按需構建自定義鏡像如果默認鏡像不滿足需求比如要加隊列、可觀測性組件可以從源碼構建并指定 extrasgit clone https://gitcode.com/GitHub_Trending/pr/privateGPT cd privateGPT docker build \ --build-arg EXTRAScore queue observability-opik \ -t private-gpt .常見問題排查癥狀可能原因解決方式容器啟動后連接 LLM 超時OPENAI_API_BASE地址錯誤Linux 用--network hostlocalhostmacOS/Windows 用host.docker.internalUI 打不開端口未映射確認加了-p 8080:8080host 網絡模式除外上傳文檔檢索不到沒拉嵌入模型確認 Ollama 中已有mxbai-embed-large等嵌入模型重啟容器后文檔丟失未掛載數據卷添加-v ./local_data:/home/worker/app/local_data遇到更復雜的問題可以查閱 故障排查文檔或用 Workbench 里的 API Debugger 直接看請求詳情?？偨Y階段你完成了什么? 一條命令docker run啟動 PrivateGPT連接 Ollama? 本地驗證/ui打開 Workbench發消息、傳文檔、看引用? 生產就緒數據卷持久化 配置 Profile 鑒權 可觀測性PrivateGPT 讓本地模型與生產 AI 應用之間只差一個 Docker 容器。裝好它之后你的 Ollama 就不再只是能聊天的模型倉庫而是一個帶 RAG、工具、MCP 和數據查詢能力的完整私有 AI 后端。下一步建議從 Quickstart 指南 開始把消息 API 接入你自己的應用?！久赓M下載鏈接】privateGPTComplete API layer for private AI applications on local models: RAG, skills, tools, MCP, text-to-sql, and more. Works with any OpenAI-compatible inference server.項目地址: https://gitcode.com/GitHub_Trending/pr/privateGPT創作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考