為什么選 fnOS 系統fnOS 是基于 Debian 的 Linux 系統內存資源占用比 Win11 系統好對AI 工具性能發揮更好。CUDA 和 ROCm 環境安裝可以在軟件中心點擊安裝不用復雜的命令行安裝。Web 控制臺界面方便遠程調試模型文件管理更方便。為什么選 LocalAI安裝方便支持 llama.cpp、sglang、vllm 等多種后端。支持 CPU、N 卡、A 卡、甚至國產 910B 等。支持文本生成、文生圖、圖生圖、視頻生成、語音生成等多種功能。部署效果v100 16g顯卡 部署Qwen3.8-27B-GSQ-RCO-IQ2_XS-mtp 設置mtp 3 kv壓縮turbo4 上下文可以拉到176k文本生成速度40t/s左右 代碼生成最高可以到50t/s顯存占用93%。個人日常使用還是比較實用的。qwen3.8-27b寫個坦克大戰小程序生圖通過Ventoy安裝 fnOS解壓下載的 Ventoy下載地址https://www.ventoy.net/cn/download.html壓縮包以管理員身份運行里面的 Ventoy2Disk.exe 程序。在軟件界面的“設備”下拉框里務必確認選中的是你的 U 盤千萬別選錯了硬盤。會格式化對應 U 盤所以選用空白硬盤點擊“安裝”按鈕根據彈窗提示確認操作。安裝完成后你的 U 盤會變成一個普通的存儲盤。這時只要把之前下載好的 fnOS ISO 鏡像文件直接復制到 U 盤的根目錄就可以了。從 U 盤啟動并安裝 fnOS將制作好的 Ventoy U 盤插到你的主機上開機后連續按 Del不同主機也可能是 F2 或 F11等按鍵進入 BIOS。在 BIOS 的“Boot”菜單里將你的 U 盤通常顯示為 USB 設備設置為第一啟動項保存并退出。重啟后你會看到 Ventoy 的引導菜單會列出 U 盤里所有的 ISO 文件。選擇 fnOS 的鏡像按回車鍵確認。之后就會進入 fnOS 的安裝程序推薦選擇“Graphical Install”圖形化安裝然后根據向導提示一步步操作即可。(安裝會格式化硬盤確認硬盤里沒有資料)安裝成功后記住分配的ip地址安裝顯卡驅動環境瀏覽器登錄IP 地址:5666fnOS Web 界面進應用中心安裝驅動N 卡選紅框的 2 個驅動安裝 CUDA 版本 13A 卡選綠框 2 個文件安裝 ROCm 版本 7.2。安裝 LocalAI 工具下載 LocalAI 文件下載地址 Releases · mudler/LocalAI · GitHub把文件拖動到fnos 文件管理齊的文件夾打開fnos ssh功能使用 登錄fnos sshSudo -i輸入管理密碼roothz8845:~# cd /vol1/1000/localai3roothz8845:/vol1/1000/localai3# chmod x local-ai-* # 對文件授權roothz8845:/vol1/1000/localai3# ./local-ai-* # 運行文件已經部署成功安裝localai模型后端設置模型配置打開http://192.168.6.165:8080/ 進web端安裝后端下載模型通過fnos自帶離線下載器下載魔塔社區的模型文件到models下導入模型自定義配置模型設置導入自動導入設置模型配置也可以這里貼nas里的文件地址導入會自動基礎設置選模型開始對話也可用api地址在其他工具調用運行模型