Tether Data 發布面向現代 AI 模型的 QVAC Fabric LLM 推理和微調框架

金融服務部公司 Tether 致力於透過技術促進自由、透明和創新的 Tether Data 公司宣布推出 QVAC Fabric LLM，這是一個全面的大型語言模型 (LLM) 推理運行時和微調框架。該新系統使用戶能夠直接在標準硬體（包括消費級 GPU、筆記型電腦甚至智慧型手機）上運行、訓練和定制大型語言模型，從而擺脫了以往對高端雲端伺服器或專用 NVIDIA 設備的依賴。

QVAC Fabric LLM 再defines 提供了高效能的 LLM 推理和微調功能，這些功能以往只有擁有昂貴基礎設施的組織才能使用。它是首個統一、可移植且高度可擴展的系統，能夠在行動作業系統（iOS 和 Android）以及所有常見的筆記型電腦、桌上型電腦和伺服器環境（Windows、macOS、Linux）上完整執行 LLM 推理、LoRa 適配和指令調優。這使得開發人員和組織能夠獨立建置、部署、運行和個人化 AI，而無需依賴雲端服務、避免供應商鎖定或敏感資料外洩的風險。

此版本的一項顯著創新在於能夠對行動GPU（例如高通Adreno和ARM Mali）上的模型進行微調，這標誌著首個可用於智慧型手機級硬體的現代化LLM訓練的生產就緒框架的誕生。這項進步有助於實現個人化AI，使其能夠直接從用戶設備上學習，從而保護用戶隱私、支援離線運行，並助力新一代高彈性、設備端AI應用的發展。

QVAC Fabric LLM 也擴展了 llama透過添加對現代模型（例如）的微調支持，增強 .cpp 生態系統 LLama3、Qwen3 和 Gemma3 這三個先前不受支援的模型，現在可以透過統一、簡單的工作流程在所有硬體平台上進行微調。

QVAC Fabric LLM 支援在包括 AMD、Intel、NVIDIA、Apple Silicon 和行動晶片在內的各種 GPU 上進行訓練，這挑戰了長期以來認為高級 AI 開發需要專用於單一供應商硬體的觀念。消費級 GPU 現在能夠勝任重要的 AI 任務，行動裝置也成為合法的訓練平台，從而拓寬了 AI 開發的格局。

對企業而言，該框架具有戰略優勢。企業可以在內部安全硬體上對 AI 模型進行微調，無需將敏感資料暴露給外部雲端服務供應商。這種方法既能保障隱私、符合法規要求，又能提高成本效益，同時也允許部署根據內部需求客製化的 AI 模型。 QVAC Fabric LLM 將微調作業從集中式 GPU 叢集轉移到企業已管理的更廣泛的裝置生態系統中，使高階 AI 更易於存取且更安全。

Tether Data發布QVAC Fabric LLM開源版本，實現去中心化AI定制

Tether Data 已將 QVAC Fabric LLM 作為開源軟體發布，採用 Apache 2.0 許可證，並在 Hugging Face 上提供多平台二進位和即用型適配器。該框架允許開發者只需幾個命令即可開始微調模型，從而降低了以往難以克服的 AI 定制門檻。

QVAC Fabric LLM 標誌著向去中心化、用戶管理的 AI 邁出了切實的一步。儘管業內大部分企業仍然優先考慮基於雲端的解決方案， Tether 數據重點在於直接在本地邊緣硬體上實現高級個人化。這種方法支援在網路延遲較高的地區（例如新興市場）的營運連續性，同時提供一個以隱私為先、具彈性和可擴展性的AI平台，該平台能夠獨立於集中式基礎設施運作。