Tether Data ra mắt QVAC Fabric LLM - Nền tảng suy luận và tinh chỉnh cho các mô hình AI hiện đại

Công ty Dịch vụ Tài chính Tether Tập trung vào việc thúc đẩy tự do, minh bạch và đổi mới thông qua công nghệ, Tether Data đã công bố ra mắt QVAC Fabric LLM, một nền tảng suy luận mô hình ngôn ngữ lớn (LLM) toàn diện và khung tinh chỉnh. Hệ thống mới này cho phép người dùng thực thi, đào tạo và tùy chỉnh các mô hình ngôn ngữ lớn trực tiếp trên phần cứng tiêu chuẩn, bao gồm GPU tiêu dùng, máy tính xách tay và thậm chí cả điện thoại thông minh, loại bỏ sự phụ thuộc trước đây vào máy chủ đám mây cao cấp hoặc các thiết lập NVIDIA chuyên dụng.

QVAC Fabric LLM redefines là hệ thống đầu tiên tích hợp khả năng suy luận và tinh chỉnh LLM hiệu suất cao, vốn trước đây chỉ dành cho các tổ chức có cơ sở hạ tầng đắt tiền. Đây là hệ thống thống nhất, di động và có khả năng mở rộng cao, có khả năng thực thi suy luận LLM đầy đủ, thích ứng LoRA và tinh chỉnh lệnh trên các hệ điều hành di động (iOS và Android), cũng như tất cả các môi trường máy tính xách tay, máy tính để bàn và máy chủ phổ biến (Windows, macOS, Linux). Điều này cho phép các nhà phát triển và tổ chức xây dựng, triển khai, chạy và cá nhân hóa AI một cách độc lập, không phụ thuộc vào đám mây, sự phụ thuộc vào nhà cung cấp hoặc nguy cơ dữ liệu nhạy cảm bị rò rỉ khỏi thiết bị.

Một cải tiến đáng chú ý trong phiên bản này là khả năng tinh chỉnh các mô hình trên GPU di động, chẳng hạn như Qualcomm Adreno và ARM Mali, đánh dấu khuôn khổ sẵn sàng sản xuất đầu tiên cho phép đào tạo LLM hiện đại trên phần cứng điện thoại thông minh. Sự tiến bộ này tạo điều kiện cho AI được cá nhân hóa, có thể học trực tiếp từ người dùng trên thiết bị của họ, bảo vệ quyền riêng tư, hoạt động ngoại tuyến và hỗ trợ một thế hệ ứng dụng AI linh hoạt, trên thiết bị mới.

QVAC Fabric LLM cũng mở rộng llamahệ sinh thái .cpp bằng cách thêm hỗ trợ tinh chỉnh cho các mô hình hiện đại như LLama3, Qwen3 và Gemma3, vốn trước đây không được hỗ trợ. Các mô hình này giờ đây có thể được tinh chỉnh thông qua quy trình làm việc nhất quán, đơn giản trên mọi nền tảng phần cứng.

Bằng cách cho phép đào tạo trên nhiều loại GPU, bao gồm AMD, Intel, NVIDIA, Apple Silicon và chip di động, QVAC Fabric LLM thách thức quan niệm lâu nay rằng phát triển AI tiên tiến đòi hỏi phần cứng chuyên dụng, chỉ có một nhà cung cấp. GPU tiêu dùng hiện khả thi cho các tác vụ AI quan trọng, và thiết bị di động trở thành nền tảng đào tạo hợp pháp, mở rộng phạm vi phát triển AI.

Đối với doanh nghiệp, khuôn khổ này mang lại những lợi thế chiến lược. Các tổ chức có thể tinh chỉnh các mô hình AI nội bộ trên phần cứng bảo mật, loại bỏ nhu cầu tiết lộ dữ liệu nhạy cảm cho các nhà cung cấp đám mây bên ngoài. Cách tiếp cận này hỗ trợ quyền riêng tư, tuân thủ quy định và hiệu quả chi phí, đồng thời cho phép triển khai các mô hình AI được tùy chỉnh theo yêu cầu nội bộ. QVAC Fabric LLM chuyển đổi việc tinh chỉnh từ các cụm GPU tập trung sang hệ sinh thái rộng lớn hơn của các thiết bị đã được các công ty quản lý, giúp AI tiên tiến dễ tiếp cận và an toàn hơn.

Tether Data phát hành QVAC Fabric LLM dưới dạng mã nguồn mở, cho phép tùy chỉnh AI phi tập trung

Tether Data đã cung cấp QVAC Fabric LLM dưới dạng phần mềm mã nguồn mở theo giấy phép Apache 2.0, kèm theo các tệp nhị phân đa nền tảng và bộ điều hợp sẵn sàng sử dụng trên Hugging Face. Nền tảng này cho phép các nhà phát triển bắt đầu tinh chỉnh mô hình chỉ với một vài lệnh, giảm bớt các rào cản trong việc tùy chỉnh AI vốn khó khăn trước đây.

QVAC Fabric LLM đánh dấu một bước tiến thiết thực hướng tới AI phi tập trung, do người dùng quản lý. Trong khi phần lớn ngành công nghiệp vẫn tiếp tục ưu tiên các giải pháp dựa trên đám mây, Tether Dữ liệu tập trung vào việc cho phép cá nhân hóa nâng cao trực tiếp trên phần cứng biên cục bộ. Phương pháp này hỗ trợ tính liên tục hoạt động ở những khu vực có mạng lưới độ trễ cao, chẳng hạn như các thị trường mới nổi, đồng thời cung cấp một nền tảng AI ưu tiên quyền riêng tư, linh hoạt và có khả năng mở rộng, hoạt động độc lập với cơ sở hạ tầng tập trung.