Tether Data stellt QVAC Fabric LLM Inferenz- und Feinabstimmungs-Framework für moderne KI-Modelle vor.

Unternehmen des Finanzdienstleistungsministeriums Tether Tether Data, ein Unternehmen, das sich der Förderung von Freiheit, Transparenz und Innovation durch Technologie verschrieben hat, kündigte die Einführung von QVAC Fabric LLM an, einer umfassenden Laufzeitumgebung und einem Framework für die Feinabstimmung großer Sprachmodelle (LLM). Mit diesem neuen System können Nutzer große Sprachmodelle direkt auf Standardhardware ausführen, trainieren und anpassen, darunter handelsübliche GPUs, Laptops und sogar Smartphones. Dadurch entfällt die bisherige Abhängigkeit von High-End-Cloud-Servern oder spezialisierten NVIDIA-Systemen.

QVAC Fabric LLM redefiEs ermöglicht leistungsstarke LLM-Inferenz und Feinabstimmung, die bisher nur Organisationen mit teurer Infrastruktur zugänglich waren. Es handelt sich um das erste einheitliche, portable und hochskalierbare System, das die vollständige Ausführung von LLM-Inferenz, LoRa-Anpassung und Befehlsoptimierung auf mobilen Betriebssystemen (iOS und Android) sowie allen gängigen Laptop-, Desktop- und Serverumgebungen (Windows, macOS, Linux) ermöglicht. Entwickler und Organisationen können so KI unabhängig entwickeln, bereitstellen, ausführen und personalisieren – ohne Abhängigkeit von der Cloud, ohne Anbieterbindung und ohne das Risiko, dass sensible Daten das Gerät verlassen.

Eine bemerkenswerte Neuerung dieser Version ist die Möglichkeit, Modelle auf mobilen GPUs wie Qualcomm Adreno und ARM Mali präzise abzustimmen. Dies ist das erste produktionsreife Framework, das modernes LLM-Training auf Smartphone-Hardware ermöglicht. Dieser Fortschritt fördert personalisierte KI, die direkt von Nutzern auf ihren Geräten lernt, die Privatsphäre wahrt, offline funktioniert und eine neue Generation robuster, gerätebasierter KI-Anwendungen unterstützt.

QVAC Fabric LLM erweitert auch die llamaDas .cpp-Ökosystem wurde durch Hinzufügen von Feinabstimmungsoptionen für moderne Modelle wie z. B. erweitert. LLama3, Qwen3 und Gemma3, die zuvor nicht unterstützt wurden. Diese Modelle können nun über einen einheitlichen, unkomplizierten Workflow auf allen Hardwareplattformen feinabgestimmt werden.

Durch die Ermöglichung des Trainings auf einer breiten Palette von GPUs, darunter AMD, Intel, NVIDIA, Apple Silicon und mobile Chips, stellt QVAC Fabric LLM die lange vorherrschende Annahme in Frage, dass die Entwicklung fortschrittlicher KI spezialisierte Hardware eines einzigen Herstellers erfordert. Verbraucher-GPUs eignen sich nun für anspruchsvolle KI-Aufgaben, und mobile Geräte werden zu legitimen Trainingsplattformen, wodurch sich die Möglichkeiten der KI-Entwicklung erweitern.

Für Unternehmen bietet das Framework strategische Vorteile. Organisationen können KI-Modelle intern auf sicherer Hardware feinabstimmen und so die Notwendigkeit vermeiden, sensible Daten an externe Cloud-Anbieter weiterzugeben. Dieser Ansatz unterstützt Datenschutz, die Einhaltung gesetzlicher Bestimmungen und Kosteneffizienz und ermöglicht gleichzeitig den Einsatz von KI-Modellen, die auf interne Anforderungen zugeschnitten sind. QVAC Fabric LLM verlagert die Feinabstimmung von zentralisierten GPU-Clustern auf das breitere Ökosystem der bereits von Unternehmen verwalteten Geräte und macht so fortschrittliche KI zugänglicher und sicherer.

Tether Data veröffentlicht QVAC Fabric LLM als Open-Source-Software und ermöglicht so die dezentrale Anpassung von KI.

Tether Data hat QVAC Fabric LLM als Open-Source-Software unter der Apache-2.0-Lizenz veröffentlicht. Dazu gehören plattformübergreifende Binärdateien und sofort einsatzbereite Adapter auf Hugging Face. Das Framework ermöglicht es Entwicklern, Modelle mit nur wenigen Befehlen feinabzustimmen und senkt so die Hürden für die KI-Anpassung, die zuvor schwer zu überwinden waren.

QVAC Fabric LLM stellt einen praktischen Schritt hin zu dezentraler, nutzergesteuerter KI dar. Während ein Großteil der Branche weiterhin Cloud-basierten Lösungen Priorität einräumt, Tether Der Fokus der Daten liegt auf der Ermöglichung fortschrittlicher Personalisierung direkt auf lokaler Edge-Hardware. Dieser Ansatz unterstützt die Betriebskontinuität in Regionen mit Netzwerken hoher Latenz, wie beispielsweise Schwellenländern, und bietet gleichzeitig eine datenschutzorientierte, robuste und skalierbare KI-Plattform, die unabhängig von zentralisierter Infrastruktur funktionieren kann.