NVIDIA Run:ai wird Open Source, samt GPU-Sharing

NVIDIA hat seine komplette Run:ai-Plattform am 13. Oktober 2026 als Open Source veröffentlicht. Run:ai ist Software, die entscheidet, welche KI-Jobs auf welchen GPUs in einem Cluster laufen. Bisher war der größte Teil davon ein kostenpflichtiges Produkt. Jedes Team, das NVIDIA-GPUs auf Kubernetes betreibt, kann sie jetzt ohne Abonnement installieren.

Das ist wichtig, weil GPUs teuer sind und oft ungenutzt bleiben. Die Hauptaufgabe von Run:ai ist es, mehr Arbeit auf dieselben Chips zu packen.

Was NVIDIA veröffentlicht hat

Laut NVIDIAs Ankündigung ist die gesamte Plattform jetzt als Teil der DSX AI Factory Platform Open Source. NVIDIA hat Run:ai Ende 2024 gekauft, wie Techstrong.ai anmerkt.

Die Plattform läuft auf Kubernetes, dem weit verbreiteten System, mit dem Software über viele Server hinweg betrieben wird. NVIDIA hat sie in vier Teile aufgeteilt, die Teams getrennt einführen können: KAI Scheduler, den GPU Fractioning Operator, KAI Resource Management und Workload Map.

Punkt	Detail
Veröffentlicht	13. Oktober 2026
Module	KAI Scheduler, GPU Fractioning Operator, KAI Resource Management, Workload Map
Bezugsquelle	NGC Community Product, installiert per Helm chart
Preis	Kein kostenpflichtiges Abonnement nötig
Support	Enterprise-Support von NVIDIA nicht enthalten
Lizenz von KAI Scheduler	Apache 2.0, ein CNCF-Sandbox-Projekt
Launch-Partner	8

NGC ist NVIDIAs Softwarekatalog. Ein Helm chart ist ein fertiges Installationspaket für Kubernetes.

KAI Scheduler selbst ist als Open Source nicht neu. Er steht seit April 2025 unter der Lizenz Apache 2.0 bereit und wurde der CNCF, der Stiftung hinter Kubernetes, als Sandbox-Projekt in einem frühen Stadium übergeben. Der Code für den Rest liegt in NVIDIAs Organisation DSX AI Factory auf GitHub. Laut NVIDIAs Beitrag erscheint er unter „geltenden Open-Source-Lizenzen“, ohne dass eine Lizenz für die gesamte Plattform genannt wird.

Wie GPU-Sharing funktioniert

Die wichtigste Funktion ist das Fractioning, also das Aufteilen einer GPU auf mehrere Jobs. Ein kleines Modell, das einen Chatbot bedient, braucht selten eine ganze Rechenzentrums-GPU. Ohne Sharing bekommt es trotzdem eine, und der Rest bleibt ungenutzt.

Techstrong.ai berichtet, dass das Fractioning jetzt von NVIDIAs proprietärer Version in die native Unterstützung von CUDA 13.4 wandert, NVIDIAs Toolkit für die GPU-Programmierung. Der Open-Source-Operator legt die Kubernetes-Schicht darüber.

Nebius, ein Cloud-Anbieter und Launch-Partner, hat Testergebnisse veröffentlicht. Dabei kam die kommerzielle Run:ai-Version 2.24 zum Einsatz, nicht die neue offene Version:

• Mit einer halben GPU behielten die Workloads 77 % des Durchsatzes einer ganzen GPU.
• Mit einer halben GPU bedienten sie 86 % der Nutzer, die eine ganze GPU bedienen konnte: 8.768 gegenüber 10.200.
• Chat-, Reasoning- und Embedding-Modelle gemeinsam auf geteilten GPUs bedienten etwa dreimal so viele Nutzer, wie wenn jedes Modell eine eigene GPU bekam.

„Wenn eine halbe GPU 77 % des Durchsatzes liefert, lässt eine Alles-oder-nichts-Zuteilung Kapazität ungenutzt“, schreibt Nebius.

Wer dahintersteht

Acht Partner integrieren die Plattform zum Start, sagt NVIDIA: Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud und vCluster. Nebius bietet sie in seinem verwalteten Kubernetes-Dienst an.

NVIDIA nennt außerdem Ergebnisse für Model Streamer, ein verwandtes Tool, das Modelldateien schneller auf GPUs lädt. Microsoft Azure meldet ein drei- bis sechsmal schnelleres Laden, mit konstant 80 Gbit/s gegenüber etwa 40 Gbit/s auf dem Standardweg.

Der Haken: Es läuft weiter auf CUDA

Techstrong.ai weist auf die Grenze hin. GPU-Sharing hängt von CUDA ab und funktioniert daher nur auf NVIDIA-Hardware. Run:ai hatte einst angekündigt, Chips von AMD und Intel zu unterstützen, und diese Veröffentlichung geht darauf nicht ein.

„Open Source heißt nicht hardwareneutral, und Käufer sollten diese Veröffentlichung genau an diesem Punkt beurteilen“, sagte Mitch Ashley von The Futurum Group. „Die echte Prüfung kommt, wenn ein zweiter Anbieter von Beschleunigern ins Rechenzentrum einzieht.“

Was das für Entwickler bedeutet

Für Plattformteams, die GPUs auf Kubernetes betreiben:

• Mit einem Modul anfangen. KAI Scheduler ist der ausgereifteste Teil und seit über einem Jahr Open Source. Testen Sie ihn auf einem Testcluster, bevor Sie GPU-Sharing hinzufügen.
• Sharing mit eigenen Modellen messen. Die 77 % stammen aus den Tests von Nebius mit der kommerziellen Version. Inferenz-Jobs mit gleichmäßigem, geringem Traffic eignen sich am besten. Große Trainingsjobs brauchen meist weiterhin ganze GPUs.
• Support selbst einplanen. Die kostenlose Version kommt ohne NVIDIAs Enterprise-Support. Planen Sie Engineering-Zeit für den Betrieb ein oder nutzen Sie einen der acht Partner.
• Lizenzen pro Repository prüfen. NVIDIA nennt Apache 2.0 für KAI Scheduler, aber keine einheitliche Lizenz für die gesamte Plattform. Lassen Sie jede Komponente, die Sie einsetzen, von der Rechtsabteilung prüfen.
• Den Lock-in einrechnen. Natives Fractioning braucht CUDA 13.4. Wenn Sie AMD oder andere Beschleuniger hinzufügen wollen, behalten Sie Scheduling-Optionen, die nicht davon abhängen.