Lokale KI-Modelle sind eine Antwort auf die Frage, wohin Ihr Code geht. Nicht die einzige.

Am 7. Oktober haben Microsoft und GitHub angekündigt: GitHub Copilot führt künftig einen Teil der Arbeit direkt auf dem Laptop des Entwicklers aus. Nicht alles. Einen Teil.

Das ist ein echter Schritt. Man kann aber leicht mehr hineinlesen, als dasteht. Microsofts eigener Artikel ist sorgfältig formuliert, und sein nützlichster Satz ist kurz: Lokale Inferenz macht die Sitzung nicht offline.

Was angekündigt wurde

Die Ankündigung hat drei Teile.

Erstens entscheidet Copilot für jede Aufgabe, ob ein Modell auf dem Laptop oder eines in der Cloud sie übernimmt. Microsoft nennt das Auto. Es kommt bis Ende Oktober, und zwar für Windows-PCs mit NVIDIAs RTX-Spark-Chip, etwa den Surface Laptop Ultra. Das lokale Modell ist Microsofts eigenes MAI Code 1.1 Flash, komprimiert auf 53 GB, mit einem Spitzenverbrauch von 75,5 GB bei maximalem Kontext. Das Gerät hat bis zu 128 GB gemeinsamen Speicher.

Zweitens können Entwickler selbst ein lokales Modell wählen, statt Copilot entscheiden zu lassen. Entweder Microsofts Modell oder jeden lokalen Server mit der verbreiteten OpenAI-kompatiblen Schnittstelle.

Drittens kann Copilot die Befehle, die ein Agent startet, in einer Sandbox ausführen. Die Sandbox begrenzt, welche Dateien, Netzwerke und Zugangsdaten diese Befehle erreichen.

Keine reine Windows-Geschichte

In der Überschrift steht Windows. Das meiste funktioniert aber auch anderswo.

Die Sandbox nutzt die Bordmittel des jeweiligen Betriebssystems: native Container unter Windows, Seatbelt unter macOS, bubblewrap unter Linux. Eine virtuelle Maschine ist auf keinem der drei nötig. Der Weg über ein lokales Modell funktioniert überall, wo ein lokaler Server läuft. Auf einem Mac oder unter Linux heißt das meist Ollama oder LM Studio. Er gilt für die Copilot-Kommandozeile, die Copilot-App und VS Code.

Nur unter Windows gibt es vorerst Microsofts eigenes Modell und die automatische Wahl zwischen lokal und Cloud. Ein Team mit Macs hat also schon heute das meiste davon. Es wählt sein lokales Modell selbst und entscheidet selbst, welche Arbeit auf dem Gerät bleibt.

Lokal heißt nicht offline

Mit Auto entscheidet Copilot, wo jeder Schritt einer Aufgabe läuft. Manche Schritte laufen auf dem Laptop. Andere gehen in die Cloud. Genau darum geht es bei der Funktion: Das Cloud-Modell ist größer, und manche Arbeit braucht es.

Für viele Teams ist das in Ordnung. Für einen Kunden, dessen Code die EU nicht verlassen darf, ist „ein Teil bleibt lokal“ keine Antwort. Die Antwort ist dort die feste Auswahl: ein benanntes lokales Modell für die ganze Sitzung und eine Möglichkeit zu prüfen, dass es dabei blieb. Fragen Sie jeden Anbieter, welchen Modus er nutzt und wer entscheidet.

Die Sandbox ist die größere Neuigkeit

Wenn das Modell auf den Laptop wandert, ändert sich, wo gerechnet wird. Es ändert sich nicht, was der Agent tun darf. Microsoft sagt das deutlich: Die Shell-Befehle eines Agenten erben normalerweise die Rechte des Kontos, unter dem sie laufen, und lokale Inferenz ändert daran nichts.

Die Sandbox ändert daran etwas. Sie wendet eine Richtlinie auf die Befehle und lokalen Tool-Server an, die ein Agent startet, egal welches Modell sie angefordert hat. Das schützt Sie mit einem lokalen Modell genauso wie mit einem Cloud-Modell. Deshalb halten wir sie für wichtiger als das Modell.

Microsoft benennt auch die Grenzen. Copilots eigene Dateiwerkzeuge werden innerhalb von Copilot gegen die Richtlinie geprüft, nicht vom Betriebssystem erzwungen. Entfernte Tool-Server liegen außerhalb der lokalen Sandbox. Sehen Sie sie als Sicherheitsgurt, nicht als Tresor.

Benchmarks lesen wie bei jedem Anbieter

Der Artikel enthält Benchmark-Werte. Microsoft hat sie am 5. Oktober gemessen und am 7. Oktober veröffentlicht. In einem Test mit 89 Aufgaben schneidet das komprimierte lokale Modell besser ab als das volle Cloud-Modell. Das Vergleichsmodell ist eine von der Community komprimierte Fassung des offenen Modells eines anderen Anbieters.

Das macht die Zahlen nicht falsch. Es macht sie zur ersten eigenen Messung eines Anbieters. Bevor Sie einen Arbeitsablauf auf ein lokales Modell bauen, testen Sie es mit Ihren eigenen Repositories und Ihren eigenen Aufgaben.

Wo wir stehen

Wir haben diese Frage für uns schon früher beantwortet. Unsere KI-gestützten Entwicklungswerkzeuge laufen auf Infrastruktur in Deutschland. Der Code unserer Kunden bleibt also in der EU, wenn ein Entwickler ein Modell um Hilfe bittet. Warum, steht in unserem Beitrag dazu, wo Ihre Daten liegen.

Ein lokales Modell ist eine weitere gültige Antwort. Das Netzwerk fällt aus der Rechnung. Dafür braucht jeder Entwickler einen Laptop mit sehr viel Speicher, und Sie sind auf die Modelle beschränkt, die darauf passen. Hosting in der Region lässt die Modellwahl offen und braucht keine neue Hardware. Beides ist besser als eine Voreinstellung, die niemand geprüft hat.

Was wir zuerst tun würden

Wenn Sie das für Ihr eigenes Team entscheiden, beginnen Sie mit einer Frage und einem Test. Die Frage: Welche Ihrer Projekte dürfen niemals Code an ein Cloud-Modell schicken, und lässt sich genau für diese Projekte erzwingen, dass es nicht passiert? Der Test: Schalten Sie die Sandbox für eine Woche in einem echten Repository ein und schauen Sie, was dabei kaputtgeht. Beides dauert kürzer als das Lesen der Benchmarks und sagt Ihnen mehr. Wenn Sie die Antworten für Ihre eigene Umgebung durchgehen möchten, sprechen Sie mit uns.