Foto: Google Gemini · AI-generated
Neu im Thema? Hier anfangen
Begriffe in diesem Beitrag
- Entscheidungsmodell
- Ein Modell, das keinen Text schreibt. Es bekommt eine Situation und eine feste Liste möglicher Antworten und gibt jeder Antwort eine Wahrscheinlichkeit.
- Klassifikation
- Einen Vorgang einer von wenigen bekannten Kategorien zuordnen, etwa: Welches Team ist für dieses Ticket zuständig?
- Konfidenzwert
- Die Wahrscheinlichkeit, die ein Modell seiner eigenen Antwort gibt. Ein Wert von 0,9 heißt: Das Modell erwartet, in etwa neun von zehn Fällen richtig zu liegen.
- Kalibrierung
- Ob man diesen Werten trauen kann. Ein gut kalibriertes Modell, das 90 % sagt, liegt tatsächlich in etwa 90 % der Fälle richtig.
- Schwelle
- Der Konfidenzwert, den Sie festlegen. Darüber handelt die Software selbst, darunter entscheidet ein Mensch.
Vorab lesen
- Schwellenwerte und die Wahrheitsmatrix ↗Ein kurzes Kapitel aus Googles kostenlosem Kurs zu maschinellem Lernen. Die klarste Erklärung, die wir kennen, warum eine Schwelle eine eigene Entscheidung ist und keine Einstellung des Anbieters.
- Agentisches Programmieren in Produktion: Wo wir die KI fahren lassen und wo sie anhältWie wir Prüfpunkte in einen KI-gestützten Ablauf einbauen. Dieser Beitrag baut darauf auf.
Ein Support-Ticket geht ein, und jemand entscheidet, ob es zur Buchhaltung, ins Lager oder in die IT gehört. Ein Lieferschein kommt an, und jemand prüft, ob er zur Bestellung passt. Ein Formular wird abgeschickt, und jemand entscheidet, ob es vollständig genug ist, um es zu bearbeiten.
Nichts davon braucht ein Modell, das Texte schreibt. Jeder dieser Fälle braucht eine Antwort aus einer kurzen, festen Liste. Wenn ein Mittelständler uns sagt, er möchte „KI im Prozess“, meint er sehr oft genau das. Und das ist eine andere Aufgabe als der Chat-Assistent, an den alle zuerst denken.
Am 9. Oktober hat Microsoft ein Modell für diese Aufgabe veröffentlicht. Microsoft-Decision-1 bekommt eine Situation und eine feste Auswahl an Optionen und liefert für jede Option eine Wahrscheinlichkeit, in einem einzigen Aufruf. Es ist eine nachtrainierte Fassung des offenen Modells Qwen3.5-9B, kostet 0,042 US-Dollar pro Million Eingabe-Tokens, die Ausgabe ist kostenlos, und nach Microsofts eigener Messung antwortet es im Median etwa 35-mal schneller als das große Vergleichsmodell.
Die Zahl, auf die es ankommt
Geschwindigkeit und Preis stehen in der Ankündigung vorne. Für uns ist ein Satz weiter unten wichtiger: Eine Vorhersage mit 90 % soll in etwa neun von zehn Fällen stimmen.
Wenn das zutrifft, ändert sich, wie man einen KI-Schritt baut. Die Frage ist dann nicht mehr pauschal, ob man dem Modell trauen kann. Man legt eine Schwelle fest. Darüber handelt das System selbst. Darunter entscheidet ein Mensch. „Human in the Loop“ wird damit vom Schlagwort zu einer Einstellung mit einer Zahl, und jemand im Unternehmen muss diese Zahl wählen und begründen können.
Ob die Zahl für Ihre Daten stimmt, lässt sich an einem Nachmittag herausfinden, nicht in einem Projekt. Nehmen Sie ein paar hundert alte Fälle, bei denen die richtige Antwort bekannt ist, lassen Sie das Modell darüber laufen und sortieren Sie die Ergebnisse nach Konfidenz. Stimmen die Fälle um 90 % nur in drei von vier Fällen, dann gilt die Kalibrierung des Anbieters für Ihre Arbeit nicht, und Ihre Schwelle muss sich verschieben. Microsoft misst außerdem, wie oft das Modell seine Antwort ändert, wenn dieselbe Anfrage umformuliert oder die Optionen gemischt werden: im Schnitt in 1,3 % der Fälle. Diesen Test können Sie genauso leicht an Ihren eigenen Fällen wiederholen, und ohne ihn würden wir keine Schwelle festlegen.
Bevor Sie überhaupt zu einem Modell greifen
An dieser Stelle sehen wir die Begeisterung um den Start etwas anders. Viele dieser Entscheidungen brauchen gar kein Modell.
Diese Website und unsere LinkedIn-Beiträge entstehen mit einem KI-Agenten, wie wir schon beschrieben haben. Die Prüfungen, die einen Beitrag vor der Veröffentlichung aufhalten, sind aber keine KI. Es ist ein Skript mit einer Liste von Regeln: Ist der Alternativtext da, ist der Einstieg kurz genug, steht eine Formulierung im Text, die wir ausgeschlossen haben. Es sagt bestanden oder nicht bestanden, kostet nichts, verändert sich nicht, und jeder kann genau nachlesen, warum es Nein gesagt hat. Seit diesem Monat wartet zudem jeder Beitrag auf die Freigabe durch einen Menschen. Das ersetzt kein Modell.
Ein Modell lohnt sich dort, wo die Eingabe unordentlich ist: Freitext, hundert Arten, dieselbe Beschwerde zu formulieren, ein eingescanntes Dokument, das nie gleich aussieht. „Ist die Rechnungsnummer ausgefüllt?“ ist eine Regel. „Welches Team sollte diese E-Mail lesen?“ ist ein Modell. Die meisten echten Abläufe sind eine Mischung, und die sinnvolle Reihenfolge ist: erst die Regel, dann das Modell für das, was die Regeln nicht entscheiden können, dann der Mensch für das, bei dem sich das Modell nicht sicher ist.
Wo der Aufruf läuft, und wessen Zahlen das sind
Das Modell gibt es über Microsoft Foundry und über OpenRouter. Für einen Kunden, dessen Daten in der EU bleiben müssen, sind das zwei verschiedene Fragen: In welcher Region läuft die Foundry-Bereitstellung, und welcher Anbieter beantwortet die Anfrage tatsächlich, wenn sie über OpenRouter kommt? Ausführlich haben wir das in unserem Beitrag dazu beschrieben, wo Ihre Daten liegen.
Die Benchmarks stammen von Microsoft selbst: 36 Tests, die Vergleichsmodelle von Microsoft ausgewählt, und ein Hinweis der Redaktion, dass der Beitrag nach der Veröffentlichung um weitere Ergebnisse ergänzt wurde. Das macht die Zahlen nicht falsch. Es macht sie zu einem Ausgangspunkt, und deshalb zählt der Nachmittag mit Ihren eigenen Fällen mehr als die Grafik zum Start.
Wir haben ein Entscheidungsmodell noch nicht in einem Kundenprojekt eingesetzt. Wenn wir es tun, beginnen wir genau mit diesem Test und schreiben auf, welche Schwelle gilt und wer sie festgelegt hat. Wenn Ihr Team den Tag damit verbringt, für jeden Eingang zwischen drei Optionen zu wählen, würden wir gern davon hören: sprechen Sie mit uns.
Weiterlesen
- Probability calibration ↗ (Englisch)Der technische Hintergrund zum Test an einem Nachmittag, inklusive der Kalibrierungskurve aus Ihren eigenen Fällen.
- DSGVO ist Pflicht. Wo Ihre Daten liegen, ist die neue Frage.Warum Region und Anbieter hinter einem KI-Aufruf für Kunden in der EU zählen.
Quellen
- Microsoft-Decision-1 documentation, Microsoft Learn (Englisch)Wie das Modell aufgerufen wird und was es zurückgibt.
- Microsoft-Decision-1 im Foundry-Modellkatalog, Microsoft (Englisch)
- Microsoft puts a 9B decision model in Foundry for agent workflows, RuntimeWire (Englisch)Unabhängige Berichterstattung zum Start, mit Basismodell und Preis.
