Aus fünf Stichworten soll eine kurze Gesprächsnotiz werden. Muss dafür bei jeder Anfrage das größte verfügbare Sprachmodell arbeiten? Häufig lohnt es sich, zuerst die Aufgabe sauber zu begrenzen und ein kleineres Modell zu testen.
Das gewünschte Ergebnis passt auf wenige Zeilen.
Ein fiktiver Anruf wird mit folgenden Stichworten erfasst: „Kundin fragt nach Liefertermin, Angebot liegt vor, interne Klärung offen, Rückmeldung morgen.“ Die Mitteilung soll den Inhalt verständlich zusammenfassen. Sie darf weder einen Liefertermin erfinden noch eine Bestellung oder Preiszusage daraus machen.
Für diese Aufgabe sind Vollständigkeit, korrekte Zuordnung und der Umgang mit Lücken entscheidend. Eine besonders ausführliche Argumentation oder ein großes Kontextfenster kann hier zusätzlichen Aufwand verursachen, ohne die Notiz nützlicher zu machen.
Erst die Abnahme, dann die Modellwahl.
Ein Testbestand enthält nicht nur gut geschriebene Beispiele. Abkürzungen, Tippfehler, widersprüchliche Zeitangaben und fehlende Ansprechpartner gehören dazu. Für jedes Beispiel steht fest, was übernommen werden darf und wo eine Rückfrage erforderlich ist.
Ein kleineres Modell ist geeignet, wenn es diese Anforderungen zuverlässig erfüllt. Falls nicht, wird nach der Ursache gesucht: unklare Eingabe, ungeeignete Aufbereitung, fehlende Validierung oder tatsächlich zu geringe Modellfähigkeit. Ein größeres Modell kann helfen, ist aber nicht für jeden Fehler die wirtschaftlichste Antwort.
Ein kontrollierter Router kann Aufgaben unterschiedlich behandeln.
Eine kurze Gesprächsnotiz kann einen anderen Verarbeitungsweg nehmen als eine komplexe Vertragsanalyse oder Codeprüfung. Die Auswahl berücksichtigt Schutzbedarf, freigegebene Anbieter, Qualität und Antwortzeit. Bei unzureichendem Ergebnis folgt eine Rückfrage oder eine definierte Eskalation.
Ein Ersatzmodell darf dabei keine neue unzulässige Datenweitergabe auslösen. Fachliche Prüfung und Budgetgrenzen bleiben auch dann erhalten, wenn die zuerst gewählte API gerade nicht erreichbar ist.
Der Tokenpreis ist nur eine Zeile der Rechnung.
Ein günstiger Aufruf kann teuer werden, wenn Mitarbeiter häufig nacharbeiten müssen. Umgekehrt kann ein teureres Modell insgesamt sinnvoll sein, wenn es einen anspruchsvollen Vorgang mit deutlich weniger Korrektur abschließt. Verglichen wird dieselbe Aufgabe mit denselben Qualitätsanforderungen.
- Nutzung
- Eingabe- und Ausgabeverbrauch, zusätzliche Werkzeugaufrufe und notwendige Wiederholungen.
- Qualität
- Anteil wirklich brauchbarer Ergebnisse und Folgen sachlich kritischer Fehler.
- Nacharbeit
- Zeit für Prüfung, Korrektur, Rückfragen und erneute Bearbeitung.
- Betrieb
- Integration, Überwachung, Updates, Limits und Ausfallbehandlung.
Auch die Eingaben lassen sich verbessern.
Für die Notiz werden die benötigten Stichworte übergeben, nicht vorsorglich die gesamte Kundenhistorie. Ein klares Ausgabeformat erleichtert die Prüfung. Wo der Dienst es unterstützt, können wiederkehrende Eingabeteile vom Prompt-Caching profitieren. Ob ein Treffer entsteht und welche Wirkung er hat, muss gemessen werden.
Asynchrone Batch-Verarbeitung ist eine weitere Möglichkeit für Aufgaben ohne unmittelbare Antwortanforderung. Sie passt etwa eher zu einem vorbereiteten Dokumentenbestand als zu einer Notiz, die noch während des Gesprächs benötigt wird.
Eine vorhandene Flatrate macht Wartezeit nicht kostenlos.
Bereits bezahlte Kontingente können die Entscheidung beeinflussen. Unnötige Eingaben, menschliche Nacharbeit und belegte Kapazität bleiben dennoch relevant. Eine wirtschaftliche Architektur misst Kosten pro erfolgreich erledigtem Vorgang und prüft sie nach Modell- oder Produktänderungen erneut.
Die Fachseite KI-Kostenoptimierung erklärt Modellrouting, Gateways und lokale Infrastruktur. Für die Einordnung kompletter Abläufe ergänzt Skript, Workflow oder KI-Agent? die Entscheidung.
Quellen: OpenAI: Kostenoptimierung · OpenAI: Prompt-Caching · OpenAI: Batch-Verarbeitung. Keine pauschalen Einsparungs- oder Preisversprechen.