MLOps vs. LLMOps: Was sich ändert, wenn das Modell ein LLM ist

MLOps ist die Ingenieursdisziplin für die zuverlässige Entwicklung, Bereitstellung, Versionierung und den Betrieb von Machine-Learning-Systemen; LLMOps erweitert diese Disziplin auf Anwendungen, die auf großen Sprachmodellen basieren, bei denen das Produktionsverhalten nicht nur von einem Modellartefakt abhängt, sondern auch von Prompts, Kontext, Retrieval, Anbieter-/Modellversionen, Tool-Aufrufen, Sicherheitskontrollen und Evaluierungspipelines. LLMOps ersetzt MLOps nicht. Es verändert die operative Einheit von „einem Modell plus Serving-Pipeline“ hin zu „einer sich entwickelnden LLM-Anwendung, deren Verhalten aus mehreren unabhängig voneinander veränderlichen Komponenten entsteht“.
Was MLOps wirklich bedeutet
MLOps wendet Software-Engineering- und Betriebsdisziplin auf Machine-Learning-Systeme an. Die Produktionsherausforderung ist breiter als das Trainieren eines Modells: Datenerfassung, Datenvalidierung, Experimentieren, Reproduzierbarkeit, Modellbewertung, Bereitstellung, Infrastruktur und Monitoring müssen alle zusammenwirken.
Googles MLOps-Architekturleitfaden rahmt die Disziplin um kontinuierliche Integration, kontinuierliche Bereitstellung und kontinuierliches Training. CI validiert nicht nur Code, sondern auch Daten, Schemata und Modelle; CD stellt ML-Pipelines und Vorhersagedienste bereit; CT kann Modelle neu trainieren und erneut bereitstellen, wenn sich Daten oder Implementierungen ändern.
AWS-Leitfaden ergänzt dieselben operativen Belange aus einem anderen Blickwinkel: Modellherkunft, Modell-/Versionsnachverfolgbarkeit, Drift-Monitoring und Produktionsqualitätsüberwachung sind Kernbestandteile, um ML-Systeme nach der Bereitstellung zuverlässig zu halten.
Was sich ändert, wenn das Modell ein LLM ist
Große Sprachmodelle verändern das Produktionsproblem, weil die Anwendung oft nicht den vollständigen Modelltrainingslebenszyklus besitzt. Ein Team kann eine gehostete Modell-API aufrufen, ein offenes Modell lokal ausführen, zwischen Anbietern wechseln oder mehrere Modelle für verschiedene Aufgaben verwenden.
Das Modell ist daher nur eine versionierte Abhängigkeit innerhalb eines größeren Verhaltenssystems. Prompts, Retrieval-Ergebnisse, Kontextreihenfolge, Tools, Modell-Snapshot, Temperatur-/Reasoning-Einstellungen, Sicherheitsfilter und Laufzeitorchestrierung können alle die Ausgabe verändern.
Dies schafft eine breitere operative Frage: Welche Kombination aus Modell, Kontext, Daten, Prompt, Tools und Laufzeit hat dieses Verhalten erzeugt? LLMOps existiert, um diese Frage beantwortbar und die Antwort reproduzierbar genug für Ingenieursarbeit zu machen.
Das einfachste Beispiel
Angenommen, eine Anwendung beantwortet interne Richtlinienfragen.
In einer klassischen ML-Rahmung könnten Sie einen trainierten Klassifikator versionieren, ihn bereitstellen und die Vorhersagequalität überwachen. In einer LLM-Anwendung könnte die Antwort von einem gehosteten Modell-Snapshot, einem System-Prompt, einem Embedding-Modell, einem Vektorindex, Retrieval-Filtern, einem Reranker und dem schließlich ausgewählten Kontext abhängen.
Das Ändern einer dieser Komponenten kann die endgültige Antwort verändern, selbst wenn der Anwendungsendpunkt und die Benutzerfrage identisch bleiben.
Ein typischer LLMOps-Release-Pfad
Wo das einfache Beispiel endet
Einige LLM-Systeme trainieren oder fine-tunen noch ihre eigenen Modelle, sodass traditionelle MLOps-Praktiken wie Trainingspipelines, Modell-Registry und Datenherkunft weiterhin direkt relevant bleiben.
Andere Systeme verwenden nur externe Foundation-Model-APIs und führen nie kontinuierliches Training durch. Ihre Hauptbetriebsaufgabe ist Anwendungsbewertung, Modell-/Anbieter-Änderungsmanagement, Prompt-/Kontext-Versionierung, Retrieval-Qualität und Observability.
Es gibt daher keine einzige universelle „LLMOps-Pipeline“. Der genaue Lebenszyklus hängt davon ab, ob Sie trainieren, fine-tunen, selbst hosten, externes Wissen abrufen, Agents ausführen oder von verwalteten Modell-APIs abhängen.
MLOps vs. LLMOps
Was gleich bleibt und was sich erweitert
| MLOps | LLMOps | |
|---|---|---|
| Primäre operative Einheit | ||
| Modell-Eigentümerschaft | ||
| Typische Änderung | ||
| Bewertung | ||
| Produktionsüberwachung | ||
| Kontinuierliches Training | ||
| Versionierte Artefakte | ||
| Rollback-Ziel |
LLMOps erweitert MLOps, statt es zu ersetzen
Die Kernbetriebsprinzipien verschwinden nicht: Quellcodeverwaltung, CI/CD, Reproduzierbarkeit, Herkunft, Deployment-Kontrollen, Monitoring, Rollback und messbare Akzeptanzkriterien bleiben unerlässlich.
Die Erweiterung besteht darin, dass sich mehr verhaltensbestimmende Artefakte nun außerhalb der Modellgewichte befinden. Ein verwaltetes Foundation-Modell kann sein Verhalten durch Snapshot-Upgrades ändern, während sich die Anwendungsausgabe durch Prompt- oder Retrieval-Änderungen ohne jegliches Modell-Retraining ändern kann.
Deshalb ist die nützliche Hierarchie normalerweise DevOps → MLOps → LLMOps/GenAIOps als zunehmend spezialisierte operative Anliegen, nicht drei sich gegenseitig ausschließende Praktiken.
Was muss in LLMOps versioniert werden?
| Artefakt | Warum es wichtig ist |
|---|---|
| Anwendungscode | Definiert Orchestrierung, Validierung, Wiederholungen und Geschäftsverhalten |
| Modellfamilie + Snapshot/Version | Unterschiedliche Snapshots können unterschiedliches Verhalten erzeugen |
| Anbieter / Endpunkt | Ändert Datenfluss, Latenz, Limits, Preisgestaltung und Verfügbarkeit |
| Prompt-/Instruktionscode | Ändert das Modellverhalten auch bei gleichem Modell |
| Generierungs-/Reasoning-Parameter | Können Determinismus, Latenz, Tiefe und Kosten verändern |
| Eval-Datensatz | Definiert, wogegen „gut genug“ getestet wird |
| Scorer / Bewerter | Definieren, wie Qualität gemessen wird |
| Embedding-Modell | Ändert Vektorrepräsentation und Retrieval-Verhalten |
| Chunking-/Index-Konfiguration | Ändert, was abgerufen werden kann |
| Reranker / Retrieval-Fusion | Ändert die Ergebnisreihenfolge |
| Tool-Schemata | Ändern, was das Modell anfordern kann und wie |
| Berechtigungsprofil | Ändert, welche Tool-Aktionen tatsächlich ausgeführt werden dürfen |
| Kontext-Assemblierungsregeln | Ändern, welche Evidenz und welcher Zustand das Modell erreichen |
| Sicherheits-/Guardrail-Konfiguration | Ändert erlaubtes oder blockiertes Verhalten |
Modell-Snapshots werden zu Release-Abhängigkeiten
Bei gehosteten LLMs kontrolliert das Team möglicherweise nicht das Modelltraining, aber es kontrolliert weiterhin, welches Modell oder welchen Snapshot die Anwendung aufruft.
Die aktuelle API-Richtlinie von OpenAI warnt ausdrücklich, dass sich das Prompting-Verhalten zwischen Modell-Snapshots ändern kann, und empfiehlt, Produktionsanwendungen auf bestimmte Snapshots festzulegen, wo Konsistenz wichtig ist, und dann beim Upgrade Evals auszuführen.
Die operative Konsequenz ist eindeutig: Modell-Upgrades sollten als Anwendungs-Releases behandelt werden, nicht als unsichtbare Infrastrukturwartung.
Der Anbieter-Lebenszyklus wird Teil des Betriebs
LLM-Anwendungen hängen oft von Anbieter-Rate-Limits, Deprecation-Zeitplänen, API-Semantik, Kontextlimits, Datenverarbeitungsregeln und Preisen ab.
Ein Anbieter kann ein Modell als veraltet einstufen, während Ihr Anwendungscode unverändert bleibt. Der aktuelle Deprecation-Zeitplan von OpenAI enthält beispielsweise Auslaufdaten für 2026 für ältere Modell-Snapshots und Plattformoberflächen.
LLMOps benötigt daher zusätzlich zur Modellqualitätsüberwachung auch die Verfolgung des Anbieter-Lebenszyklus, Migrationstests und Fallback-Entscheidungen.
Prompts verhalten sich wie Produktionscode
Prompts sind ausführbare Verhaltenskonfiguration. Kleine Änderungen können die Ausgabequalität, die Werkzeugauswahl und die Richtlinieninterpretation verändern.
Die aktuelle Empfehlung von OpenAI rät dazu, Produktions-Prompts im Anwendungscode zu speichern, Prompt-Änderungen über Pull Requests zu überprüfen, typisierte Eingaben zu verwenden und Änderungen mit Tests und Evaluierungsprüfungen abzudecken.
Dadurch ähnelt die Prompt-Versionierung weniger dem Bearbeiten von Marketingtexten und mehr dem Ändern einer Funktion, deren Ausgabe probabilistisch und modellabhängig ist.
Context Engineering wird zu einem operativen Anliegen
Das Produktionsmodell erhält selten nur einen statischen Prompt. Es kann Gesprächsverlauf, abgerufene Dokumente, Werkzeugausgaben, Speicher, aktuellen Anwendungszustand und Richtlinienanweisungen erhalten.
LLMOps muss daher die Kontextzusammenstellung beobachten: welche Belege ausgewählt wurden, welche Zustandsversion aktuell war, ob eine Kürzung stattfand und ob wichtige Anweisungen die Komprimierung überlebt haben.
Eine Modellregression und eine Kontextregression können bei der endgültigen Antwort identisch aussehen. Das Nachverfolgen des tatsächlichen Kontextpfads ermöglicht es dem Team, sie zu unterscheiden.
RAG schafft einen eigenen operativen Lebenszyklus
Ein RAG-System führt eine zweite Produktionspipeline neben der Modellinferenz ein: Ingestion, Extraktion, Chunking, Metadaten, Embeddings, Indizes, Retrieval, Reranking und Kontextauswahl.
Der Wissenskorpus kann sich täglich ändern, selbst wenn Modell und Prompt unverändert bleiben. Ein veralteter Index oder ein defekter Metadatenfilter kann daher die Antwortqualität beeinträchtigen, ohne dass ein Modell-Drift vorliegt.
LLMOps für RAG sollte Korpus-/Indexversion, Embedding-Modell, Chunking-Richtlinie, Retrieval-Konfiguration, Quellenaktualität und Retrieval-Metriken getrennt von der Generierungsqualität verfolgen.
Evals ersetzen „sieht gut aus für mich“ durch Release-Beweise
Generative Ausgaben sind oft offen, sodass Exact-Match-Tests für viele Aufgaben unzureichend sind. LLMOps fügt Evaluierungsdatensätze und Scorer hinzu, die Aufgabenerfolg, Korrektheit, Sicherheit, Fundiertheit, Stil oder domänenspezifische Akzeptanzkriterien messen können.
Der aktuelle GenAI-Evaluierungsstack von MLflow unterstützt versionierte Evaluierungsdatensätze, Prompt-/Modellvergleiche, benutzerdefinierte Scorer und die Evaluierung über vollständige Traces.
Die stärkste Praxis ist evaluierungsgetriebene Entwicklung: Definieren Sie repräsentative Fälle und Akzeptanzkriterien vor oder parallel zu Änderungen und vergleichen Sie dann Releases anhand derselben Evidenz.
LLM-as-a-judge ist nützlich, aber keine Ground Truth
LLM-Richter können die Evaluierung für Qualitäten skalieren, die teuer als deterministische Assertions zu kodieren sind, wie Relevanz, Tonalität oder Groundedness.
Der Richter ist jedoch ein weiteres Modell mit eigenem Bias, eigener Version und eigenem Prompt. Die Richter-Konfiguration sollte daher versioniert und gegen menschliche oder deterministische Referenzfälle kalibriert werden, wo Konsequenzen wichtig sind.
Eine Produktions-Evaluierung kann deterministische Checks, referenzbasierte Metriken, Modell-Richter und menschliche Überprüfung kombinieren, anstatt eine einzige Metrik alle Qualitätsdimensionen repräsentieren zu lassen.
Tracing wird wichtiger als Endpoint-Logs
Traditionelle API-Logs können Ihnen sagen, dass eine Anfrage zwei Sekunden gedauert hat und HTTP 200 zurückgegeben wurde. Sie können Ihnen nicht sagen, welche abgerufenen Chunks ausgewählt wurden, welches Tool der Agent aufgerufen hat oder welcher Modell-Span die meisten Tokens verbraucht hat.
Das aktuelle GenAI-Tracing von MLflow erfasst Prompts, Retrievals, Tool-Aufrufe und Anwendungs-Spans, und sein Produktions-Evaluierungsablauf kann Zwischeninformationen der Trajektorie bewerten, nicht nur den finalen Text.
Dies ist ein bedeutender LLMOps-Wandel: Observability folgt dem Verhaltensgraphen der Anwendung, nicht nur dem Serving-Endpoint.
Agenten erweitern LLMOps zu Runtime-Operationen
Eine agentische Anwendung kann mehrere Modellaufrufe, Tool-Aufrufe und Zustandsübergänge ausführen, bevor sie ein Ergebnis liefert.
Der Betrieb von Agenten erfordert daher Schrittanzahlen, Tool-Call-Traces, Berechtigungsverweigerungen, Wiederholungen, Schleifenerkennung, menschliche Genehmigungen und verifizierten Endzustand zusätzlich zu gewöhnlichen Modell-Latenz- und Token-Metriken.
Eine korrekte finale Antwort kann eine schlechte Trajektorie verbergen, daher muss die Agenten-Evaluierung sowohl den Pfad als auch das Ergebnis untersuchen.
Tokens, Modellaufrufe und Kontext werden zu Kostenvariablen
Die klassischen ML-Inferenzkosten werden oft von der Serving-Infrastruktur oder der Compute pro Vorhersage dominiert. LLM-Anwendungen können Anbieter-Token-Preise, wiederholte Agentenaufrufe, Embedding-Aufrufe, Reranking und Tool-/Runtime-Overhead hinzufügen.
Kosten müssen daher einer Aufgabe oder einem Trace zugeordnet werden, nicht nur einem Endpunkt. Ein Workflow, der acht versteckte Modellaufrufe macht, kann funktional korrekt, aber operativ inakzeptabel sein.
Latenz verhält sich genauso: Modelllatenz, Retrieval, Reranking und externe Tools setzen sich zu einer End-to-End-Benutzerlatenz zusammen.
Caching wird semantisch, nicht nur technisch
LLM-Systeme können Prompts, Embeddings, Retrieval-Ergebnisse oder vollständige Antworten cachen, aber der Cache-Schlüssel muss die Semantik widerspiegeln, die das Ergebnis verändern kann.
Ein Antwort-Cache, der Modellversion, Mandant, Berechtigungen oder Aktualität der Quelle ignoriert, kann eine technisch gültige, aber semantisch ungültige Antwort zurückgeben.
LLMOps behandelt Cache-Invalidierung daher als Teil der Modell-/Kontext-/Daten-Versionierung und nicht nur als Infrastruktur-Optimierung.
Sicherheit und Berechtigungen werden zu Release-Kriterien
Generative Systeme können unbegrenzten Text erzeugen und Agenten können externe Aktionen auslösen. Sicherheitstests stehen daher näher an gewöhnlicher CI/CD als in vielen klassischen prädiktiven ML-Systemen.
Berechtigungsprüfungen, Prompt-Injection-Tests, Mandantenisolationstests und Genehmigungen für Nebenwirkungen sollten reproduzierbare Regressionstests sein, wo diese Risiken bestehen.
Das Modell kann eine Operation vorschlagen, aber die Laufzeit muss weiterhin die Autorisierung durchsetzen. LLMOps verantwortet den Nachweis, dass diese Kontrollen nach Änderungen an Modell, Prompt oder Tools weiterhin funktionieren.
Wie CI in LLMOps aussieht
| CI-Ebene | Beispielprüfungen |
|---|---|
| Code | Unit-Tests, Typprüfungen, Schema-Validierung |
| Prompts | Template-Rendering, erforderliche Variablen, Richtlinientext, Snapshot-Review |
| Modelle/Anbieter | Kompatibilität, Ausgabeschema, Fähigkeits- und Regressionstests |
| RAG | Chunking-Fixtures, Filtertests, Recall@k, Reranker-Regression |
| Tools | Ein-/Ausgabeschema-Tests, Berechtigungstests, Idempotenz-Tests |
| Agenten | Trajektorien-Fixtures, Schleifenlimits, Handoff-/Tool-Auswahltests |
| Sicherheit | Prompt-Injection, nicht autorisierte Tools, mandantenübergreifende Negativtests |
| Verhaltensevaluierungen | Aufgabenerfolg, Korrektheit, Fundierung, Sicherheit, Domänenkriterien |
| Operativ | Latenz, Token-/Kostenbudgets, Timeout-/Fallback-Verhalten |
Wie CD in LLMOps aussieht
Ein Produktions-Release kann überhaupt kein neues Modellartefakt bereitstellen. Es kann einfach einen neuen Prompt, eine Retrieval-Konfiguration, ein Toolset oder eine Anbieterzuordnung ausliefern.
Das Release-Bundle sollte daher die vollständige verhaltensbestimmende Konfiguration identifizieren und nicht nur das Anwendungs-Container-Image.
Feature-Flags, gestaffelte Rollouts, Shadow-Evaluierung, Canary-Traffic und Rollback sind nützlich, weil LLM-Verhalten auf Arten regressieren kann, die statische Vertragstests nicht erkennen.
Kontinuierliches Training wird optional; kontinuierliche Evaluierung wird zentral
Traditionelles MLOps betont oft kontinuierliches Training, wenn neue Daten oder Drift ein Neutraining rechtfertigen.
Viele LLM-Anwendungen trainieren niemals das Foundation-Modell. Ihr äquivalenter kontinuierlicher Kreislauf ist die kontinuierliche Evaluierung: Fehler und repräsentative Produktionsfälle sammeln, sie den Evaluierungsdatensätzen hinzufügen, Kandidatenänderungen an Prompt/Modell/Retrieval testen und nur dann neu bereitstellen, wenn sich die Evidenz verbessert.
Fine-Tuning kann einen Trainingslebenszyklus wieder einführen, sollte aber in denselben übergeordneten Evaluierungs- und Release-Prozess eingebettet sein.
Was sollte in der Produktion überwacht werden?
| Signalklasse | Beispiele |
|---|---|
| Systemzustand | Fehler, Timeouts, Endpunktverfügbarkeit |
| Modell/Anbieter | Modell-ID, Snapshot, Ratenlimits, Anbieterfehler |
| Latenz | End-to-End-, Modell-, Retrieval-, Tool- und Reranker-Spans |
| Kosten | Eingabe-/Ausgabe-Token, Embeddings, Tool-/API-Ausgaben |
| Qualität | Stichprobenartiger Aufgabenerfolg, Korrektheit, Relevanz, Fundiertheit |
| RAG | Retrieval-Recall-Proxys, leeres Retrieval, veraltete Quellen, Zitatabdeckung |
| Agenten | Tool-Auswahl, Wiederholungen, Schleifen, Übergaben, Genehmigungshäufigkeit |
| Sicherheit | Verweigerte Aktionen, Prompt-Injection-Indikatoren, Mandantengrenzenverletzungen |
| Benutzerfeedback | Korrekturen, Abbruch, Eskalation, explizite Bewertungen |
| Änderungsdrift | Anbieter-/Modell-/Konfigurationsänderungen relativ zum genehmigten Release |
Produktions-Traces können zu Evaluierungsdaten werden
Eines der nützlichsten modernen LLMOps-Muster besteht darin, gesampelte Produktions-Traces in Evaluierungsdatensätze umzuwandeln.
MLflow unterstützt derzeit das Abrufen von Produktions-Traces und die Bewertung nicht nur von Ausgaben, sondern auch von Zwischen-Spans wie Retrieval- oder Tool-Aufruftrajektorien.
Dies schließt den Kreislauf zwischen Observability und Entwicklung: echte Fehler können zu Regressionsfällen im nächsten Release werden, anstatt in Logs zu verschwinden.
Reproduzierbarkeit wird bedingt statt exakt
Klassische ML-Reproduzierbarkeit zielt oft darauf ab, ein Modell aus versioniertem Code, Daten, Umgebung und Trainingsparametern nachzubilden.
Gehostete LLM-Anwendungen können nicht immer identische Ausgaben Token für Token reproduzieren, da die Generierung probabilistisch ist und Anbieter die Infrastruktur kontrollieren können.
LLMOps zielt daher auf verhaltensbasierte Reproduzierbarkeit ab: genügend Modell-/Anbieter-/Versions-, Prompt-, Kontext-Eingaben, Retrieval-Zustand und Laufzeitkonfiguration aufzeichnen, um die Bedingungen zu reproduzieren und das Verhalten innerhalb erwarteter Toleranzen zu validieren.
Lineage erweitert sich von Modell-Lineage zu Anwendungs-Lineage
Die MLOps-Richtlinien von AWS betrachten Modell-Lineage als die Historie von Code-, Daten-, Modell- und Infrastruktur-Artefakten, die für Diagnose und Reproduzierbarkeit benötigt werden.
Für LLM-Anwendungen sollte Lineage zusätzlich Prompts, Eval-Datensätze, Retrieval-/Index-Versionen, Tool-Schemas, Agent-/Laufzeitkonfiguration und Anbieter-/Modell-Snapshots verbinden.
Die Ziel Frage wird: Welche exakte Anwendungskonfiguration hat diesen Trace erzeugt?
Multi-Provider- und Modell-Routing erzeugen Betriebsrichtlinien
Sobald eine Anwendung mehrere Anbieter oder lokale Modelle nutzen kann, wird Routing zu einer Betriebsrichtlinie statt zu einem einfachen Modell-String.
Das Routing kann von Fähigkeit, Latenz, Kosten, Datenschutz, Kontextlänge, Verfügbarkeit, Tool-Unterstützung oder Lokalität abhängen. Ein Fallback kann die Verfügbarkeit aufrechterhalten, während sich die Antwortqualität oder die Annahmen zur Datenverarbeitung ändern.
LLMOps sollte daher protokollieren, welche Route tatsächlich ausgewählt wurde, und Routen unabhängig voneinander bewerten, anstatt jeden kompatiblen Endpunkt als verhaltensmäßig austauschbar zu behandeln.
Belege aus der ursprünglichen Implementierung
Aaasaasa AI Client: Anbieter, Modell und Laufzeitumgebung sind separate operative Objekte
Der Aaasaasa AI Client trennt Agent/Client, Anbieter, Modell, Laufzeitort und Berechtigungen. Sein AI Hub unterstützt Ollama, LM Studio/OpenAI-kompatible Endpunkte und andere Anbieterprotokolle, anstatt „das Modell“ als eine globale Einstellung zu behandeln.
Die Implementierung umfasst dynamische lokale Modellerkennung, Streaming, Thinking-Ausgabe und explizite Ollama-Steuerungen zum Warmladen/Laden und Entladen. Das ist ein operativer Beleg dafür, dass lokales LLM-Serving Ressourcen-Lebenszyklus-Probleme mit sich bringt, die über einen API-Modellnamen hinausgehen.
Der Anbieterstatus wird über Anbieteradapter abgefragt, und Verbindungstypen unterscheiden lokale, Cloud-API-, kontogestützte, Remote-Agent- und Web-Client-Pfade. Dies sind konkrete operative Dimensionen, die eine LLM-bewusste Plattform sichtbar machen muss.
Das Repository wahrt außerdem eine wichtige Grenze: Eine lokale Laufzeitumgebung ist nicht automatisch lokale Inferenz. Anbieter/Modell/Laufzeitort sind versionierte oder konfigurierbare Belange, die Datenschutz, Latenz, Kosten und Verfügbarkeit beeinflussen.
Source of Truth Research Engine: Der Zustand einer LLM-Anwendung reicht über das Modell hinaus
Die Source of Truth Research Engine kombiniert lexikalische Suche, optionale Embeddings, Quellen-Snapshots, SHA-256-Identität, Claims, Provenienz und Widerspruchsverfolgung rund um lokale modellgestützte Recherche.
Dies ist ein nützlicher LLMOps-Beleg, weil allein die Änderung des Modells das Recherchesystem nicht definiert. Retrieval, Quellenerfassung, Evidenzklassifizierung und persistente Provenienz sind unabhängige operative Artefakte.
Die Implementierung behandelt semantische Ähnlichkeit bewusst als Entdeckung und nicht als Evidenz, was zeigt, warum LLMOps-Observability Retrieval-Verhalten von der Gültigkeit von Claims unterscheiden sollte.
| Beobachtete Implementierung | LLMOps-Lektion |
|---|---|
| Mehrere Anbieterprotokolle | Anbieteridentität ist eine operative Abhängigkeit |
| Dynamische Modellerkennung | Verfügbare Modelle können sich unabhängig vom Anwendungscode ändern |
| Ollama-Steuerungen zum Laden/Entladen | Lokale Modelle haben einen Speicher-/Ressourcen-Lebenszyklus |
| Adapter für Anbieterzustand/-status | Modellverfügbarkeit erfordert Laufzeit-Observability |
| Getrennter Laufzeit- und Inferenzort | Deployment-Topologie ist nicht ein boolesches „lokal/Cloud“ |
| Zentrale Berechtigungen | Modellfähigkeit und Tool-Autorität müssen getrennt bleiben |
| Lexikalische + semantische Retrieval-Pipeline | Retrieval-Konfiguration ist Teil des Anwendungsverhaltens |
| Persistenz von Quelle/Provenienz | Operativer Zustand und Evidenz liegen außerhalb der Modellgewichte |
Häufige LLMOps-Fehlermodi
| Fehlermodus | Was tatsächlich schiefging |
|---|---|
| Modell-Alias wurde stillschweigend aktualisiert | Verhalten änderte sich ohne kontrollierte Freigabe |
| Prompt ohne Evals geändert | Verhaltensregression bestand normale Unit-Tests |
| RAG-Index veraltet | Das Generierungsmodell wurde für Retrieval-/Datenfehler verantwortlich gemacht |
| Nur die endgültige Antwort wird protokolliert | Grundursache in Retrieval-/Tool-/Kontext-Trajektorie ist unsichtbar |
| Anbieter-Fallback erfolgt stillschweigend | Anderer Modell-/Datenpfad ändert Verhalten ohne Zuordnung |
| Token-Kosten werden global erfasst | Teure Workflows können nicht lokalisiert werden |
| Judge-Modell geändert | Bewertungsergebnisse driften ohne Anwendungsänderung |
| Produktions-Traces werden nie zu Tests | Bekannte Fehler kehren wiederholt zurück |
| Lokales Modell bleibt unbegrenzt geladen | VRAM-/Ressourcendruck wird zu operativer Instabilität |
| Berechtigungen nur im Prompt kodiert | Modellverhalten wird mit Autorisierung verwechselt |
| Ein Eval-Score steuert alles | Verschiedene Qualitätsdimensionen werden zu einer irreführenden Zahl zusammengefasst |
| Modell-Registry existiert, aber Prompt-/Index-Versionen nicht | Anwendungs-Lineage bleibt unvollständig |
Häufige Missverständnisse
| Missverständnis | Korrektur |
|---|---|
| „LLMOps ersetzt MLOps.“ | LLMOps erweitert MLOps-Prinzipien auf LLM-spezifisches Anwendungsverhalten. |
| „LLMOps ist Prompt Engineering.“ | Prompts sind ein Artefakt unter Modellen, Anbietern, Kontext, Retrieval, Tools, Evals und Laufzeit. |
| „Gehostete APIs beseitigen operative Arbeit.“ | Sie beseitigen einige Arbeiten zum Modell-Serving/Training, fügen aber Anbieter-Lebenszyklus-, Versions- und Abhängigkeitsmanagement hinzu. |
| „Wenn die API stabil ist, ist die App stabil.“ | Modellverhalten und Anbieter-/Modell-Snapshots können sich unabhängig vom API-Schema ändern. |
| „RAG ist nur Datenvorverarbeitung.“ | In der Produktion hat es seinen eigenen Lebenszyklus für Ingestion, Index, Retrieval und Aktualität. |
| „LLM-Ausgaben können nicht getestet werden.“ | Sie können mit deterministischen, Referenz-, Judge- und menschlichen Kriterien bewertet werden. |
| „LLM-Judges sind objektive Ground Truth.“ | Sie sind modellbasierte Bewerter, die ebenfalls Kalibrierung und Versionskontrolle erfordern. |
| „Ein lokales Modell eliminiert LLMOps.“ | Lokales Serving bringt Modell-Dateien, VRAM, Laden/Entladen, Laufzeit-Zustand und Upgrade-Belange mit sich. |
| „Observability bedeutet Token-Zahlen.“ | Nützliche Observability folgt Prompts, Retrievals, Tools, Modell-Spans und Ergebnissen. |
| „Kontinuierliches Training ist verpflichtend.“ | Viele LLM-Apps verwenden kontinuierliche Evaluierung, ohne das Foundation-Modell zu trainieren. |
Eine praktische LLMOps-Designsequenz
Das vollständige verhaltenserzeugende System betreiben
LLMOps-Architektur-Checkliste
| Frage | Erwarteter Nachweis |
|---|---|
| Welches Modell/welcher Anbieter/welche Version hat die Anfrage bedient? | Nachverfolgbare Modellidentität |
| Welcher Prompt/welche Anweisungen waren aktiv? | Versionierter Anwendungscode/-konfiguration |
| Welcher Kontext hat das Modell erreicht? | Kontext-/Retrieval-Trace |
| Welche Korpus-/Indexversion wurde verwendet? | Retrieval-Lineage |
| Welche Tools waren verfügbar und wurden aufgerufen? | Tool-Schema + Trajektorien-Trace |
| Welche Berechtigungen galten? | Runtime-Autorisierungsdatensatz |
| Wie wird Qualität gemessen? | Versionierter Eval-Datensatz + Scorer |
| Wie werden Modell-Upgrades getestet? | Verhaltensbezogene Regressionssuite |
| Wie wird Produktionsqualität gesampelt? | Trace-Bewertungs-/Feedback-Prozess |
| Kann ein Fehler näherungsweise reproduziert werden? | Modell-/Kontext-/Anbieter-/Anwendungs-Lineage |
| Wo fallen Kosten an? | Modell-/Tool-/Retrieval-Zuordnung pro Trace |
| Was löst ein Rollback aus? | Definierter Schwellenwert für Qualität/Sicherheit/Kosten/Verfügbarkeit |
| Wie wird mit Anbieter-Deprecations umgegangen? | Migrations-/Fallback-Prozess |
| Wie werden lokale Modelle betrieben? | Health-, Ressourcen-, Lade-/Entlade- und Versionskontrollen |
Randfälle und Einschränkungen
Eine einfache Anwendung, die ein festes gehostetes Modell ohne Retrieval oder Tools aufruft, benötigt möglicherweise nur leichtgewichtige LLMOps: versionierten Prompt-Code, Evals, Modell-Pinning, grundlegendes Tracing und Anbieterüberwachung.
Ein selbst gehostetes feinabgestimmtes Modell kann nahezu den vollständigen klassischen MLOps-Stack plus LLM-spezifische Anwendungsbewertung erfordern, wodurch die Grenze zwischen MLOps und LLMOps absichtlich unscharf wird.
Eine Agentenplattform kann minimale Modelltrainingsoperationen, aber umfangreiche Runtime-Operationen haben, weil Fehler bei Tool-Auswahl, Zustand und Orchestrierung auftreten.
Ein RAG-lastiges System kann operativ von Dokumentenaufnahme und Retrieval-Qualität statt von Modell-Serving dominiert werden.
Die Terminologie wird sich weiterentwickeln. Die dauerhafte Architekturfrage ist nicht, welches „Ops“-Label gewinnt, sondern welche Artefakte Verhalten erzeugen und daher versioniert, bewertet, beobachtet und gesteuert werden müssen.
Was würde diese Antwort ändern?
Wenn Foundation-Model-Anbieter perfekt stabiles Modellverhalten und langfristige Versionsunterstützung standardisieren, könnte Anbieter-/Snapshot-Management operativ weniger bedeutsam werden.
Wenn Anwendungen zunehmend Fine-Tuning oder Training übernehmen, rücken klassische MLOps-Anliegen wieder stärker in den Mittelpunkt.
Das operative Prinzip bliebe: Jede Komponente, die das Produktionsverhalten wesentlich verändern kann, gehört in Lineage, Testing, Observability und Change Control.
Verwandtes kanonisches Wissen
LLMOps steht unter AI Governance und Enterprise AI Architecture: Governance definiert, welche Änderungen Nachweise und Genehmigung erfordern, während LLMOps die operative Maschinerie bereitstellt, um diese Änderungen zu versionieren, zu bewerten, bereitzustellen und zu beobachten.
Context Engineering und RAG sind operative Subdomänen innerhalb vieler LLM-Anwendungen, weil Kontext und Retrieval das Verhalten unabhängig vom Modell ändern können.
Agentic AI erweitert LLMOps weiter in Trajektorien-, Berechtigungs- und Tool-Runtime-Operationen.
Häufig gestellte Fragen
MLOps vs. LLMOps FAQ
Was ist der Unterschied zwischen MLOps und LLMOps?
Ersetzt LLMOps MLOps?
Benötigen LLM-Anwendungen kontinuierliches Training?
Warum sind Evals in LLMOps so wichtig?
Was sollte in LLMOps versioniert werden?
Reicht Prompt-Versionierung aus?
Was ist GenAIOps?
Wie überwacht man eine LLM-Anwendung?
Können lokale LLMs LLMOps-Praktiken nutzen?
Glossar
Wichtige MLOps- und LLMOps-Begriffe
- MLOps
- Engineering-Praktiken zum Erstellen, Bereitstellen, Überwachen und Warten von Machine-Learning-Systemen und deren Daten-/Modelllebenszyklus.
- LLMOps
- Operative Praktiken für Produktionsanwendungen, deren Verhalten wesentlich von großen Sprachmodellen und umgebenden Prompts, Kontext, Retrieval, Tools und Laufzeit abhängt.
- GenAIOps
- Operative Disziplin für generative KI-Anwendungen; wird oft als breiteres oder alternatives Label für LLMOps verwendet.
- Kontinuierliches Training
- Automatisiertes oder wiederholtes Neutraining und Serving von ML-Modellen, wenn sich Daten oder Implementierungen ändern.
- Kontinuierliche Evaluierung
- Wiederholte Evaluierung des Verhaltens von Kandidaten- und Produktions-KI anhand versionierter Datensätze und Kriterien.
- Modell-Snapshot
- Eine konkrete Version eines gehosteten oder paketierten Modells, deren Verhalten getestet und referenziert werden kann.
- Anwendungs-Lineage
- Nachvollziehbare Beziehung zwischen Code, Modell/Anbieter, Prompts, Daten/Retrieval, Tools, Laufzeit und Release-Konfiguration.
- Trace
- Strukturierte Aufzeichnung einer Anwendungsausführung mit Spans wie Modellaufrufen, Retrievals und Tool-Operationen.
- Eval-Datensatz
- Versionierter Satz repräsentativer Eingaben, Erwartungen und optional Traces/Ausgaben zur Verhaltensmessung.
- LLM-Richter
- Ein Sprachmodell, das als Evaluator für qualitative oder semantische Kriterien verwendet wird; es ist selbst eine versionierte Evaluierungsabhängigkeit.
- Verhaltensregression
- Eine Verschlechterung der Anwendungsausgabe oder -trajektorie, obwohl Schnittstellen und Code weiterhin erfolgreich ausgeführt werden.
- Anbieter-Routing
- Richtlinie zur Auswahl unter verfügbaren Modellanbietern/Endpunkten nach Fähigkeit, Kosten, Latenz, Datenschutz oder Verfügbarkeit.
Fazit
MLOps und LLMOps teilen dasselbe Engineering-Ziel: KI-Systeme ausreichend reproduzierbar, testbar und beobachtbar zu machen, um sie zuverlässig in der Produktion zu betreiben.
Der Unterschied liegt in der Form des Systems. Klassisches MLOps konzentriert sich oft auf Training und Serving von Modellartefakten; LLMOps muss einen Verhaltens-Stack betreiben, in dem Modell-Snapshots, Prompts, Kontext, Retrieval, Tools, Berechtigungen und Anbieter sich unabhängig ändern können.
Die kürzeste nützliche Regel lautet: Versionieren, evaluieren und beobachten Sie alles, was das Verhalten der LLM-Anwendung wesentlich ändern kann – nicht nur das Modell.
Primärquellen und aktuelle Dokumentation
Die folgenden Quellen untermauern die MLOps-Basis und die aktuellen operativen Muster für LLM- und Agenten-Anwendungen. Projektabschnitte sind originale Implementierungsbelege und bewusst enger gefasst als Aussagen über eine vollständige LLMOps-Plattform.
Google Cloud — MLOps: Continuous delivery and automation pipelinesReferenzarchitektur, die CI, CD, kontinuierliches Training, Modellregistry, Metadaten, Serving und Monitoring für ML-Systeme beschreibt.
AWS Machine Learning Lens — Model lineageAktuelle Anleitung zur Nachverfolgung von Code, Daten, Modellen, Umgebungen und Infrastruktur über ML-Releases hinweg.
AWS Machine Learning Lens — Model observability and trackingAktuelle Anleitung für Produktionsmodell-Monitoring, Drift, Endpoint-Integrität und Lineage.
Microsoft Azure — GenAIOps / LLMOps lifecycleOffizielle Anleitung, die GenAIOps, manchmal LLMOps genannt, über Initialisierung, Experimentierung, Evaluierung/Verfeinerung und Deployment beschreibt.
MLflow — Agents and LLM applicationsAktuelle GenAI-Betriebsdokumentation zu Tracing, Evaluierung, Prompts und Produktionsbeobachtbarkeit für LLM-Anwendungen und Agenten.
MLflow — Evaluating production tracesAktuelle Anleitung zur Evaluierung vollständiger LLM-/Agenten-Traces, einschließlich Retrieval- und Tool-Aufruf-Trajektorien.
MLflow — Bewertung von PromptsAktueller Workflow zur Bewertung von Prompts/Modellen unter Verwendung versionierter Prompts, Datensätze, Scorer und Traces.
OpenAI API — Versionierung und Modell-SnapshotsAktuelle API-Empfehlung, gepinnte Modellversionen und Evals zu verwenden, da sich das Prompting-Verhalten zwischen Snapshots ändern kann.
OpenAI — PromptingAktuelle Empfehlung, Produktions-Prompts wie Anwendungscode zu behandeln, sie über Quellcodeverwaltung zu versionieren und Änderungen mit Tests und Bewertungsprüfungen abzudecken.
OpenAI — DeprecationsAktuelle Anbieter-Lebenszyklus-Nachweise, die die Stilllegung von Modellen und Plattformoberflächen als betriebliche Abhängigkeit zeigen.
OpenAI — Evaluierungsworkflows zu Promptfoo verlagernAktuelle Migrationsempfehlung aus 2026, die veranschaulicht, warum Bewertungsressourcen portabel bleiben sollten, wenn sich die Anbieter-Tooling ändert.
Related Articles

Meistern des SEO-Workflows: Essenzielle Optimierungsstrategien für organisches Wachstum
Ein strukturierter SEO-Workflow ist entscheidend für nachhaltiges organisches Wachstum. Lerne die zehn grundlegenden Strategien, von der Keyword-Recherche und technischen Optimierung bis hin zur Content-Qualität und Performance-Analyse.

RAG fehlgeschlagen – aber welche Ebene ist tatsächlich fehlgeschlagen? Eine diagnostische Methode
Wenn eine RAG-Antwort falsch ist, ist es zu vage, das Retrieval oder das Modell verantwortlich zu machen. Diese Diagnosemethode isoliert Quellenabdeckung, Query-Konstruktion, Retrieval, Ranking, Kontextzusammenstellung, Generierung, Evidenzzuordnung und Aktualität – sodass der tatsächliche Fehler reproduziert und behoben werden kann.

Was ist Context Engineering? Was das Modell erhält, bevor es antwortet
Context Engineering gestaltet, welche Informationen ein KI-Modell vor der Inferenz erhält, einschließlich Prompts, Retrieval, Speicher, Anwendungszustand, Tool-Ergebnissen und Konversationsverlauf.

Woher bezieht ein LLM seine Daten? RAG-Datenquellen in Python
Ein LLM kennt deine Dateien, Datenbanken oder APIs nicht auf magische Weise. Diese praktische Fortsetzung der RAG-Reihe zeigt mit einfachem Python, wie externe Daten zu abrufbaren Belegen werden: von Textdateien und SQL bis hin zu Volltextsuche, Embeddings, Kontextzusammenstellung und dem abschließenden LLM-Aufruf.

Zuverlässigkeit von KI-Agenten: Warum die endgültige Antwort nicht ausreicht
Korrekte Ausgabe beweist weder korrektes Denken, sichere Ausführung noch ein vertrauenswürdiges System.

ZBT Z8102AX Dual-SIM-Failover: Was funktioniert, was fehlt und was eine bessere Firmware benötigt
Der ZBT Z8102AX ist ein Dual-SIM-5G-OpenWrt-Router, aber Dual-SIM-Hardware allein ist nicht dasselbe wie ein intelligentes Failover. Der Router erkennt die SIM und verbindet sich erfolgreich, aber die automatische Umschaltung, die Modem-Wiederherstellung, signalbasierte Entscheidungen und eine saubere Failover-Logik erfordern noch eingehendere Tests.

Computer-Use-Agenten: Warum eine erfolgreiche Demo dennoch ein unzuverlässiges System sein kann
Computer-Use-Agenten können mittlerweile beeindruckende Browser- und Desktop-Workflows abschließen, aber ein erfolgreicher Durchlauf beweist Fähigkeit—nicht Zuverlässigkeit. Dieser Artikel zeigt, wie man Wiederholbarkeit, Umgebungsrobustheit, Steuerung über lange Zeithorizonte, Zustandsbewusstsein, Ergebnisüberprüfung und sichere Zielhandhabung testet.

Ollama ist nicht das Produkt: Entwicklung produktionsreifer Open-LLM-Anwendungen
Das Ausführen eines lokalen Modells mit Ollama ist einfach. Das Erstellen einer produktionsreifen Open-LLM-Anwendung ist schwieriger: Es erfordert RAG, Zugriffskontrolle, Anbieterabstraktion, Evaluierung, Protokollierung, Bereitstellungsdisziplin und eine kontrollierte Anwendungsschicht um das Modell herum.

Qwen 3.6 in der Produktion: Release-Runbook, KI-Rollback und LLMOps-Versionierung
Qwen 3.6 ist nicht nur ein weiteres Modell-Upgrade. Es ist gleichzeitig ein Release-Ereignis, ein Rollback-Szenario und ein Versionierungsproblem. Dieser Artikel erklärt, wie Qwen 3.6 in der Produktion durch LLMOps-Disziplin, Prompt- und Modell-Rückverfolgbarkeit, kontrollierten Rollout und evidenzbasierte Rollback-Bereitschaft gehandhabt werden sollte.

Umfassender Leitfaden zum Evaluation Harness: LLM-Leistungsbewertung meistern
Dieser Leitfaden bietet eine detaillierte Einführung in Evaluation Harness, ein unverzichtbares Framework zur strengen Bewertung der Fähigkeiten von Large Language Models (LLMs) in Enterprise-LLMOps-Pipelines. Erfahren Sie mehr über Einrichtung, Best Practices und fortgeschrittene Techniken, um ein zuverlässiges Modell-Benchmarking und eine Optimierung zu gewährleisten.

Wann sollte eine KI aufhören, ihrem eigenen Wissen zu vertrauen? — Der Retrieval-Trigger
Ein KI-Modell benötigt nicht für jede Frage einen Retrieval. Das wichtige Problem ist zu erkennen, wann sein internes Wissen nicht mehr ausreicht. Der Retrieval-Trigger ist eine praktische Entscheidungsgrenze, die bestimmt, wann ein KI-System aufhören sollte, sich allein auf das Modellwissen zu verlassen, und vor der Beantwortung externe Evidenz einholen sollte.

Was ist RAG? Die einfachste Erklärung, wie es funktioniert
RAG klingt kompliziert, aber die Idee ist einfach: Bevor eine KI antwortet, sucht sie zunächst nützliche Informationen aus einer Wissensquelle und gibt diese Informationen an das Sprachmodell weiter. Dieser Leitfaden erklärt RAG, LLMs, Zustand, Gedächtnis und Werkzeuge anhand eines einfachen mentalen Modells.