[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"portal-settings:stajic:it":3,"public-menus:all":38,"post:mlops-vs-llmops-what-changes-when-the-model-is-an-llm:it":205,"related:post:mlops-vs-llmops-what-changes-when-the-model-is-an-llm:it:1":3404},{"statusCode":4,"data":5,"message":37},200,{"tenantId":6,"lang":7,"defaultLang":8,"siteUrl":9,"contactEmail":10,"brandName":11,"logoUrl":12,"siteName":11,"siteDescription":13,"ogImage":10,"robotsIndex":14,"socialLinks":10,"reservedSlugs":10,"seoPolicy":15},"stajic","it","de","https:\u002F\u002Fstajic.de",null,"Stajic Platform","\u002FLogo_Planet.svg","Stajic Portal",true,{"branding":16,"relatedContent":17,"crossDomainLinks":18},{"logoUrl":12},{"enabled":14},[19,22,25,28,31,34],{"url":20,"label":21,"isActive":14,"showInFooter":14,"includeInSameAs":14},"https:\u002F\u002Ffigure.rocks","figure.rocks",{"url":23,"label":24,"isActive":14,"showInFooter":14,"includeInSameAs":14},"https:\u002F\u002Floving.rocks","loving.rocks",{"url":26,"label":27,"isActive":14,"showInFooter":14,"includeInSameAs":14},"https:\u002F\u002Fbazify.com","bazify.com",{"url":29,"label":30,"isActive":14,"showInFooter":14,"includeInSameAs":14},"https:\u002F\u002Fbazify.de","bazify.de",{"url":32,"label":33,"isActive":14,"showInFooter":14,"includeInSameAs":14},"https:\u002F\u002Fbazify.at","bazify.at",{"url":35,"label":36,"isActive":14,"showInFooter":14,"includeInSameAs":14},"https:\u002F\u002Fbazify.ba","bazify.ba","Portal settings resolved",[39,45],{"id":40,"name":41,"location":42,"isActive":14,"isDefault":43,"items":44},1,"main-navigation","header",false,[],{"id":46,"name":47,"location":48,"isActive":14,"isDefault":14,"items":49},4,"main-menu","sidebar",[50,66,79,93,103,118,133],{"id":51,"title":52,"url":60,"target":61,"icon":62,"isActive":14,"type":63,"productId":10,"categoryId":10,"shopCategoryId":10,"articleId":10,"pageId":64,"portfolioId":10,"children":65},"item-18",{"de":53,"en":54,"es":55,"fr":56,"it":54,"ru":57,"sr":58,"zh":59},"Startseite","Home","Inicio","Accueil","Главная","Почетна","首页","\u002Ffull-stack-web-developer-munich-performance-seo-and-maintainable-builds","_self","i-lucide-home","page",111,[],{"id":67,"title":68,"url":75,"target":61,"icon":76,"isActive":14,"type":63,"productId":10,"categoryId":10,"shopCategoryId":10,"articleId":10,"pageId":77,"portfolioId":10,"children":78},"item-22",{"de":69,"en":69,"es":70,"fr":69,"it":71,"ru":72,"sr":73,"zh":74},"Vision","Visión","Visione","Видение","Визија","想象","\u002Fueber-uns-webdesign-muenchen-webaplikation","i-lucide-eye",113,[],{"id":80,"title":81,"url":89,"target":61,"icon":90,"isActive":14,"type":63,"productId":10,"categoryId":10,"shopCategoryId":10,"articleId":10,"pageId":91,"portfolioId":10,"children":92},"item-19",{"de":82,"en":83,"es":84,"fr":83,"it":85,"ru":86,"sr":87,"zh":88},"Leistungen","Services","Servicios","Servizi","Услуги","Услуге","服务","\u002Fservices-dienstleistungen-muenchen","i-lucide-wrench",116,[],{"id":94,"title":95,"url":99,"target":61,"icon":100,"isActive":14,"type":63,"productId":10,"categoryId":10,"shopCategoryId":10,"articleId":10,"pageId":101,"portfolioId":10,"children":102},"item-23",{"de":96,"en":96,"es":96,"fr":96,"it":96,"ru":97,"sr":97,"zh":98},"Blog","Блог","博客","\u002Fblog","i-lucide-book-open",112,[],{"id":104,"title":105,"url":114,"target":61,"icon":115,"isActive":14,"type":63,"productId":10,"categoryId":10,"shopCategoryId":10,"articleId":10,"pageId":116,"portfolioId":10,"children":117},"item-32",{"de":106,"en":107,"es":108,"fr":109,"it":110,"ru":111,"sr":112,"zh":113},"Neue Technologien","New Technologies","Nuevas tecnologías","Nouvelles technologies","Nuove tecnologie","Новые технологии","Нове технологије","新技术！","\u002Fneue-webtechnologien","i-lucide-sparkles",122,[],{"id":119,"title":120,"url":129,"target":61,"icon":130,"isActive":14,"type":63,"productId":10,"categoryId":10,"shopCategoryId":10,"articleId":10,"pageId":131,"portfolioId":10,"children":132},"item-20",{"de":121,"en":122,"es":123,"fr":124,"it":125,"ru":126,"sr":127,"zh":128},"Kontakt","Contact us!","Contacto","Contact","Contatto","Контакт","Контактирајте нас","联系我们！","\u002Fcontact","i-lucide-mail",115,[],{"id":134,"title":135,"url":144,"target":61,"icon":145,"isActive":14,"type":63,"productId":10,"categoryId":10,"shopCategoryId":10,"articleId":10,"pageId":146,"portfolioId":10,"children":147},"item-21",{"de":136,"en":137,"es":138,"fr":139,"it":140,"ru":141,"sr":142,"zh":143},"Unsere Arbeit","Our Work","Nuestro trabajo","Nos réalisations","I nostri lavori","Наши работы","Наши радови","文件夹","\u002Fportfolio","i-lucide-briefcase",114,[148,161,175,181,193],{"id":149,"title":150,"url":144,"target":61,"icon":159,"isActive":14,"type":63,"productId":10,"categoryId":10,"shopCategoryId":10,"articleId":10,"pageId":146,"portfolioId":10,"children":160},"item-24",{"de":151,"en":152,"es":153,"fr":154,"it":155,"ru":156,"sr":157,"zh":158},"Alle Projekte","All Projects","Todos los proyectos","Tous les projets","Tutti i progetti","Все проекты","Сви пројекти","所有项目","i-lucide-grid-3x3",[],{"id":162,"title":163,"url":171,"target":61,"icon":172,"isActive":14,"type":173,"productId":10,"categoryId":10,"shopCategoryId":10,"articleId":10,"pageId":10,"portfolioId":10,"children":174},"item-29",{"de":164,"en":165,"es":166,"fr":167,"it":168,"ru":169,"sr":170,"zh":143},"Local Roots, Global Reach","Local Roots - Global Reach","Empresa local ","Entreprise locale","Azienda locale","Местная компания","Локално предузеће глобално тржиште","\u002Fportfolio\u002Flocal-roots-global-reach-communication-media-systems-for-modern-business","i-lucide-folder","custom",[],{"id":176,"title":177,"url":179,"target":61,"icon":172,"isActive":14,"type":173,"productId":10,"categoryId":10,"shopCategoryId":10,"articleId":10,"pageId":10,"portfolioId":10,"children":180},"item-28",{"de":178,"en":178,"es":178,"fr":178,"it":178,"ru":178,"sr":178,"zh":178},"Solr Suggester","\u002Fportfolio\u002Fsolr-fuzzy-suggester-und-solr-infix-suggester-abfrage-ueber-ajax-und-filterung",[],{"id":182,"title":183,"url":191,"target":61,"icon":172,"isActive":14,"type":173,"productId":10,"categoryId":10,"shopCategoryId":10,"articleId":10,"pageId":10,"portfolioId":10,"children":192},"item-27",{"de":184,"en":185,"es":186,"fr":187,"it":188,"ru":189,"sr":190,"zh":185},"Firmenwebseite SEO","Company Website SEO","Sitio web corporativo SEO","Site web d’entreprise SEO","Sito web aziendale SEO","Корпоративный сайт SEO","Пословна веб-страница SEO","\u002Fportfolio\u002Fseo-sem-branding-mobile-webseite-muenchen",[],{"id":194,"title":195,"url":203,"target":61,"icon":172,"isActive":14,"type":173,"productId":10,"categoryId":10,"shopCategoryId":10,"articleId":10,"pageId":10,"portfolioId":10,"children":204},"item-31",{"de":196,"en":197,"es":198,"fr":199,"it":200,"ru":201,"sr":202,"zh":197},"Digitalisierungsportal","Digitalization Portal","Portal de digitalización","Portail de numérisation","Portale di digitalizzazione","Портал цифровизации","Портал за дигитализацију","\u002Fportfolio\u002Fdigitalisierungsportal-archiv-museum-bibliothek-ead-lido-mets-mods",[],{"statusCode":4,"data":206,"message":3403},{"id":207,"title":208,"slug":209,"content":210,"contentJson":211,"excerpt":1559,"featuredImage":1560,"featuredImageAlt":1561,"featuredImageCaption":10,"featuredImageTitle":10,"featuredImageCopyright":10,"featuredImageAuthor":10,"featuredImageSourceUrl":10,"featuredImageLicense":10,"featuredImageIsAiGenerated":43,"status":1562,"publishedAt":1563,"createdAt":1564,"updatedAt":1565,"seoLocalePaths":1566,"categories":1575,"author":1592,"translations":1597},"493","MLOps vs LLMOps: cosa cambia quando il modello è un LLM","mlops-vs-llmops-what-changes-when-the-model-is-an-llm","\u003Cp>MLOps è la disciplina ingegneristica per sviluppare, distribuire, versionare e gestire in modo affidabile i sistemi di machine learning; LLMOps estende tale disciplina alle applicazioni costruite attorno a modelli linguistici di grandi dimensioni, dove il comportamento in produzione dipende non solo da un artefatto del modello ma anche da prompt, contesto, retrieval, versioni di provider\u002Fmodello, chiamate a strumenti, controlli di sicurezza e pipeline di valutazione. LLMOps non sostituisce MLOps. Cambia l'unità operativa da \"un modello più pipeline di serving\" verso \"un'applicazione LLM in evoluzione il cui comportamento emerge da diversi componenti che cambiano indipendentemente\".\u003C\u002Fp>\n\u003Caside class=\"editorjs-callout editorjs-callout--info my-6 rounded-xl border p-5 border-blue-300 bg-blue-50 dark:border-blue-900 dark:bg-blue-950\u002F20\" role=\"note\">\u003Cstrong class=\"block mb-2 text-gray-900 dark:text-gray-100\">Risposta diretta\u003C\u002Fstrong>\u003Cdiv class=\"text-gray-700 dark:text-gray-200\">\u003Cstrong>MLOps gestisce sistemi ML. LLMOps gestisce applicazioni LLM.\u003C\u002Fstrong>\u003Cbr>\u003Cbr>Il MLOps classico si concentra comunemente su pipeline di dati, addestramento, validazione, registro dei modelli, distribuzione, drift e riaddestramento. LLMOps mantiene tali discipline dove rilevante, ma spesso aggiunge versionamento di prompt\u002Fcontesto, astrazione di modello\u002Fprovider, indici RAG, tracce di agenti\u002Fstrumenti, valutazioni semantiche, test di sicurezza, monitoraggio di token\u002Fcosti e test di regressione attraverso snapshot di modelli che cambiano rapidamente.\u003C\u002Fdiv>\u003C\u002Faside>\n\u003Caside class=\"editorjs-callout editorjs-callout--warning my-6 rounded-xl border p-5 border-amber-300 bg-amber-50 dark:border-amber-900 dark:bg-amber-950\u002F20\" role=\"note\">\u003Cstrong class=\"block mb-2 text-gray-900 dark:text-gray-100\">LLMOps non è solo gestione dei prompt\u003C\u002Fstrong>\u003Cdiv class=\"text-gray-700 dark:text-gray-200\">Un'applicazione LLM in produzione può fallire anche quando il prompt è invariato: il provider può cambiare uno snapshot del modello, un corpus RAG può diventare obsoleto, un reranker può regredire, i permessi degli strumenti possono cambiare, l'assemblaggio del contesto può perdere evidenze, o un agente può intraprendere una traiettoria sbagliata. LLMOps deve quindi osservare e versionare il sistema attorno al modello, non solo il testo del prompt.\u003C\u002Fdiv>\u003C\u002Faside>\n\u003Caside class=\"editorjs-callout editorjs-callout--note my-6 rounded-xl border p-5 border-gray-300 bg-gray-50 dark:border-gray-700 dark:bg-gray-900\u002F40\" role=\"note\">\u003Cstrong class=\"block mb-2 text-gray-900 dark:text-gray-100\">Confine terminologico\u003C\u002Fstrong>\u003Cdiv class=\"text-gray-700 dark:text-gray-200\">\u003Cstrong>LLMOps\u003C\u002Fstrong>, \u003Cstrong>GenAIOps\u003C\u002Fstrong> e termini correlati sono etichette ingegneristiche ampiamente usate, ma non sono un unico standard formale universale con un singolo ciclo di vita canonico. Microsoft attualmente descrive GenAIOps come "talvolta chiamato LLMOps", mentre MLflow raggruppa strumenti operativi attorno ad agenti e applicazioni LLM. Questo articolo usa LLMOps come termine architetturale pratico per gestire sistemi di produzione il cui comportamento dipende materialmente da LLM.\u003C\u002Fdiv>\u003C\u002Faside>\n\u003Caside class=\"editorjs-callout editorjs-callout--note my-6 rounded-xl border p-5 border-gray-300 bg-gray-50 dark:border-gray-700 dark:bg-gray-900\u002F40\" role=\"note\">\u003Cstrong class=\"block mb-2 text-gray-900 dark:text-gray-100\">Nota sulle fonti attuali — 8 ottobre 2026\u003C\u002Fstrong>\u003Cdiv class=\"text-gray-700 dark:text-gray-200\">La superficie operativa sta cambiando rapidamente. OpenAI attualmente raccomanda di fissare gli snapshot dei modelli e di eseguire valutazioni perché il comportamento del prompting può cambiare tra snapshot, e diverse superfici più vecchie specifiche della piattaforma per prompt\u002Fvalutazione vengono ritirate nel 2026. La lezione architetturale stabile è mantenere prompt, test e valutazioni portabili e versionati con l'applicazione invece di dipendere dal modello a oggetti della dashboard di un singolo provider.\u003C\u002Fdiv>\u003C\u002Faside>\n\u003Cnav class=\"editorjs-toc\" data-editorjs-toc=\"true\" aria-label=\"Indice\">\u003Cstrong class=\"editorjs-toc__title\">Indice\u003C\u002Fstrong>\u003Col class=\"editorjs-toc__list editorjs-toc__list--depth-0\">\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-7\" class=\"editorjs-toc__link\">Cosa significa realmente MLOps\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-11\" class=\"editorjs-toc__link\">Cosa cambia quando il modello è un LLM\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-15\" class=\"editorjs-toc__link\">L'esempio più semplice\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-20\" class=\"editorjs-toc__link\">Dove si ferma l'esempio semplice\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-24\" class=\"editorjs-toc__link\">MLOps vs LLMOps\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-26\" class=\"editorjs-toc__link\">LLMOps estende MLOps invece di sostituirlo\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-30\" class=\"editorjs-toc__link\">Cosa deve essere versionato in LLMOps?\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-32\" class=\"editorjs-toc__link\">Gli snapshot dei modelli diventano dipendenze di rilascio\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-36\" class=\"editorjs-toc__link\">Il ciclo di vita del provider diventa parte delle operazioni\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-40\" class=\"editorjs-toc__link\">I prompt si comportano come codice di produzione\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-44\" class=\"editorjs-toc__link\">L'ingegneria del contesto diventa una preoccupazione operativa\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-48\" class=\"editorjs-toc__link\">Il RAG crea il proprio ciclo di vita operativo\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-53\" class=\"editorjs-toc__link\">Le valutazioni sostituiscono “mi sembra buono” con prove di rilascio\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-58\" class=\"editorjs-toc__link\">LLM-as-a-judge è utile ma non è ground truth\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-62\" class=\"editorjs-toc__link\">Il tracing diventa più importante dei log degli endpoint\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-66\" class=\"editorjs-toc__link\">Gli agenti espandono il LLMOps in operazioni runtime\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-71\" class=\"editorjs-toc__link\">Token, chiamate al modello e contesto diventano variabili di costo\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-75\" class=\"editorjs-toc__link\">La cache diventa semantica, non solo tecnica\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-79\" class=\"editorjs-toc__link\">Sicurezza e permessi diventano criteri di rilascio\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-83\" class=\"editorjs-toc__link\">Come appare la CI in LLMOps\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-85\" class=\"editorjs-toc__link\">Come appare la CD in LLMOps\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-89\" class=\"editorjs-toc__link\">L'addestramento continuo diventa opzionale; la valutazione continua diventa centrale\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-93\" class=\"editorjs-toc__link\">Cosa dovrebbe essere monitorato in produzione?\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-95\" class=\"editorjs-toc__link\">Le tracce di produzione possono diventare dati di valutazione\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-99\" class=\"editorjs-toc__link\">La riproducibilità diventa condizionale anziché esatta\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-103\" class=\"editorjs-toc__link\">La lineage si espande dalla lineage del modello alla lineage dell'applicazione\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-107\" class=\"editorjs-toc__link\">Il routing multi-provider e multi-modello crea policy operative\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-111\" class=\"editorjs-toc__link\">Evidenza dell'implementazione originale\u003C\u002Fa>\u003Col class=\"editorjs-toc__list editorjs-toc__list--depth-1\">\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-112\" class=\"editorjs-toc__link\">Aaasaasa AI Client: provider, modello e runtime sono oggetti operativi separati\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-117\" class=\"editorjs-toc__link\">Source of Truth Research Engine: lo stato dell'applicazione LLM si estende oltre il modello\u003C\u002Fa>\u003C\u002Fli>\u003C\u002Fol>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-123\" class=\"editorjs-toc__link\">Modalità di fallimento comuni in LLMOps\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-125\" class=\"editorjs-toc__link\">Idee sbagliate comuni\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-127\" class=\"editorjs-toc__link\">Una sequenza pratica di progettazione LLMOps\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-129\" class=\"editorjs-toc__link\">Checklist di architettura LLMOps\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-131\" class=\"editorjs-toc__link\">Casi limite e limitazioni\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-137\" class=\"editorjs-toc__link\">Cosa cambierebbe questa risposta?\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-141\" class=\"editorjs-toc__link\">Conoscenza canonica correlata\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-147\" class=\"editorjs-toc__link\">Domande frequenti\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-149\" class=\"editorjs-toc__link\">Glossario\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-151\" class=\"editorjs-toc__link\">Conclusione\u003C\u002Fa>\u003C\u002Fli>\u003Cli class=\"editorjs-toc__item\">\u003Ca href=\"#section-155\" class=\"editorjs-toc__link\">Fonti primarie e documentazione corrente\u003C\u002Fa>\u003C\u002Fli>\u003C\u002Fol>\u003C\u002Fnav>\n\u003Ch2 id=\"section-7\">Cosa significa realmente MLOps\u003C\u002Fh2>\n\u003Cp>MLOps applica disciplina di ingegneria del software e operativa ai sistemi di machine learning. La sfida produttiva è più ampia dell'addestramento di un modello: raccolta dati, validazione dei dati, sperimentazione, riproducibilità, valutazione del modello, distribuzione, infrastruttura e monitoraggio devono tutti funzionare insieme.\u003C\u002Fp>\n\u003Cp>La guida architetturale MLOps di Google inquadra la disciplina attorno a integrazione continua, distribuzione continua e addestramento continuo. La CI valida non solo il codice ma anche dati, schemi e modelli; la CD distribuisce pipeline ML e servizi di predizione; la CT può riaddestrare e ridistribuire modelli al variare di dati o implementazioni.\u003C\u002Fp>\n\u003Cp>La guida AWS aggiunge le stesse preoccupazioni operative da un'altra angolazione: lineage del modello, tracciabilità modello\u002Fversione, monitoraggio del drift e monitoraggio della qualità in produzione sono parti centrali per mantenere affidabili i sistemi ML dopo la distribuzione.\u003C\u002Fp>\n\u003Ch2 id=\"section-11\">Cosa cambia quando il modello è un LLM\u003C\u002Fh2>\n\u003Cp>I modelli linguistici di grandi dimensioni cambiano il problema produttivo perché l'applicazione spesso non possiede l'intero ciclo di vita dell'addestramento del modello. Un team può chiamare un'API di modello ospitato, eseguire un modello aperto localmente, passare tra provider o usare diversi modelli per compiti diversi.\u003C\u002Fp>\n\u003Cp>Il modello è quindi solo una dipendenza versionata all'interno di un sistema comportamentale più ampio. Prompt, risultati di retrieval, ordine del contesto, strumenti, snapshot del modello, impostazioni di temperatura\u002Fragionamento, filtri di sicurezza e orchestrazione runtime possono tutti cambiare l'output.\u003C\u002Fp>\n\u003Cp>Questo crea una domanda operativa più ampia: quale combinazione di modello, contesto, dati, prompt, strumenti e runtime ha prodotto questo comportamento? LLMOps esiste per rendere tale domanda rispondibile e la risposta sufficientemente riproducibile per il lavoro ingegneristico.\u003C\u002Fp>\n\u003Ch2 id=\"section-15\">L'esempio più semplice\u003C\u002Fh2>\n\u003Cp>Supponiamo che un'applicazione risponda a domande sulle politiche interne.\u003C\u002Fp>\n\u003Cp>In un inquadramento ML classico, potresti versionare un classificatore addestrato, distribuirlo e monitorare la qualità delle predizioni. In un'applicazione LLM, la risposta potrebbe dipendere da uno snapshot di modello ospitato, un prompt di sistema, un modello di embedding, un indice vettoriale, filtri di retrieval, un reranker e il contesto finale selezionato.\u003C\u002Fp>\n\u003Cp>Cambiare uno qualsiasi di questi componenti può cambiare la risposta finale anche se l'endpoint dell'applicazione e la domanda dell'utente restano identici.\u003C\u002Fp>\n\u003Csection class=\"editorjs-process my-6\">\u003Ch3 class=\"mb-3 text-lg font-semibold\">Un tipico percorso di rilascio LLMOps\u003C\u002Fh3>\u003Cdiv class=\"grid grid-cols-1 md:grid-cols-2 xl:grid-cols-3 gap-4\">\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">1\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">1. Modifica un componente\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Prompt, modello, provider, impostazione di retrieval, schema degli strumenti o codice dell'applicazione cambiano.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">2\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">2. Esegui test deterministici\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Convalida schemi, autorizzazioni, contratti degli strumenti, filtri di retrieval e comportamento dell'applicazione.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">3\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">3. Esegui valutazioni comportamentali\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Confronta output rappresentativi, qualità del retrieval e traiettorie di agenti\u002Fstrumenti rispetto ai criteri di accettazione.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">4\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">4. Confronta costo e latenza\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Misura l'uso dei token, le chiamate al modello, il sovraccarico di retrieval\u002Fstrumenti e la latenza di risposta.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">5\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">5. Distribuisci una versione controllata\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Rilascia la configurazione concreta dell'applicazione con le versioni di modello\u002Fprovider registrate.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">6\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">6. Traccia il comportamento in produzione\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Cattura gli span rilevanti di modello, retrieval, strumenti e runtime.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">7\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">7. Valuta le tracce di produzione\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Campiona esecuzioni reali per qualità, grounding, sicurezza e successo del compito.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">8\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">8. Esegui rollback o itera\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Usa le prove di regressione e i segnali operativi per decidere il prossimo rilascio.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003C\u002Fdiv>\u003C\u002Fsection>\n\u003Ch2 id=\"section-20\">Dove si ferma l'esempio semplice\u003C\u002Fh2>\n\u003Cp>Alcuni sistemi LLM addestrano ancora o mettono a punto i propri modelli, quindi le pratiche MLOps tradizionali come pipeline di addestramento, registro dei modelli e lineage dei dati rimangono direttamente rilevanti.\u003C\u002Fp>\n\u003Cp>Altri sistemi utilizzano solo API di modelli di fondazione esterni e non eseguono mai addestramento continuo. Il loro principale carico di lavoro operativo è la valutazione dell'applicazione, la gestione dei cambiamenti di modello\u002Fprovider, il versionamento di prompt\u002Fcontesto, la qualità del retrieval e l'osservabilità.\u003C\u002Fp>\n\u003Cp>Non esiste quindi un'unica 'pipeline LLMOps' universale. Il ciclo di vita esatto dipende dal fatto che si addestri, si metta a punto, si ospiti autonomamente, si recuperi conoscenza esterna, si eseguano agenti o si dipenda da API di modelli gestiti.\u003C\u002Fp>\n\u003Ch2 id=\"section-24\">MLOps vs LLMOps\u003C\u002Fh2>\n\u003Csection class=\"editorjs-comparison my-6\">\u003Ch3 class=\"mb-3 text-lg font-semibold\">Cosa rimane uguale e cosa si espande\u003C\u002Fh3>\u003Cdiv class=\"overflow-x-auto\">\u003Ctable class=\"w-full border-collapse\">\u003Cthead>\u003Ctr>\u003Cth class=\"border border-gray-300 bg-gray-50 px-4 py-3 text-left dark:border-gray-700 dark:bg-gray-900\">\u003C\u002Fth>\u003Cth class=\"border border-gray-300 bg-gray-50 px-4 py-3 text-left font-semibold dark:border-gray-700 dark:bg-gray-900\">MLOps\u003C\u002Fth>\u003Cth class=\"border border-gray-300 bg-gray-50 px-4 py-3 text-left font-semibold dark:border-gray-700 dark:bg-gray-900\">LLMOps\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\u003Ctbody>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-3 text-left font-semibold dark:border-gray-700\">Unità operativa primaria\u003C\u002Fth>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-3 text-left font-semibold dark:border-gray-700\">Proprietà del modello\u003C\u002Fth>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-3 text-left font-semibold dark:border-gray-700\">Cambiamento tipico\u003C\u002Fth>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-3 text-left font-semibold dark:border-gray-700\">Valutazione\u003C\u002Fth>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-3 text-left font-semibold dark:border-gray-700\">Monitoraggio in produzione\u003C\u002Fth>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-3 text-left font-semibold dark:border-gray-700\">Addestramento continuo\u003C\u002Fth>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-3 text-left font-semibold dark:border-gray-700\">Artefatti versionati\u003C\u002Fth>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-3 text-left font-semibold dark:border-gray-700\">Obiettivo di rollback\u003C\u002Fth>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-3 dark:border-gray-700\">\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftbody>\u003C\u002Ftable>\u003C\u002Fdiv>\u003C\u002Fsection>\n\u003Ch2 id=\"section-26\">LLMOps estende MLOps invece di sostituirlo\u003C\u002Fh2>\n\u003Cp>I principi operativi fondamentali non scompaiono: controllo del codice sorgente, CI\u002FCD, riproducibilità, lineage, controlli di distribuzione, monitoraggio, rollback e criteri di accettazione misurabili rimangono essenziali.\u003C\u002Fp>\n\u003Cp>L'estensione è che più artefatti che definiscono il comportamento ora risiedono al di fuori dei pesi del modello. Un modello di fondazione gestito può cambiare comportamento tramite aggiornamenti di snapshot, mentre l'output dell'applicazione può cambiare tramite modifiche di prompt o retrieval senza alcun riaddestramento del modello.\u003C\u002Fp>\n\u003Cp>Questo è il motivo per cui la gerarchia utile è solitamente DevOps → MLOps → LLMOps\u002FGenAIOps come preoccupazioni operative sempre più specializzate, non tre pratiche mutuamente esclusive.\u003C\u002Fp>\n\u003Ch2 id=\"section-30\">Cosa deve essere versionato in LLMOps?\u003C\u002Fh2>\n\u003Cdiv class=\"overflow-x-auto\">\u003Ctable class=\"w-full border-collapse\">\u003Cthead>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-2 text-left font-semibold\">Artefatto\u003C\u002Fth>\u003Cth class=\"border border-gray-300 px-4 py-2 text-left font-semibold\">Perché è importante\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\u003Ctbody>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Codice dell'applicazione\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Definisce orchestrazione, convalida, tentativi e comportamento aziendale\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Famiglia di modelli + snapshot\u002Fversione\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Snapshot diversi possono produrre comportamenti diversi\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Provider \u002F endpoint\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Cambia flusso di dati, latenza, limiti, prezzi e disponibilità\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Codice di prompt\u002Fistruzioni\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Cambia il comportamento del modello anche con lo stesso modello\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Parametri di generazione\u002Fragionamento\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Possono alterare determinismo, latenza, profondità e costo\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Dataset di valutazione\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Definisce rispetto a cosa viene testato il 'sufficientemente buono'\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Scorer \u002F grader\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Definiscono come viene misurata la qualità\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Modello di embedding\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Cambia la rappresentazione vettoriale e il comportamento di retrieval\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Configurazione di chunking\u002Findice\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Cambia ciò che può essere recuperato\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Reranker \u002F fusione di retrieval\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Cambia l'ordinamento dei risultati\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Schemi degli strumenti\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Cambiano ciò che il modello può richiedere e come\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Profilo di autorizzazione\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Cambia quali azioni degli strumenti possono effettivamente essere eseguite\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Regole di assemblaggio del contesto\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Cambiano quali prove e stato raggiungono il modello\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Configurazione di sicurezza\u002Fguardrail\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Cambia il comportamento consentito o bloccato\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftbody>\u003C\u002Ftable>\u003C\u002Fdiv>\n\u003Ch2 id=\"section-32\">Gli snapshot dei modelli diventano dipendenze di rilascio\u003C\u002Fh2>\n\u003Cp>Con gli LLM ospitati, il team potrebbe non controllare l'addestramento del modello, ma controlla ancora quale modello o snapshot l'applicazione chiama.\u003C\u002Fp>\n\u003Cp>Le attuali linee guida API di OpenAI avvertono esplicitamente che il comportamento del prompting può cambiare tra snapshot del modello e raccomandano di fissare le applicazioni di produzione a snapshot specifici dove la coerenza è importante, quindi eseguire valutazioni durante l'aggiornamento.\u003C\u002Fp>\n\u003Cp>La conseguenza operativa è semplice: gli aggiornamenti del modello dovrebbero essere trattati come rilasci dell'applicazione, non come manutenzione invisibile dell'infrastruttura.\u003C\u002Fp>\n\u003Ch2 id=\"section-36\">Il ciclo di vita del provider diventa parte delle operazioni\u003C\u002Fh2>\n\u003Cp>Le applicazioni LLM spesso dipendono dai limiti di velocità dei provider, dalle pianificazioni di deprecazione, dalla semantica delle API, dai limiti di contesto, dalle regole di gestione dei dati e dai prezzi.\u003C\u002Fp>\n\u003Cp>Un provider può deprecare un modello mentre il codice della tua applicazione rimane invariato. L'attuale pianificazione di deprecazione di OpenAI, ad esempio, include date di ritiro nel 2026 per snapshot di modelli più vecchi e superfici della piattaforma.\u003C\u002Fp>\n\u003Cp>LLMOps necessita quindi di tracciamento del ciclo di vita del provider, test di migrazione e decisioni di fallback oltre al monitoraggio della qualità del modello.\u003C\u002Fp>\n\u003Ch2 id=\"section-40\">I prompt si comportano come codice di produzione\u003C\u002Fh2>\n\u003Cp>I prompt sono configurazione comportamentale eseguibile. Piccole modifiche possono alterare la qualità dell'output, la selezione degli strumenti e l'interpretazione delle policy.\u003C\u002Fp>\n\u003Cp>L'attuale guida di OpenAI raccomanda di archiviare i prompt di produzione nel codice dell'applicazione, rivedere le modifiche ai prompt tramite pull request, utilizzare input tipizzati e coprire le modifiche con test e controlli di valutazione.\u003C\u002Fp>\n\u003Cp>Ciò rende il versionamento dei prompt meno simile alla modifica di testi di marketing e più simile alla modifica di una funzione il cui output è probabilistico e dipendente dal modello.\u003C\u002Fp>\n\u003Ch2 id=\"section-44\">L'ingegneria del contesto diventa una preoccupazione operativa\u003C\u002Fh2>\n\u003Cp>Il modello di produzione raramente riceve solo un prompt statico. Può ricevere cronologia della conversazione, documenti recuperati, output di strumenti, memoria, stato corrente dell'applicazione e istruzioni di policy.\u003C\u002Fp>\n\u003Cp>LLMOps deve quindi osservare l'assemblaggio del contesto: quali prove sono state selezionate, quale versione dello stato era corrente, se si è verificato un troncamento e se istruzioni importanti sono sopravvissute alla compattazione.\u003C\u002Fp>\n\u003Cp>Una regressione del modello e una regressione del contesto possono apparire identiche nella risposta finale. Tracciare il percorso effettivo del contesto è ciò che consente al team di distinguerle.\u003C\u002Fp>\n\u003Ch2 id=\"section-48\">Il RAG crea il proprio ciclo di vita operativo\u003C\u002Fh2>\n\u003Cp>Un sistema RAG introduce una seconda pipeline di produzione accanto all'inferenza del modello: acquisizione, estrazione, chunking, metadati, embedding, indici, recupero, reranking e selezione del contesto.\u003C\u002Fp>\n\u003Cp>Il corpus di conoscenza può cambiare ogni giorno anche quando il modello e il prompt non cambiano. Un indice obsoleto o un filtro di metadati non funzionante può quindi degradare la qualità delle risposte senza alcun drift del modello.\u003C\u002Fp>\n\u003Cp>LLMOps per RAG dovrebbe tracciare versione del corpus\u002Findice, modello di embedding, policy di chunking, configurazione del recupero, freschezza delle fonti e metriche di recupero separatamente dalla qualità della generazione.\u003C\u002Fp>\n\u003Caside class=\"editorjs-referral my-6\">\u003Ca href=\"https:\u002F\u002Fstajic.de\u002Fit\u002Fblog\u002Frag-failed-but-which-layer-actually-failed-a-diagnostic-method\" class=\"flex flex-col sm:flex-row gap-4 rounded-xl border border-gray-200 dark:border-gray-700 p-4 transition hover:border-primary-500\">\u003Cdiv class=\"min-w-0 flex-1\">\u003Cstrong class=\"block text-lg text-gray-900 dark:text-gray-100\">RAG fallito — ma quale livello ha effettivamente fallito? Un metodo diagnostico\u003C\u002Fstrong>\u003Cp class=\"mt-2 text-sm text-gray-600 dark:text-gray-300\">Una pipeline LLM di produzione necessita di osservabilità separata per copertura delle fonti, recupero, ranking, assemblaggio del contesto e generazione.\u003C\u002Fp>\u003Cspan class=\"mt-3 inline-flex text-sm font-medium text-primary-600 dark:text-primary-400\">Leggi il metodo diagnostico RAG →\u003C\u002Fspan>\u003C\u002Fdiv>\u003C\u002Fa>\u003C\u002Faside>\n\u003Ch2 id=\"section-53\">Le valutazioni sostituiscono “mi sembra buono” con prove di rilascio\u003C\u002Fh2>\n\u003Cp>Gli output generativi sono spesso aperti, quindi i test di corrispondenza esatta sono insufficienti per molti compiti. LLMOps aggiunge set di dati di valutazione e scorer che possono misurare il successo del compito, la correttezza, la sicurezza, la fondatezza, lo stile o criteri di accettazione specifici del dominio.\u003C\u002Fp>\n\u003Cp>L'attuale stack di valutazione GenAI di MLflow supporta dataset di valutazione versionati, confronti tra prompt\u002Fmodelli, scorer personalizzati e valutazione su tracce complete.\u003C\u002Fp>\n\u003Cp>La pratica più solida è lo sviluppo guidato dalla valutazione: definire casi rappresentativi e criteri di accettazione prima o insieme alle modifiche, poi confrontare le release rispetto alle stesse evidenze.\u003C\u002Fp>\n\u003Caside class=\"editorjs-callout editorjs-callout--success my-6 rounded-xl border p-5 border-emerald-300 bg-emerald-50 dark:border-emerald-900 dark:bg-emerald-950\u002F20\" role=\"note\">\u003Cstrong class=\"block mb-2 text-gray-900 dark:text-gray-100\">I cambiamenti comportamentali richiedono test comportamentali\u003C\u002Fstrong>\u003Cdiv class=\"text-gray-700 dark:text-gray-200\">Un deployment non dovrebbe essere considerato equivalente solo perché il contratto API funziona ancora. Se il prompt, il modello, il retrieval o gli strumenti sono cambiati, la suite di regressione comportamentale dovrebbe essere eseguita di nuovo.\u003C\u002Fdiv>\u003C\u002Faside>\n\u003Ch2 id=\"section-58\">LLM-as-a-judge è utile ma non è ground truth\u003C\u002Fh2>\n\u003Cp>I giudici LLM possono scalare la valutazione per qualità costose da codificare come asserzioni deterministiche, come rilevanza, tono o groundedness.\u003C\u002Fp>\n\u003Cp>Tuttavia, il giudice è un altro modello con il proprio bias, versione e prompt. La configurazione del giudice dovrebbe quindi essere versionata e calibrata rispetto a casi di riferimento umani o deterministici dove le conseguenze contano.\u003C\u002Fp>\n\u003Cp>Una valutazione di produzione può combinare controlli deterministici, metriche basate su riferimento, giudici modello e revisione umana invece di chiedere a una singola metrica di rappresentare ogni dimensione di qualità.\u003C\u002Fp>\n\u003Ch2 id=\"section-62\">Il tracing diventa più importante dei log degli endpoint\u003C\u002Fh2>\n\u003Cp>I log API tradizionali possono dirti che una richiesta ha impiegato due secondi e ha restituito HTTP 200. Non possono dirti quali chunk recuperati sono stati selezionati, quale strumento ha chiamato l'agente o quale span del modello ha consumato più token.\u003C\u002Fp>\n\u003Cp>L'attuale tracing GenAI di MLflow cattura prompt, retrieval, chiamate agli strumenti e span dell'applicazione, e il suo flusso di valutazione in produzione può valutare informazioni di traiettoria intermedie invece del solo testo finale.\u003C\u002Fp>\n\u003Cp>Questo è un cambiamento importante nel LLMOps: l'osservabilità segue il grafo comportamentale dell'applicazione, non solo l'endpoint di serving.\u003C\u002Fp>\n\u003Ch2 id=\"section-66\">Gli agenti espandono il LLMOps in operazioni runtime\u003C\u002Fh2>\n\u003Cp>Un'applicazione agentica può eseguire diverse chiamate al modello, invocazioni di strumenti e transizioni di stato prima di produrre un risultato.\u003C\u002Fp>\n\u003Cp>Operare agenti richiede quindi conteggi dei passaggi, tracce delle chiamate agli strumenti, dinieghi di autorizzazione, retry, rilevamento di loop, approvazioni umane e stato finale verificato, oltre alle ordinarie metriche di latenza del modello e token.\u003C\u002Fp>\n\u003Cp>Una risposta finale corretta può nascondere una traiettoria sbagliata, quindi la valutazione dell'agente deve ispezionare il percorso oltre al risultato.\u003C\u002Fp>\n\u003Caside class=\"editorjs-referral my-6\">\u003Ca href=\"https:\u002F\u002Fstajic.de\u002Fit\u002Fblog\u002Fai-agent-reliability-why-the-final-answer-is-not-enough\" class=\"flex flex-col sm:flex-row gap-4 rounded-xl border border-gray-200 dark:border-gray-700 p-4 transition hover:border-primary-500\">\u003Cdiv class=\"min-w-0 flex-1\">\u003Cstrong class=\"block text-lg text-gray-900 dark:text-gray-100\">Affidabilità degli agenti AI: perché la risposta finale non basta\u003C\u002Fstrong>\u003Cp class=\"mt-2 text-sm text-gray-600 dark:text-gray-300\">Perché la valutazione degli agenti in produzione deve includere chiamate agli strumenti, transizioni di stato, approvazioni e recuperabilità.\u003C\u002Fp>\u003Cspan class=\"mt-3 inline-flex text-sm font-medium text-primary-600 dark:text-primary-400\">Leggi l'articolo sull'affidabilità degli agenti →\u003C\u002Fspan>\u003C\u002Fdiv>\u003C\u002Fa>\u003C\u002Faside>\n\u003Ch2 id=\"section-71\">Token, chiamate al modello e contesto diventano variabili di costo\u003C\u002Fh2>\n\u003Cp>Il costo di inferenza ML classico è spesso dominato dall'infrastruttura di serving o dal calcolo per predizione. Le applicazioni LLM possono aggiungere prezzi per token del provider, chiamate ripetute agli agenti, chiamate di embedding, reranking e overhead di strumenti\u002Fruntime.\u003C\u002Fp>\n\u003Cp>Il costo deve quindi essere attribuito al task o alla traccia, non solo a un endpoint. Un workflow che effettua otto chiamate nascoste al modello può essere funzionalmente corretto ma operativamente inaccettabile.\u003C\u002Fp>\n\u003Cp>La latenza si comporta allo stesso modo: latenza del modello, retrieval, reranking e strumenti esterni si compongono nella latenza end-to-end percepita dall'utente.\u003C\u002Fp>\n\u003Ch2 id=\"section-75\">La cache diventa semantica, non solo tecnica\u003C\u002Fh2>\n\u003Cp>I sistemi LLM possono memorizzare in cache prompt, embedding, risultati di retrieval o risposte complete, ma la chiave di cache deve riflettere la semantica che può cambiare il risultato.\u003C\u002Fp>\n\u003Cp>Una cache delle risposte che ignora versione del modello, tenant, permessi o freschezza delle fonti può restituire una risposta tecnicamente valida ma semanticamente non valida.\u003C\u002Fp>\n\u003Cp>LLMOps tratta quindi l'invalidazione della cache come parte del versioning di modello\u002Fcontesto\u002Fdati, non solo come ottimizzazione infrastrutturale.\u003C\u002Fp>\n\u003Ch2 id=\"section-79\">Sicurezza e permessi diventano criteri di rilascio\u003C\u002Fh2>\n\u003Cp>I sistemi generativi possono produrre testo illimitato e gli agenti possono attivare azioni esterne. I test di sicurezza sono quindi più vicini a un normale CI\u002FCD rispetto a molti sistemi classici di ML predittivo.\u003C\u002Fp>\n\u003Cp>Controlli dei permessi, test di prompt-injection, test di isolamento tra tenant e approvazioni degli effetti collaterali dovrebbero essere test di regressione riproducibili dove tali rischi esistono.\u003C\u002Fp>\n\u003Cp>Il modello può suggerire un'operazione, ma il runtime deve comunque applicare l'autorizzazione. LLMOps possiede l'evidenza che tali controlli continuano a funzionare dopo modifiche a modello, prompt o strumenti.\u003C\u002Fp>\n\u003Ch2 id=\"section-83\">Come appare la CI in LLMOps\u003C\u002Fh2>\n\u003Cdiv class=\"overflow-x-auto\">\u003Ctable class=\"w-full border-collapse\">\u003Cthead>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-2 text-left font-semibold\">Livello CI\u003C\u002Fth>\u003Cth class=\"border border-gray-300 px-4 py-2 text-left font-semibold\">Esempi di controlli\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\u003Ctbody>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Codice\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Unit test, type check, validazione dello schema\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Prompt\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Rendering del template, variabili richieste, testo delle policy, revisione degli snapshot\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Modelli\u002Fprovider\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Compatibilità, schema di output, test di capacità e regressione\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">RAG\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Fixture di chunking, test dei filtri, Recall@k, regressione del reranker\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Strumenti\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Test dello schema di input\u002Foutput, test dei permessi, test di idempotenza\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Agenti\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Fixture di traiettoria, limiti di loop, test di handoff\u002Fselezione degli strumenti\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Sicurezza\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Prompt injection, strumenti non autorizzati, test negativi cross-tenant\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Valutazioni comportamentali\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Successo del task, correttezza, grounding, sicurezza, criteri di dominio\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Operativo\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Latenza, budget di token\u002Fcosto, comportamento di timeout\u002Ffallback\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftbody>\u003C\u002Ftable>\u003C\u002Fdiv>\n\u003Ch2 id=\"section-85\">Come appare la CD in LLMOps\u003C\u002Fh2>\n\u003Cp>Un rilascio in produzione può non distribuire alcun nuovo artefatto del modello. Può semplicemente rilasciare un nuovo prompt, una configurazione di retrieval, un set di strumenti o una mappatura dei provider.\u003C\u002Fp>\n\u003Cp>Il bundle di rilascio dovrebbe quindi identificare la configurazione completa che definisce il comportamento, non solo l'immagine del container dell'applicazione.\u003C\u002Fp>\n\u003Cp>Feature flag, rollout graduale, valutazione shadow, traffico canary e rollback sono utili perché il comportamento degli LLM può regredire in modi che i test di contratto statici non rilevano.\u003C\u002Fp>\n\u003Ch2 id=\"section-89\">L'addestramento continuo diventa opzionale; la valutazione continua diventa centrale\u003C\u002Fh2>\n\u003Cp>Il MLOps tradizionale spesso enfatizza l'addestramento continuo quando nuovi dati o il drift giustificano un riaddestramento.\u003C\u002Fp>\n\u003Cp>Molte applicazioni LLM non addestrano mai il modello di base. Il loro equivalente ciclo continuo è la valutazione continua: raccogliere fallimenti e casi di produzione rappresentativi, aggiungerli ai dataset di valutazione, testare modifiche candidate a prompt\u002Fmodello\u002Fretrieval e ridistribuire solo quando le prove migliorano.\u003C\u002Fp>\n\u003Cp>Il fine-tuning può reintrodurre un ciclo di vita di addestramento, ma dovrebbe inserirsi nello stesso più ampio processo di valutazione e rilascio.\u003C\u002Fp>\n\u003Ch2 id=\"section-93\">Cosa dovrebbe essere monitorato in produzione?\u003C\u002Fh2>\n\u003Cdiv class=\"overflow-x-auto\">\u003Ctable class=\"w-full border-collapse\">\u003Cthead>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-2 text-left font-semibold\">Classe di segnale\u003C\u002Fth>\u003Cth class=\"border border-gray-300 px-4 py-2 text-left font-semibold\">Esempi\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\u003Ctbody>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Salute del sistema\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Errori, timeout, disponibilità dell'endpoint\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Modello\u002Fprovider\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">ID modello, snapshot, limiti di frequenza, errori del provider\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Latenza\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">End-to-end, modello, retrieval, span di tool e reranker\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Costo\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Token di input\u002Foutput, embedding, spesa per tool\u002FAPI\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Qualità\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Successo del task campionato, correttezza, rilevanza, groundedness\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">RAG\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Proxy di recall del retrieval, retrieval vuoto, fonti obsolete, copertura delle citazioni\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Agenti\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Selezione dei tool, retry, loop, handoff, frequenza di approvazione\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Sicurezza\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Azioni negate, indicatori di prompt-injection, fallimenti dei confini tra tenant\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Feedback utente\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Correzioni, abbandono, escalation, valutazioni esplicite\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Drift delle modifiche\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Modifiche a provider\u002Fmodello\u002Fconfigurazione rispetto al rilascio approvato\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftbody>\u003C\u002Ftable>\u003C\u002Fdiv>\n\u003Ch2 id=\"section-95\">Le tracce di produzione possono diventare dati di valutazione\u003C\u002Fh2>\n\u003Cp>Uno dei pattern LLMOps moderni più utili è trasformare tracce di produzione campionate in record di valutazione.\u003C\u002Fp>\n\u003Cp>MLflow attualmente supporta il recupero di tracce di produzione e la valutazione non solo degli output ma anche di span intermedi come le traiettorie di retrieval o di chiamata ai tool.\u003C\u002Fp>\n\u003Cp>Questo chiude il ciclo tra osservabilità e sviluppo: i fallimenti reali possono diventare casi di regressione nel rilascio successivo invece di sparire nei log.\u003C\u002Fp>\n\u003Ch2 id=\"section-99\">La riproducibilità diventa condizionale anziché esatta\u003C\u002Fh2>\n\u003Cp>La riproducibilità classica del ML spesso mira a ricreare un modello da codice, dati, ambiente e parametri di addestramento versionati.\u003C\u002Fp>\n\u003Cp>Le applicazioni LLM ospitate non possono sempre riprodurre un output identico token per token perché la generazione è probabilistica e i provider possono controllare l'infrastruttura.\u003C\u002Fp>\n\u003Cp>LLMOps mira quindi a una riproducibilità comportamentale: registrare abbastanza modello\u002Fprovider\u002Fversione, prompt, input di contesto, stato del retrieval e configurazione di runtime per riprodurre le condizioni e validare il comportamento entro tolleranze attese.\u003C\u002Fp>\n\u003Ch2 id=\"section-103\">La lineage si espande dalla lineage del modello alla lineage dell'applicazione\u003C\u002Fh2>\n\u003Cp>La guida MLOps di AWS considera la lineage del modello come la storia di codice, dati, modello e artefatti infrastrutturali necessari per diagnosi e riproducibilità.\u003C\u002Fp>\n\u003Cp>Per le applicazioni LLM, la lineage dovrebbe inoltre collegare prompt, dataset di valutazione, versioni di retrieval\u002Findice, schemi dei tool, configurazione di agente\u002Fruntime e snapshot di provider\u002Fmodello.\u003C\u002Fp>\n\u003Cp>La domanda target diventa: quale esatta configurazione dell'applicazione ha prodotto questa traccia?\u003C\u002Fp>\n\u003Ch2 id=\"section-107\">Il routing multi-provider e multi-modello crea policy operative\u003C\u002Fh2>\n\u003Cp>Una volta che un'applicazione può usare diversi provider o modelli locali, il routing diventa una policy operativa anziché una semplice stringa di modello.\u003C\u002Fp>\n\u003Cp>Il routing può dipendere da capacità, latenza, costo, privacy, lunghezza del contesto, disponibilità, supporto degli strumenti o località. Un fallback può preservare l'uptime modificando la qualità delle risposte o le ipotesi sul trattamento dei dati.\u003C\u002Fp>\n\u003Cp>LLMOps dovrebbe quindi registrare quale route è stata effettivamente selezionata e valutare le route in modo indipendente, invece di trattare ogni endpoint compatibile come comportamentalmente intercambiabile.\u003C\u002Fp>\n\u003Ch2 id=\"section-111\">Evidenza dell'implementazione originale\u003C\u002Fh2>\n\u003Ch3 id=\"section-112\">Aaasaasa AI Client: provider, modello e runtime sono oggetti operativi separati\u003C\u002Fh3>\n\u003Cp>Aaasaasa AI Client separa agente\u002Fclient, provider, modello, posizione del runtime e permessi. Il suo AI Hub supporta Ollama, LM Studio\u002Fendpoint compatibili con OpenAI e altri protocolli dei provider, invece di trattare \"il modello\" come un'unica impostazione globale.\u003C\u002Fp>\n\u003Cp>L'implementazione include il rilevamento dinamico dei modelli locali, lo streaming, l'output di thinking e controlli espliciti di warm\u002Fload e unload di Ollama. Questa è evidenza operativa che il serving locale di LLM introduce preoccupazioni sul ciclo di vita delle risorse che vanno oltre il nome di un modello API.\u003C\u002Fp>\n\u003Cp>Lo stato del provider viene interrogato tramite adapter dei provider, e i tipi di connessione distinguono percorsi locali, API cloud, basati su account, remote-agent e web-client. Queste sono dimensioni operative concrete che una piattaforma consapevole degli LLM deve rendere visibili.\u003C\u002Fp>\n\u003Cp>Il repository preserva anche un confine importante: un runtime locale non è automaticamente inferenza locale. Provider\u002Fmodello\u002Fposizione del runtime sono questioni versionate o configurabili che influenzano privacy, latenza, costo e disponibilità.\u003C\u002Fp>\n\u003Ch3 id=\"section-117\">Source of Truth Research Engine: lo stato dell'applicazione LLM si estende oltre il modello\u003C\u002Fh3>\n\u003Cp>Il Source of Truth Research Engine combina ricerca lessicale, embedding opzionali, snapshot delle fonti, identità SHA-256, claim, provenienza e tracciamento delle contraddizioni attorno alla ricerca assistita da modelli locali.\u003C\u002Fp>\n\u003Cp>Questa è utile evidenza LLMOps perché cambiare solo il modello non definisce il sistema di ricerca. Retrieval, acquisizione delle fonti, classificazione delle evidenze e provenienza persistente sono artefatti operativi indipendenti.\u003C\u002Fp>\n\u003Cp>L'implementazione tratta deliberatamente la similarità semantica come scoperta e non come evidenza, mostrando perché l'osservabilità LLMOps dovrebbe distinguere il comportamento di retrieval dalla validità dei claim.\u003C\u002Fp>\n\u003Cdiv class=\"overflow-x-auto\">\u003Ctable class=\"w-full border-collapse\">\u003Cthead>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-2 text-left font-semibold\">Implementazione osservata\u003C\u002Fth>\u003Cth class=\"border border-gray-300 px-4 py-2 text-left font-semibold\">Lezione LLMOps\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\u003Ctbody>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Protocolli multi-provider\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">L'identità del provider è una dipendenza operativa\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Rilevamento dinamico dei modelli\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">I modelli disponibili possono cambiare indipendentemente dal codice dell'applicazione\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Controlli load\u002Funload di Ollama\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">I modelli locali hanno un ciclo di vita di memoria\u002Frisorse\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Adapter di salute\u002Fstato del provider\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">La disponibilità del modello richiede osservabilità del runtime\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Posizione separata di runtime e inferenza\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">La topologia di deployment non è un unico booleano \"locale\u002Fcloud\"\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Permessi centralizzati\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Capacità del modello e autorità degli strumenti devono rimanere separate\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Pipeline di retrieval lessicale + semantico\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">La configurazione del retrieval fa parte del comportamento dell'applicazione\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Persistenza di fonte\u002Fprovenienza\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Lo stato operativo e le evidenze vivono al di fuori dei pesi del modello\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftbody>\u003C\u002Ftable>\u003C\u002Fdiv>\n\u003Caside class=\"editorjs-callout editorjs-callout--note my-6 rounded-xl border p-5 border-gray-300 bg-gray-50 dark:border-gray-700 dark:bg-gray-900\u002F40\" role=\"note\">\u003Cstrong class=\"block mb-2 text-gray-900 dark:text-gray-100\">Confine dell'evidenza\u003C\u002Fstrong>\u003Cdiv class=\"text-gray-700 dark:text-gray-200\">Questi progetti dimostrano operazioni multi-provider\u002Fmodelli locali, separazione dei permessi, infrastruttura di retrieval e persistenza delle evidenze. Non sono presentati come una piattaforma LLMOps commerciale completa né come prova di traffico produttivo su larga scala.\u003C\u002Fdiv>\u003C\u002Faside>\n\u003Ch2 id=\"section-123\">Modalità di fallimento comuni in LLMOps\u003C\u002Fh2>\n\u003Cdiv class=\"overflow-x-auto\">\u003Ctable class=\"w-full border-collapse\">\u003Cthead>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-2 text-left font-semibold\">Modalità di fallimento\u003C\u002Fth>\u003Cth class=\"border border-gray-300 px-4 py-2 text-left font-semibold\">Cosa è effettivamente andato storto\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\u003Ctbody>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Alias del modello aggiornato silenziosamente\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Il comportamento è cambiato senza un rilascio controllato\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Prompt modificato senza eval\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Una regressione comportamentale ha superato i normali unit test\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Indice RAG obsoleto\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Il modello di generazione è stato incolpato per un fallimento di retrieval\u002Fdati\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Viene registrata solo la risposta finale\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">La causa radice nella traiettoria di retrieval\u002Fstrumenti\u002Fcontesto è invisibile\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Il fallback del provider è silenzioso\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Un diverso modello\u002Fpercorso dati cambia il comportamento senza attribuzione\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Costo dei token tracciato globalmente\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">I workflow costosi non possono essere localizzati\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Modello giudice cambiato\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">I punteggi di valutazione derivano senza modifiche all'applicazione\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Le tracce di produzione non diventano mai test\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">I fallimenti noti ritornano ripetutamente\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Il modello locale rimane caricato indefinitamente\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">La pressione su VRAM\u002Frisorse diventa instabilità operativa\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Permessi codificati solo nel prompt\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Il comportamento del modello viene scambiato per autorizzazione\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Un unico punteggio di eval controlla tutto\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Dimensioni di qualità diverse vengono collassate in un numero fuorviante\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Esiste il registro dei modelli ma non le versioni di prompt\u002Findice\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">La lineage dell'applicazione rimane incompleta\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftbody>\u003C\u002Ftable>\u003C\u002Fdiv>\n\u003Ch2 id=\"section-125\">Idee sbagliate comuni\u003C\u002Fh2>\n\u003Cdiv class=\"overflow-x-auto\">\u003Ctable class=\"w-full border-collapse\">\u003Cthead>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-2 text-left font-semibold\">Idea sbagliata\u003C\u002Fth>\u003Cth class=\"border border-gray-300 px-4 py-2 text-left font-semibold\">Correzione\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\u003Ctbody>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">\"LLMOps sostituisce MLOps.\"\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">LLMOps estende i principi MLOps al comportamento applicativo specifico degli LLM.\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">\"LLMOps è prompt engineering.\"\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">I prompt sono un artefatto tra modelli, provider, contesto, retrieval, strumenti, eval e runtime.\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">\"Le API hosted eliminano il lavoro operativo.\"\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Eliminano parte del lavoro di serving\u002Ftraining dei modelli ma aggiungono gestione del ciclo di vita del provider, delle versioni e delle dipendenze.\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">\"Se l'API è stabile, l'app è stabile.\"\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Il comportamento del modello e gli snapshot di provider\u002Fmodello possono cambiare indipendentemente dallo schema dell'API.\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">\"RAG è solo preprocessing dei dati.\"\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">In produzione ha il proprio ciclo di vita di ingestione, indice, retrieval e freschezza.\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">\"Gli output degli LLM non possono essere testati.\"\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Possono essere valutati con criteri deterministici, di riferimento, giudice e umani.\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">\"I giudici LLM sono ground truth oggettiva.\"\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Sono valutatori basati su modelli che richiedono anch'essi calibrazione e controllo di versione.\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">\"Un modello locale elimina LLMOps.\"\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Il serving locale aggiunge file di modello, VRAM, load\u002Funload, salute del runtime e preoccupazioni di aggiornamento.\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">\"Osservabilità significa conteggi di token.\"\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">L'osservabilità utile segue prompt, retrieval, strumenti, span del modello e risultati.\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">\"Il training continuo è obbligatorio.\"\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Molte app LLM usano valutazione continua senza addestrare il modello di base.\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftbody>\u003C\u002Ftable>\u003C\u002Fdiv>\n\u003Ch2 id=\"section-127\">Una sequenza pratica di progettazione LLMOps\u003C\u002Fh2>\n\u003Csection class=\"editorjs-process my-6\">\u003Ch3 class=\"mb-3 text-lg font-semibold\">Gestire l'intero sistema che produce comportamento\u003C\u002Fh3>\u003Cdiv class=\"grid grid-cols-1 md:grid-cols-2 xl:grid-cols-3 gap-4\">\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">1\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">1. Definire l'unità di comportamento\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Elenca ogni componente che può modificare materialmente l'output: modello, prompt, retrieval, strumenti, contesto e policy.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">2\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">2. Stabilire la lineage dell'applicazione\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Versiona codice, modello\u002Fprovider, prompt, dataset di valutazione, configurazione di retrieval e contratti degli strumenti.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">3\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">3. Costruire dataset di valutazione rappresentativi\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Usa casi attesi di successo\u002Ffallimento dalla progettazione e dalla produzione.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">4\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">4. Separare i test deterministici da quelli comportamentali\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Mantieni le asserzioni su schema\u002Fsicurezza distinte dalla valutazione semantica dell'output.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">5\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">5. Tracciare l'esecuzione end-to-end\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Strumenta modello, retrieval, reranking, strumenti e span di agente\u002Fruntime.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">6\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">6. Definire i gate di rilascio\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Imposta soglie di qualità, sicurezza, latenza e costo.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">7\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">7. Fissare o registrare esplicitamente le versioni del modello\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Tratta i cambiamenti di modello\u002Fprovider come eventi di rilascio.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">8\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">8. Distribuire progressivamente\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Usa flag, canary o rollout a fasi dove le conseguenze lo giustificano.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">9\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">9. Valutare le tracce di produzione\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Misura il comportamento reale sui task e identifica i fallimenti ricorrenti.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">10\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">10. Reinserire i fallimenti nei dataset di valutazione\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Trasforma incidenti e correzioni in copertura di regressione permanente.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">11\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">11. Monitorare i cicli di vita di provider e dati\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Tieni traccia di deprecazioni, freschezza degli indici, cambiamenti delle fonti e disponibilità del runtime.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv class=\"editorjs-process__step min-w-0  rounded-xl border border-gray-200 dark:border-gray-700 p-4\">\u003Cdiv class=\"text-xs font-semibold text-gray-500 dark:text-gray-400\">12\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 font-semibold text-gray-900 dark:text-gray-100\">12. Ritirare in modo pulito le versioni obsolete\u003C\u002Fdiv>\u003Cdiv class=\"mt-1 text-sm text-gray-600 dark:text-gray-300\">Rimuovi vecchi prompt\u002Fmodelli\u002Findici\u002Fcredenziali dopo migrazione e decisioni sulla conservazione delle evidenze.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003C\u002Fdiv>\u003C\u002Fsection>\n\u003Ch2 id=\"section-129\">Checklist di architettura LLMOps\u003C\u002Fh2>\n\u003Cdiv class=\"overflow-x-auto\">\u003Ctable class=\"w-full border-collapse\">\u003Cthead>\u003Ctr>\u003Cth class=\"border border-gray-300 px-4 py-2 text-left font-semibold\">Domanda\u003C\u002Fth>\u003Cth class=\"border border-gray-300 px-4 py-2 text-left font-semibold\">Evidenza attesa\u003C\u002Fth>\u003C\u002Ftr>\u003C\u002Fthead>\u003Ctbody>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Quale modello\u002Fprovider\u002Fversione ha servito la richiesta?\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Identità del modello tracciabile\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Quali prompt\u002Fistruzioni erano attivi?\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Codice\u002Fconfigurazione dell'applicazione versionati\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Quale contesto ha raggiunto il modello?\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Traccia di contesto\u002Fretrieval\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Quale versione di corpus\u002Findice è stata usata?\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Lineage del retrieval\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Quali strumenti erano disponibili e sono stati chiamati?\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Schema degli strumenti + traccia della traiettoria\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Quali permessi si applicavano?\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Registro di autorizzazione a runtime\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Come viene misurata la qualità?\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Dataset di valutazione versionato + scorer\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Come vengono testati gli aggiornamenti del modello?\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Suite di regressione comportamentale\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Come viene campionata la qualità in produzione?\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Processo di valutazione delle tracce\u002Ffeedback\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Si può riprodurre approssimativamente un singolo fallimento?\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Lineage di modello\u002Fcontesto\u002Fprovider\u002Fapplicazione\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Dove viene speso il costo?\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Attribuzione per traccia di modello\u002Fstrumenti\u002Fretrieval\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Cosa attiva il rollback?\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Soglia definita di qualità\u002Fsicurezza\u002Fcosto\u002Fdisponibilità\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Come vengono gestite le deprecazioni dei provider?\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Processo di migrazione\u002Ffallback\u003C\u002Ftd>\u003C\u002Ftr>\u003Ctr>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Come vengono gestiti i modelli locali?\u003C\u002Ftd>\u003Ctd class=\"border border-gray-300 px-4 py-2\">Controlli di salute, risorse, caricamento\u002Fscaricamento e versione\u003C\u002Ftd>\u003C\u002Ftr>\u003C\u002Ftbody>\u003C\u002Ftable>\u003C\u002Fdiv>\n\u003Ch2 id=\"section-131\">Casi limite e limitazioni\u003C\u002Fh2>\n\u003Cp>Un'applicazione semplice che chiama un unico modello hosted fisso senza retrieval o strumenti può richiedere solo un LLMOps leggero: codice dei prompt versionato, valutazioni, pinning del modello, tracing di base e monitoraggio del provider.\u003C\u002Fp>\n\u003Cp>Un modello fine-tuned self-hosted può richiedere quasi l'intero stack MLOps classico più la valutazione applicativa specifica per LLM, rendendo il confine tra MLOps e LLMOps intenzionalmente sfumato.\u003C\u002Fp>\n\u003Cp>Una piattaforma di agenti può avere operazioni minime di addestramento del modello ma operazioni di runtime sostanziali, perché i fallimenti si verificano nella selezione degli strumenti, nello stato e nell'orchestrazione.\u003C\u002Fp>\n\u003Cp>Un sistema fortemente basato su RAG può essere operativamente dominato dall'ingestione dei documenti e dalla qualità del retrieval piuttosto che dal serving del modello.\u003C\u002Fp>\n\u003Cp>La terminologia continuerà a evolversi. La domanda architetturale duratura non è quale etichetta “Ops” vince, ma quali artefatti producono comportamento e quindi devono essere versionati, valutati, osservati e governati.\u003C\u002Fp>\n\u003Ch2 id=\"section-137\">Cosa cambierebbe questa risposta?\u003C\u002Fh2>\n\u003Cp>Se i provider di foundation model standardizzassero un comportamento del modello perfettamente stabile e un supporto di versione a lungo termine, la gestione di provider\u002Fsnapshot potrebbe diventare meno significativa a livello operativo.\u003C\u002Fp>\n\u003Cp>Se le applicazioni assumessero sempre più la proprietà del fine-tuning o dell'addestramento, le preoccupazioni classiche del MLOps tornerebbero più centrali.\u003C\u002Fp>\n\u003Cp>Il principio operativo rimarrebbe: ogni componente che può modificare materialmente il comportamento in produzione appartiene a lineage, testing, osservabilità e controllo dei cambiamenti.\u003C\u002Fp>\n\u003Ch2 id=\"section-141\">Conoscenza canonica correlata\u003C\u002Fh2>\n\u003Cp>LLMOps si colloca sotto AI Governance e Enterprise AI Architecture: la governance definisce quali cambiamenti richiedono evidenze e approvazione, mentre LLMOps fornisce il macchinario operativo per versionare, valutare, distribuire e osservare tali cambiamenti.\u003C\u002Fp>\n\u003Cp>Context Engineering e RAG sono sottodomini operativi all'interno di molte applicazioni LLM, perché contesto e retrieval possono cambiare il comportamento indipendentemente dal modello.\u003C\u002Fp>\n\u003Cp>Agentic AI estende ulteriormente LLMOps verso operazioni su traiettoria, permessi e runtime degli strumenti.\u003C\u002Fp>\n\u003Caside class=\"editorjs-referral my-6\">\u003Ca href=\"https:\u002F\u002Fstajic.de\u002Fit\u002Fblog\u002Fai-agent-memory-is-not-rag-how-to-separate-memory-retrieval-state-and-context\" class=\"flex flex-col sm:flex-row gap-4 rounded-xl border border-gray-200 dark:border-gray-700 p-4 transition hover:border-primary-500\">\u003Cdiv class=\"min-w-0 flex-1\">\u003Cstrong class=\"block text-lg text-gray-900 dark:text-gray-100\">La memoria degli agenti AI non è RAG: come separare memoria, recupero, stato e contesto\u003C\u002Fstrong>\u003Cp class=\"mt-2 text-sm text-gray-600 dark:text-gray-300\">L'affidabilità operativa migliora quando memoria, recupero, stato dell'applicazione e contesto del modello rimangono oggetti del ciclo di vita separati.\u003C\u002Fp>\u003Cspan class=\"mt-3 inline-flex text-sm font-medium text-primary-600 dark:text-primary-400\">Leggi l'articolo sull'architettura →\u003C\u002Fspan>\u003C\u002Fdiv>\u003C\u002Fa>\u003C\u002Faside>\n\u003Caside class=\"editorjs-referral my-6\">\u003Ca href=\"https:\u002F\u002Fstajic.de\u002Fit\u002Fblog\u002Fthe-answer-validity-boundary-the-missing-layer-between-relevance-and-reliable-ai-answers\" class=\"flex flex-col sm:flex-row gap-4 rounded-xl border border-gray-200 dark:border-gray-700 p-4 transition hover:border-primary-500\">\u003Cdiv class=\"min-w-0 flex-1\">\u003Cstrong class=\"block text-lg text-gray-900 dark:text-gray-100\">Il confine di validità della risposta: il livello mancante tra rilevanza e risposte AI affidabili\u003C\u002Fstrong>\u003Cp class=\"mt-2 text-sm text-gray-600 dark:text-gray-300\">La valutazione LLMOps dovrebbe preservare la versione, l'ambito e le condizioni di evidenza in cui una risposta rimane supportata.\u003C\u002Fp>\u003Cspan class=\"mt-3 inline-flex text-sm font-medium text-primary-600 dark:text-primary-400\">Leggi il confine di validità della risposta →\u003C\u002Fspan>\u003C\u002Fdiv>\u003C\u002Fa>\u003C\u002Faside>\n\u003Ch2 id=\"section-147\">Domande frequenti\u003C\u002Fh2>\n\u003Csection class=\"editorjs-faq my-6 rounded-xl border border-gray-200 p-5 dark:border-gray-700\">\u003Ch3 class=\"mb-3 text-lg font-semibold\">FAQ su MLOps vs LLMOps\u003C\u002Fh3>\u003Cdiv id=\"faq1\" class=\"border-t border-gray-200 py-4 first:border-t-0 dark:border-gray-700\">\u003Ch4 class=\"font-semibold text-gray-900 dark:text-gray-100\">Qual è la differenza tra MLOps e LLMOps?\u003C\u002Fh4>\u003Cdiv class=\"mt-2 text-gray-600 dark:text-gray-300\">MLOps gestisce sistemi di machine learning attraverso dati, addestramento, distribuzione e monitoraggio. LLMOps estende queste pratiche alle applicazioni LLM dove prompt, contesto, recupero, provider, strumenti e valutazioni influenzano materialmente il comportamento.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv id=\"faq2\" class=\"border-t border-gray-200 py-4 first:border-t-0 dark:border-gray-700\">\u003Ch4 class=\"font-semibold text-gray-900 dark:text-gray-100\">LLMOps sostituisce MLOps?\u003C\u002Fh4>\u003Cdiv class=\"mt-2 text-gray-600 dark:text-gray-300\">No. LLMOps riutilizza le discipline MLOps come CI\u002FCD, lineage, valutazione, distribuzione e monitoraggio e aggiunge preoccupazioni operative specifiche per gli LLM.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv id=\"faq3\" class=\"border-t border-gray-200 py-4 first:border-t-0 dark:border-gray-700\">\u003Ch4 class=\"font-semibold text-gray-900 dark:text-gray-100\">Le applicazioni LLM necessitano di addestramento continuo?\u003C\u002Fh4>\u003Cdiv class=\"mt-2 text-gray-600 dark:text-gray-300\">Non necessariamente. Molte utilizzano modelli di base esterni e si affidano invece alla valutazione continua di prompt, modelli, recupero e comportamento dell'applicazione. I sistemi ottimizzati o auto-addestrati possono comunque richiedere pipeline di addestramento.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv id=\"faq4\" class=\"border-t border-gray-200 py-4 first:border-t-0 dark:border-gray-700\">\u003Ch4 class=\"font-semibold text-gray-900 dark:text-gray-100\">Perché le valutazioni sono così importanti in LLMOps?\u003C\u002Fh4>\u003Cdiv class=\"mt-2 text-gray-600 dark:text-gray-300\">Gli output generativi sono aperti e il comportamento del modello può cambiare tra prompt, snapshot e contesto. Le valutazioni forniscono prove ripetibili che una release soddisfa ancora i criteri di qualità e sicurezza definiti.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv id=\"faq5\" class=\"border-t border-gray-200 py-4 first:border-t-0 dark:border-gray-700\">\u003Ch4 class=\"font-semibold text-gray-900 dark:text-gray-100\">Cosa dovrebbe essere versionato in LLMOps?\u003C\u002Fh4>\u003Cdiv class=\"mt-2 text-gray-600 dark:text-gray-300\">Come minimo: codice dell'applicazione, modello\u002Fprovider\u002Fversione, prompt, dataset\u002Fscorer di valutazione, configurazione\u002Findici di recupero, schemi degli strumenti, regole di contesto e configurazione rilevante di sicurezza\u002Fpermessi.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv id=\"faq6\" class=\"border-t border-gray-200 py-4 first:border-t-0 dark:border-gray-700\">\u003Ch4 class=\"font-semibold text-gray-900 dark:text-gray-100\">Il versioning dei prompt è sufficiente?\u003C\u002Fh4>\u003Cdiv class=\"mt-2 text-gray-600 dark:text-gray-300\">No. Lo stesso prompt può comportarsi diversamente con un altro modello, set di recupero, ordine del contesto, superficie degli strumenti o provider.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv id=\"faq7\" class=\"border-t border-gray-200 py-4 first:border-t-0 dark:border-gray-700\">\u003Ch4 class=\"font-semibold text-gray-900 dark:text-gray-100\">Cos'è GenAIOps?\u003C\u002Fh4>\u003Cdiv class=\"mt-2 text-gray-600 dark:text-gray-300\">GenAIOps è un altro termine di settore per operare applicazioni di AI generativa. Alcuni fornitori lo usano in modo intercambiabile o come etichetta più ampia rispetto a LLMOps.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv id=\"faq8\" class=\"border-t border-gray-200 py-4 first:border-t-0 dark:border-gray-700\">\u003Ch4 class=\"font-semibold text-gray-900 dark:text-gray-100\">Come si monitora un'applicazione LLM?\u003C\u002Fh4>\u003Cdiv class=\"mt-2 text-gray-600 dark:text-gray-300\">Monitora tracce end-to-end incluse chiamate al modello, prompt\u002Fcontesto, recupero, strumenti, latenza, token\u002Fcosto, campioni di qualità, sicurezza e risultati finali del task.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003Cdiv id=\"faq9\" class=\"border-t border-gray-200 py-4 first:border-t-0 dark:border-gray-700\">\u003Ch4 class=\"font-semibold text-gray-900 dark:text-gray-100\">Gli LLM locali possono usare pratiche LLMOps?\u003C\u002Fh4>\u003Cdiv class=\"mt-2 text-gray-600 dark:text-gray-300\">Sì. I modelli locali aggiungono proprie preoccupazioni operative come file del modello, hardware\u002FVRAM, caricamento\u002Fscaricamento, salute del runtime, quantizzazione e gestione degli aggiornamenti.\u003C\u002Fdiv>\u003C\u002Fdiv>\u003C\u002Fsection>\n\u003Ch2 id=\"section-149\">Glossario\u003C\u002Fh2>\n\u003Csection class=\"editorjs-glossary my-6 rounded-xl border border-gray-200 dark:border-gray-700 p-5\">\u003Ch3 class=\"mb-3 text-lg font-semibold\">Termini chiave di MLOps e LLMOps\u003C\u002Fh3>\u003Cdl>\u003Cdiv id=\"mlops\" class=\"border-t border-gray-200 dark:border-gray-700 py-3 first:border-t-0\">\u003Cdt class=\"font-semibold text-gray-900 dark:text-gray-100\">MLOps\u003C\u002Fdt>\u003Cdd class=\"mt-1 text-gray-600 dark:text-gray-300\">Pratiche ingegneristiche per costruire, distribuire, monitorare e mantenere sistemi di machine learning e il loro ciclo di vita di dati\u002Fmodelli.\u003C\u002Fdd>\u003C\u002Fdiv>\u003Cdiv id=\"llmops\" class=\"border-t border-gray-200 dark:border-gray-700 py-3 first:border-t-0\">\u003Cdt class=\"font-semibold text-gray-900 dark:text-gray-100\">LLMOps\u003C\u002Fdt>\u003Cdd class=\"mt-1 text-gray-600 dark:text-gray-300\">Pratiche operative per applicazioni in produzione il cui comportamento dipende materialmente da grandi modelli linguistici e dai circostanti prompt, contesto, recupero, strumenti e runtime.\u003C\u002Fdd>\u003C\u002Fdiv>\u003Cdiv id=\"genaiops\" class=\"border-t border-gray-200 dark:border-gray-700 py-3 first:border-t-0\">\u003Cdt class=\"font-semibold text-gray-900 dark:text-gray-100\">GenAIOps\u003C\u002Fdt>\u003Cdd class=\"mt-1 text-gray-600 dark:text-gray-300\">Disciplina operativa per applicazioni di AI generativa; spesso usata come etichetta più ampia o alternativa per LLMOps.\u003C\u002Fdd>\u003C\u002Fdiv>\u003Cdiv id=\"continuous-training\" class=\"border-t border-gray-200 dark:border-gray-700 py-3 first:border-t-0\">\u003Cdt class=\"font-semibold text-gray-900 dark:text-gray-100\">Addestramento continuo\u003C\u002Fdt>\u003Cdd class=\"mt-1 text-gray-600 dark:text-gray-300\">Riaddestramento e serving automatizzati o ripetuti di modelli ML al variare dei dati o delle implementazioni.\u003C\u002Fdd>\u003C\u002Fdiv>\u003Cdiv id=\"continuous-evaluation\" class=\"border-t border-gray-200 dark:border-gray-700 py-3 first:border-t-0\">\u003Cdt class=\"font-semibold text-gray-900 dark:text-gray-100\">Valutazione continua\u003C\u002Fdt>\u003Cdd class=\"mt-1 text-gray-600 dark:text-gray-300\">Valutazione ripetuta del comportamento AI candidato e in produzione rispetto a dataset e criteri versionati.\u003C\u002Fdd>\u003C\u002Fdiv>\u003Cdiv id=\"model-snapshot\" class=\"border-t border-gray-200 dark:border-gray-700 py-3 first:border-t-0\">\u003Cdt class=\"font-semibold text-gray-900 dark:text-gray-100\">Snapshot del modello\u003C\u002Fdt>\u003Cdd class=\"mt-1 text-gray-600 dark:text-gray-300\">Una versione concreta di un modello ospitato o pacchettizzato il cui comportamento può essere testato e referenziato.\u003C\u002Fdd>\u003C\u002Fdiv>\u003Cdiv id=\"application-lineage\" class=\"border-t border-gray-200 dark:border-gray-700 py-3 first:border-t-0\">\u003Cdt class=\"font-semibold text-gray-900 dark:text-gray-100\">Lineage dell'applicazione\u003C\u002Fdt>\u003Cdd class=\"mt-1 text-gray-600 dark:text-gray-300\">Relazione tracciabile tra codice, modello\u002Fprovider, prompt, dati\u002Frecupero, strumenti, runtime e configurazione di rilascio.\u003C\u002Fdd>\u003C\u002Fdiv>\u003Cdiv id=\"trace\" class=\"border-t border-gray-200 dark:border-gray-700 py-3 first:border-t-0\">\u003Cdt class=\"font-semibold text-gray-900 dark:text-gray-100\">Traccia\u003C\u002Fdt>\u003Cdd class=\"mt-1 text-gray-600 dark:text-gray-300\">Registro strutturato di una esecuzione dell'applicazione contenente span come chiamate al modello, recuperi e operazioni degli strumenti.\u003C\u002Fdd>\u003C\u002Fdiv>\u003Cdiv id=\"eval-dataset\" class=\"border-t border-gray-200 dark:border-gray-700 py-3 first:border-t-0\">\u003Cdt class=\"font-semibold text-gray-900 dark:text-gray-100\">Dataset di valutazione\u003C\u002Fdt>\u003Cdd class=\"mt-1 text-gray-600 dark:text-gray-300\">Set versionato di input rappresentativi, aspettative e opzionalmente tracce\u002Foutput usati per misurare il comportamento.\u003C\u002Fdd>\u003C\u002Fdiv>\u003Cdiv id=\"llm-judge\" class=\"border-t border-gray-200 dark:border-gray-700 py-3 first:border-t-0\">\u003Cdt class=\"font-semibold text-gray-900 dark:text-gray-100\">Giudice LLM\u003C\u002Fdt>\u003Cdd class=\"mt-1 text-gray-600 dark:text-gray-300\">Un modello linguistico usato come valutatore per criteri qualitativi o semantici; è esso stesso una dipendenza di valutazione versionata.\u003C\u002Fdd>\u003C\u002Fdiv>\u003Cdiv id=\"behavioral-regression\" class=\"border-t border-gray-200 dark:border-gray-700 py-3 first:border-t-0\">\u003Cdt class=\"font-semibold text-gray-900 dark:text-gray-100\">Regressione comportamentale\u003C\u002Fdt>\u003Cdd class=\"mt-1 text-gray-600 dark:text-gray-300\">Un degrado nell'output o nella traiettoria dell'applicazione nonostante interfacce e codice continuino a essere eseguiti con successo.\u003C\u002Fdd>\u003C\u002Fdiv>\u003Cdiv id=\"provider-routing\" class=\"border-t border-gray-200 dark:border-gray-700 py-3 first:border-t-0\">\u003Cdt class=\"font-semibold text-gray-900 dark:text-gray-100\">Routing dei provider\u003C\u002Fdt>\u003Cdd class=\"mt-1 text-gray-600 dark:text-gray-300\">Politica per selezionare tra provider\u002Fendpoint di modelli disponibili in base a capacità, costo, latenza, privacy o disponibilità.\u003C\u002Fdd>\u003C\u002Fdiv>\u003C\u002Fdl>\u003C\u002Fsection>\n\u003Ch2 id=\"section-151\">Conclusione\u003C\u002Fh2>\n\u003Cp>MLOps e LLMOps condividono lo stesso obiettivo ingegneristico: rendere i sistemi AI abbastanza riproducibili, testabili e osservabili da operare in modo affidabile in produzione.\u003C\u002Fp>\n\u003Cp>La differenza è la forma del sistema. Il MLOps classico spesso si concentra sull'addestramento e sul serving di artefatti del modello; LLMOps deve operare uno stack comportamentale in cui snapshot del modello, prompt, contesto, recupero, strumenti, permessi e provider possono cambiare indipendentemente.\u003C\u002Fp>\n\u003Cp>La regola utile più breve è: versiona, valuta e osserva tutto ciò che può cambiare materialmente il comportamento dell'applicazione LLM — non solo il modello.\u003C\u002Fp>\n\u003Ch2 id=\"section-155\">Fonti primarie e documentazione corrente\u003C\u002Fh2>\n\u003Cp>Le fonti seguenti fondano la base MLOps e i pattern operativi correnti per applicazioni LLM e agenti. Le sezioni del progetto sono prove di implementazione originali e sono intenzionalmente più ristrette rispetto alle affermazioni su una piattaforma LLMOps completa.\u003C\u002Fp>\n\u003Ca href=\"https:\u002F\u002Fdocs.cloud.google.com\u002Farchitecture\u002Fmlops-continuous-delivery-and-automation-pipelines-in-machine-learning\" target=\"_blank\" rel=\"noopener noreferrer\" class=\"editorjs-link-tool block border border-gray-200 dark:border-gray-700 rounded-lg p-4 transition text-gray-900 dark:text-gray-100 hover:border-primary-500 hover:bg-primary-50 dark:hover:bg-gray-900 hover:text-gray-900 dark:hover:text-gray-100\">\u003Cstrong class=\"block font-semibold\">Google Cloud — MLOps: pipeline di continuous delivery e automazione\u003C\u002Fstrong>\u003Cp class=\"text-sm text-gray-600 dark:text-gray-400\">Architettura di riferimento che descrive CI, CD, addestramento continuo, registro dei modelli, metadati, serving e monitoraggio per sistemi ML.\u003C\u002Fp>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fdocs.aws.amazon.com\u002Fwellarchitected\u002Flatest\u002Fmachine-learning-lens\u002Fmlops02-bp04.html\" target=\"_blank\" rel=\"noopener noreferrer\" class=\"editorjs-link-tool block border border-gray-200 dark:border-gray-700 rounded-lg p-4 transition text-gray-900 dark:text-gray-100 hover:border-primary-500 hover:bg-primary-50 dark:hover:bg-gray-900 hover:text-gray-900 dark:hover:text-gray-100\">\u003Cstrong class=\"block font-semibold\">AWS Machine Learning Lens — Lineage del modello\u003C\u002Fstrong>\u003Cp class=\"text-sm text-gray-600 dark:text-gray-400\">Guida corrente per tracciare codice, dati, modelli, ambienti e infrastruttura attraverso le release ML.\u003C\u002Fp>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fdocs.aws.amazon.com\u002Fwellarchitected\u002Flatest\u002Fmachine-learning-lens\u002Fmlops06-bp02.html\" target=\"_blank\" rel=\"noopener noreferrer\" class=\"editorjs-link-tool block border border-gray-200 dark:border-gray-700 rounded-lg p-4 transition text-gray-900 dark:text-gray-100 hover:border-primary-500 hover:bg-primary-50 dark:hover:bg-gray-900 hover:text-gray-900 dark:hover:text-gray-100\">\u003Cstrong class=\"block font-semibold\">AWS Machine Learning Lens — Osservabilità e tracciamento del modello\u003C\u002Fstrong>\u003Cp class=\"text-sm text-gray-600 dark:text-gray-400\">Guida corrente per monitoraggio dei modelli in produzione, drift, salute degli endpoint e lineage.\u003C\u002Fp>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Flearn.microsoft.com\u002Fen-us\u002Fazure\u002Fmachine-learning\u002Fprompt-flow\u002Fhow-to-end-to-end-llmops-with-prompt-flow\" target=\"_blank\" rel=\"noopener noreferrer\" class=\"editorjs-link-tool block border border-gray-200 dark:border-gray-700 rounded-lg p-4 transition text-gray-900 dark:text-gray-100 hover:border-primary-500 hover:bg-primary-50 dark:hover:bg-gray-900 hover:text-gray-900 dark:hover:text-gray-100\">\u003Cstrong class=\"block font-semibold\">Microsoft Azure — Ciclo di vita GenAIOps \u002F LLMOps\u003C\u002Fstrong>\u003Cp class=\"text-sm text-gray-600 dark:text-gray-400\">Guida ufficiale che descrive GenAIOps, talvolta chiamato LLMOps, attraverso inizializzazione, sperimentazione, valutazione\u002Fraffinamento e distribuzione.\u003C\u002Fp>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002F\" target=\"_blank\" rel=\"noopener noreferrer\" class=\"editorjs-link-tool block border border-gray-200 dark:border-gray-700 rounded-lg p-4 transition text-gray-900 dark:text-gray-100 hover:border-primary-500 hover:bg-primary-50 dark:hover:bg-gray-900 hover:text-gray-900 dark:hover:text-gray-100\">\u003Cstrong class=\"block font-semibold\">MLflow — Agenti e applicazioni LLM\u003C\u002Fstrong>\u003Cp class=\"text-sm text-gray-600 dark:text-gray-400\">Documentazione corrente sulle operazioni GenAI che copre tracciamento, valutazione, prompt e osservabilità in produzione per applicazioni LLM e agenti.\u003C\u002Fp>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fwww.mlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002Feval-monitor\u002Frunning-evaluation\u002Ftraces\u002F\" target=\"_blank\" rel=\"noopener noreferrer\" class=\"editorjs-link-tool block border border-gray-200 dark:border-gray-700 rounded-lg p-4 transition text-gray-900 dark:text-gray-100 hover:border-primary-500 hover:bg-primary-50 dark:hover:bg-gray-900 hover:text-gray-900 dark:hover:text-gray-100\">\u003Cstrong class=\"block font-semibold\">MLflow — Valutazione delle tracce di produzione\u003C\u002Fstrong>\u003Cp class=\"text-sm text-gray-600 dark:text-gray-400\">Guida corrente per valutare tracce complete LLM\u002Fagente, incluse traiettorie di recupero e chiamate agli strumenti.\u003C\u002Fp>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002Fprompt-registry\u002Fevaluate-prompts\u002F\" target=\"_blank\" rel=\"noopener noreferrer\" class=\"editorjs-link-tool block border border-gray-200 dark:border-gray-700 rounded-lg p-4 transition text-gray-900 dark:text-gray-100 hover:border-primary-500 hover:bg-primary-50 dark:hover:bg-gray-900 hover:text-gray-900 dark:hover:text-gray-100\">\u003Cstrong class=\"block font-semibold\">MLflow — Valutazione dei prompt\u003C\u002Fstrong>\u003Cp class=\"text-sm text-gray-600 dark:text-gray-400\">Flusso di lavoro attuale per la valutazione di prompt\u002Fmodelli utilizzando prompt versionati, dataset, scorer e trace.\u003C\u002Fp>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Freference\u002Foverview\" target=\"_blank\" rel=\"noopener noreferrer\" class=\"editorjs-link-tool block border border-gray-200 dark:border-gray-700 rounded-lg p-4 transition text-gray-900 dark:text-gray-100 hover:border-primary-500 hover:bg-primary-50 dark:hover:bg-gray-900 hover:text-gray-900 dark:hover:text-gray-100\">\u003Cstrong class=\"block font-semibold\">OpenAI API — Versionamento e snapshot dei modelli\u003C\u002Fstrong>\u003Cp class=\"text-sm text-gray-600 dark:text-gray-400\">Linee guida attuali dell'API che raccomandano versioni dei modelli bloccate e valutazioni poiché il comportamento dei prompt può cambiare tra gli snapshot.\u003C\u002Fp>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompting\" target=\"_blank\" rel=\"noopener noreferrer\" class=\"editorjs-link-tool block border border-gray-200 dark:border-gray-700 rounded-lg p-4 transition text-gray-900 dark:text-gray-100 hover:border-primary-500 hover:bg-primary-50 dark:hover:bg-gray-900 hover:text-gray-900 dark:hover:text-gray-100\">\u003Cstrong class=\"block font-semibold\">OpenAI — Prompting\u003C\u002Fstrong>\u003Cp class=\"text-sm text-gray-600 dark:text-gray-400\">Linee guida attuali che suggeriscono di trattare i prompt di produzione come codice applicativo, versionarli tramite il controllo del codice sorgente e coprire le modifiche con test e verifiche di valutazione.\u003C\u002Fp>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fdeprecations\" target=\"_blank\" rel=\"noopener noreferrer\" class=\"editorjs-link-tool block border border-gray-200 dark:border-gray-700 rounded-lg p-4 transition text-gray-900 dark:text-gray-100 hover:border-primary-500 hover:bg-primary-50 dark:hover:bg-gray-900 hover:text-gray-900 dark:hover:text-gray-100\">\u003Cstrong class=\"block font-semibold\">OpenAI — Deprecazioni\u003C\u002Fstrong>\u003Cp class=\"text-sm text-gray-600 dark:text-gray-400\">Evidenza attuale del ciclo di vita del fornitore che mostra il ritiro di modelli e superfici della piattaforma come dipendenza operativa.\u003C\u002Fp>\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fdevelopers.openai.com\u002Fcookbook\u002Fexamples\u002Fevaluation\u002Fmoving-from-openai-evals-to-promptfoo\" target=\"_blank\" rel=\"noopener noreferrer\" class=\"editorjs-link-tool block border border-gray-200 dark:border-gray-700 rounded-lg p-4 transition text-gray-900 dark:text-gray-100 hover:border-primary-500 hover:bg-primary-50 dark:hover:bg-gray-900 hover:text-gray-900 dark:hover:text-gray-100\">\u003Cstrong class=\"block font-semibold\">OpenAI — Migrazione dei flussi di lavoro di valutazione a Promptfoo\u003C\u002Fstrong>\u003Cp class=\"text-sm text-gray-600 dark:text-gray-400\">Linee guida attuali del 2026 sulla migrazione che illustrano perché gli asset di valutazione dovrebbero rimanere portabili al variare degli strumenti del fornitore.\u003C\u002Fp>\u003C\u002Fa>",{"time":212,"blocks":213,"version":1558},1791487651432,[214,220,228,235,242,248,256,261,266,271,276,281,286,291,296,301,306,311,316,348,353,358,363,368,373,421,426,431,436,441,446,496,501,506,511,516,521,526,531,536,541,546,551,556,561,566,571,576,581,586,591,596,605,610,615,620,625,632,637,642,647,652,657,662,667,672,677,682,687,692,700,705,710,715,720,725,730,735,740,745,750,755,760,765,800,805,810,815,820,825,830,835,840,845,880,885,890,895,900,905,910,915,920,925,930,935,940,945,950,955,960,965,970,975,980,985,990,995,1000,1005,1010,1042,1048,1053,1097,1102,1140,1145,1187,1192,1242,1247,1252,1257,1262,1267,1272,1277,1282,1287,1292,1297,1302,1307,1312,1320,1328,1333,1375,1380,1428,1433,1438,1443,1448,1453,1458,1468,1477,1486,1495,1504,1513,1522,1531,1540,1549],{"id":215,"data":216,"type":218,"tunes":219},"intro",{"text":217},"MLOps è la disciplina ingegneristica per sviluppare, distribuire, versionare e gestire in modo affidabile i sistemi di machine learning; LLMOps estende tale disciplina alle applicazioni costruite attorno a modelli linguistici di grandi dimensioni, dove il comportamento in produzione dipende non solo da un artefatto del modello ma anche da prompt, contesto, retrieval, versioni di provider\u002Fmodello, chiamate a strumenti, controlli di sicurezza e pipeline di valutazione. LLMOps non sostituisce MLOps. Cambia l'unità operativa da \"un modello più pipeline di serving\" verso \"un'applicazione LLM in evoluzione il cui comportamento emerge da diversi componenti che cambiano indipendentemente\".","paragraph",{},{"id":221,"data":222,"type":226,"tunes":227},"direct",{"body":223,"title":224,"variant":225},"\u003Cstrong>MLOps gestisce sistemi ML. LLMOps gestisce applicazioni LLM.\u003C\u002Fstrong>\u003Cbr>\u003Cbr>Il MLOps classico si concentra comunemente su pipeline di dati, addestramento, validazione, registro dei modelli, distribuzione, drift e riaddestramento. LLMOps mantiene tali discipline dove rilevante, ma spesso aggiunge versionamento di prompt\u002Fcontesto, astrazione di modello\u002Fprovider, indici RAG, tracce di agenti\u002Fstrumenti, valutazioni semantiche, test di sicurezza, monitoraggio di token\u002Fcosti e test di regressione attraverso snapshot di modelli che cambiano rapidamente.","Risposta diretta","info","callout",{},{"id":229,"data":230,"type":226,"tunes":234},"boundary",{"body":231,"title":232,"variant":233},"Un'applicazione LLM in produzione può fallire anche quando il prompt è invariato: il provider può cambiare uno snapshot del modello, un corpus RAG può diventare obsoleto, un reranker può regredire, i permessi degli strumenti possono cambiare, l'assemblaggio del contesto può perdere evidenze, o un agente può intraprendere una traiettoria sbagliata. LLMOps deve quindi osservare e versionare il sistema attorno al modello, non solo il testo del prompt.","LLMOps non è solo gestione dei prompt","warning",{},{"id":236,"data":237,"type":226,"tunes":241},"term-note",{"body":238,"title":239,"variant":240},"\u003Cstrong>LLMOps\u003C\u002Fstrong>, \u003Cstrong>GenAIOps\u003C\u002Fstrong> e termini correlati sono etichette ingegneristiche ampiamente usate, ma non sono un unico standard formale universale con un singolo ciclo di vita canonico. Microsoft attualmente descrive GenAIOps come \"talvolta chiamato LLMOps\", mentre MLflow raggruppa strumenti operativi attorno ad agenti e applicazioni LLM. Questo articolo usa LLMOps come termine architetturale pratico per gestire sistemi di produzione il cui comportamento dipende materialmente da LLM.","Confine terminologico","note",{},{"id":243,"data":244,"type":226,"tunes":247},"current",{"body":245,"title":246,"variant":240},"La superficie operativa sta cambiando rapidamente. OpenAI attualmente raccomanda di fissare gli snapshot dei modelli e di eseguire valutazioni perché il comportamento del prompting può cambiare tra snapshot, e diverse superfici più vecchie specifiche della piattaforma per prompt\u002Fvalutazione vengono ritirate nel 2026. La lezione architetturale stabile è mantenere prompt, test e valutazioni portabili e versionati con l'applicazione invece di dipendere dal modello a oggetti della dashboard di un singolo provider.","Nota sulle fonti attuali — 8 ottobre 2026",{},{"id":249,"data":250,"type":254,"tunes":255},"toc",{"title":251,"maxLevel":252,"minLevel":253},"Indice",3,2,"tableOfContents",{},{"id":257,"data":258,"type":42,"tunes":260},"h-meaning",{"text":259,"level":253},"Cosa significa realmente MLOps",{},{"id":262,"data":263,"type":218,"tunes":265},"p-mlops-1",{"text":264},"MLOps applica disciplina di ingegneria del software e operativa ai sistemi di machine learning. La sfida produttiva è più ampia dell'addestramento di un modello: raccolta dati, validazione dei dati, sperimentazione, riproducibilità, valutazione del modello, distribuzione, infrastruttura e monitoraggio devono tutti funzionare insieme.",{},{"id":267,"data":268,"type":218,"tunes":270},"p-mlops-2",{"text":269},"La guida architetturale MLOps di Google inquadra la disciplina attorno a integrazione continua, distribuzione continua e addestramento continuo. La CI valida non solo il codice ma anche dati, schemi e modelli; la CD distribuisce pipeline ML e servizi di predizione; la CT può riaddestrare e ridistribuire modelli al variare di dati o implementazioni.",{},{"id":272,"data":273,"type":218,"tunes":275},"p-mlops-3",{"text":274},"La guida AWS aggiunge le stesse preoccupazioni operative da un'altra angolazione: lineage del modello, tracciabilità modello\u002Fversione, monitoraggio del drift e monitoraggio della qualità in produzione sono parti centrali per mantenere affidabili i sistemi ML dopo la distribuzione.",{},{"id":277,"data":278,"type":42,"tunes":280},"h-llmops",{"text":279,"level":253},"Cosa cambia quando il modello è un LLM",{},{"id":282,"data":283,"type":218,"tunes":285},"p-llmops-1",{"text":284},"I modelli linguistici di grandi dimensioni cambiano il problema produttivo perché l'applicazione spesso non possiede l'intero ciclo di vita dell'addestramento del modello. Un team può chiamare un'API di modello ospitato, eseguire un modello aperto localmente, passare tra provider o usare diversi modelli per compiti diversi.",{},{"id":287,"data":288,"type":218,"tunes":290},"p-llmops-2",{"text":289},"Il modello è quindi solo una dipendenza versionata all'interno di un sistema comportamentale più ampio. Prompt, risultati di retrieval, ordine del contesto, strumenti, snapshot del modello, impostazioni di temperatura\u002Fragionamento, filtri di sicurezza e orchestrazione runtime possono tutti cambiare l'output.",{},{"id":292,"data":293,"type":218,"tunes":295},"p-llmops-3",{"text":294},"Questo crea una domanda operativa più ampia: quale combinazione di modello, contesto, dati, prompt, strumenti e runtime ha prodotto questo comportamento? LLMOps esiste per rendere tale domanda rispondibile e la risposta sufficientemente riproducibile per il lavoro ingegneristico.",{},{"id":297,"data":298,"type":42,"tunes":300},"h-simple",{"text":299,"level":253},"L'esempio più semplice",{},{"id":302,"data":303,"type":218,"tunes":305},"p-simple-1",{"text":304},"Supponiamo che un'applicazione risponda a domande sulle politiche interne.",{},{"id":307,"data":308,"type":218,"tunes":310},"p-simple-2",{"text":309},"In un inquadramento ML classico, potresti versionare un classificatore addestrato, distribuirlo e monitorare la qualità delle predizioni. In un'applicazione LLM, la risposta potrebbe dipendere da uno snapshot di modello ospitato, un prompt di sistema, un modello di embedding, un indice vettoriale, filtri di retrieval, un reranker e il contesto finale selezionato.",{},{"id":312,"data":313,"type":218,"tunes":315},"p-simple-3",{"text":314},"Cambiare uno qualsiasi di questi componenti può cambiare la risposta finale anche se l'endpoint dell'applicazione e la domanda dell'utente restano identici.",{},{"id":317,"data":318,"type":346,"tunes":347},"simple-flow",{"steps":319,"title":344,"orientation":345},[320,323,326,329,332,335,338,341],{"label":321,"description":322},"1. Modifica un componente","Prompt, modello, provider, impostazione di retrieval, schema degli strumenti o codice dell'applicazione cambiano.",{"label":324,"description":325},"2. Esegui test deterministici","Convalida schemi, autorizzazioni, contratti degli strumenti, filtri di retrieval e comportamento dell'applicazione.",{"label":327,"description":328},"3. Esegui valutazioni comportamentali","Confronta output rappresentativi, qualità del retrieval e traiettorie di agenti\u002Fstrumenti rispetto ai criteri di accettazione.",{"label":330,"description":331},"4. Confronta costo e latenza","Misura l'uso dei token, le chiamate al modello, il sovraccarico di retrieval\u002Fstrumenti e la latenza di risposta.",{"label":333,"description":334},"5. Distribuisci una versione controllata","Rilascia la configurazione concreta dell'applicazione con le versioni di modello\u002Fprovider registrate.",{"label":336,"description":337},"6. Traccia il comportamento in produzione","Cattura gli span rilevanti di modello, retrieval, strumenti e runtime.",{"label":339,"description":340},"7. Valuta le tracce di produzione","Campiona esecuzioni reali per qualità, grounding, sicurezza e successo del compito.",{"label":342,"description":343},"8. Esegui rollback o itera","Usa le prove di regressione e i segnali operativi per decidere il prossimo rilascio.","Un tipico percorso di rilascio LLMOps","auto","processFlow",{},{"id":349,"data":350,"type":42,"tunes":352},"h-stops",{"text":351,"level":253},"Dove si ferma l'esempio semplice",{},{"id":354,"data":355,"type":218,"tunes":357},"p-stops-1",{"text":356},"Alcuni sistemi LLM addestrano ancora o mettono a punto i propri modelli, quindi le pratiche MLOps tradizionali come pipeline di addestramento, registro dei modelli e lineage dei dati rimangono direttamente rilevanti.",{},{"id":359,"data":360,"type":218,"tunes":362},"p-stops-2",{"text":361},"Altri sistemi utilizzano solo API di modelli di fondazione esterni e non eseguono mai addestramento continuo. Il loro principale carico di lavoro operativo è la valutazione dell'applicazione, la gestione dei cambiamenti di modello\u002Fprovider, il versionamento di prompt\u002Fcontesto, la qualità del retrieval e l'osservabilità.",{},{"id":364,"data":365,"type":218,"tunes":367},"p-stops-3",{"text":366},"Non esiste quindi un'unica 'pipeline LLMOps' universale. Il ciclo di vita esatto dipende dal fatto che si addestri, si metta a punto, si ospiti autonomamente, si recuperi conoscenza esterna, si eseguano agenti o si dipenda da API di modelli gestiti.",{},{"id":369,"data":370,"type":42,"tunes":372},"h-compare",{"text":371,"level":253},"MLOps vs LLMOps",{},{"id":374,"data":375,"type":419,"tunes":420},"main-comparison",{"rows":376,"title":410,"layout":411,"columns":412},[377,382,386,390,394,398,402,406],{"id":378,"label":379,"values":380},"unit","Unità operativa primaria",[381,381],"",{"id":383,"label":384,"values":385},"model","Proprietà del modello",[381,381],{"id":387,"label":388,"values":389},"change","Cambiamento tipico",[381,381],{"id":391,"label":392,"values":393},"eval","Valutazione",[381,381],{"id":395,"label":396,"values":397},"monitor","Monitoraggio in produzione",[381,381],{"id":399,"label":400,"values":401},"training","Addestramento continuo",[381,381],{"id":403,"label":404,"values":405},"registry","Artefatti versionati",[381,381],{"id":407,"label":408,"values":409},"rollback","Obiettivo di rollback",[381,381],"Cosa rimane uguale e cosa si espande","table",[413,416],{"id":414,"label":415},"mlops","MLOps",{"id":417,"label":418},"llmops","LLMOps","comparison",{},{"id":422,"data":423,"type":42,"tunes":425},"h-extension",{"text":424,"level":253},"LLMOps estende MLOps invece di sostituirlo",{},{"id":427,"data":428,"type":218,"tunes":430},"p-extension-1",{"text":429},"I principi operativi fondamentali non scompaiono: controllo del codice sorgente, CI\u002FCD, riproducibilità, lineage, controlli di distribuzione, monitoraggio, rollback e criteri di accettazione misurabili rimangono essenziali.",{},{"id":432,"data":433,"type":218,"tunes":435},"p-extension-2",{"text":434},"L'estensione è che più artefatti che definiscono il comportamento ora risiedono al di fuori dei pesi del modello. Un modello di fondazione gestito può cambiare comportamento tramite aggiornamenti di snapshot, mentre l'output dell'applicazione può cambiare tramite modifiche di prompt o retrieval senza alcun riaddestramento del modello.",{},{"id":437,"data":438,"type":218,"tunes":440},"p-extension-3",{"text":439},"Questo è il motivo per cui la gerarchia utile è solitamente DevOps → MLOps → LLMOps\u002FGenAIOps come preoccupazioni operative sempre più specializzate, non tre pratiche mutuamente esclusive.",{},{"id":442,"data":443,"type":42,"tunes":445},"h-artifacts",{"text":444,"level":253},"Cosa deve essere versionato in LLMOps?",{},{"id":447,"data":448,"type":411,"tunes":495},"artifact-table",{"content":449,"stretched":43,"withHeadings":14},[450,453,456,459,462,465,468,471,474,477,480,483,486,489,492],[451,452],"Artefatto","Perché è importante",[454,455],"Codice dell'applicazione","Definisce orchestrazione, convalida, tentativi e comportamento aziendale",[457,458],"Famiglia di modelli + snapshot\u002Fversione","Snapshot diversi possono produrre comportamenti diversi",[460,461],"Provider \u002F endpoint","Cambia flusso di dati, latenza, limiti, prezzi e disponibilità",[463,464],"Codice di prompt\u002Fistruzioni","Cambia il comportamento del modello anche con lo stesso modello",[466,467],"Parametri di generazione\u002Fragionamento","Possono alterare determinismo, latenza, profondità e costo",[469,470],"Dataset di valutazione","Definisce rispetto a cosa viene testato il 'sufficientemente buono'",[472,473],"Scorer \u002F grader","Definiscono come viene misurata la qualità",[475,476],"Modello di embedding","Cambia la rappresentazione vettoriale e il comportamento di retrieval",[478,479],"Configurazione di chunking\u002Findice","Cambia ciò che può essere recuperato",[481,482],"Reranker \u002F fusione di retrieval","Cambia l'ordinamento dei risultati",[484,485],"Schemi degli strumenti","Cambiano ciò che il modello può richiedere e come",[487,488],"Profilo di autorizzazione","Cambia quali azioni degli strumenti possono effettivamente essere eseguite",[490,491],"Regole di assemblaggio del contesto","Cambiano quali prove e stato raggiungono il modello",[493,494],"Configurazione di sicurezza\u002Fguardrail","Cambia il comportamento consentito o bloccato",{},{"id":497,"data":498,"type":42,"tunes":500},"h-model-version",{"text":499,"level":253},"Gli snapshot dei modelli diventano dipendenze di rilascio",{},{"id":502,"data":503,"type":218,"tunes":505},"p-model-version-1",{"text":504},"Con gli LLM ospitati, il team potrebbe non controllare l'addestramento del modello, ma controlla ancora quale modello o snapshot l'applicazione chiama.",{},{"id":507,"data":508,"type":218,"tunes":510},"p-model-version-2",{"text":509},"Le attuali linee guida API di OpenAI avvertono esplicitamente che il comportamento del prompting può cambiare tra snapshot del modello e raccomandano di fissare le applicazioni di produzione a snapshot specifici dove la coerenza è importante, quindi eseguire valutazioni durante l'aggiornamento.",{},{"id":512,"data":513,"type":218,"tunes":515},"p-model-version-3",{"text":514},"La conseguenza operativa è semplice: gli aggiornamenti del modello dovrebbero essere trattati come rilasci dell'applicazione, non come manutenzione invisibile dell'infrastruttura.",{},{"id":517,"data":518,"type":42,"tunes":520},"h-provider",{"text":519,"level":253},"Il ciclo di vita del provider diventa parte delle operazioni",{},{"id":522,"data":523,"type":218,"tunes":525},"p-provider-1",{"text":524},"Le applicazioni LLM spesso dipendono dai limiti di velocità dei provider, dalle pianificazioni di deprecazione, dalla semantica delle API, dai limiti di contesto, dalle regole di gestione dei dati e dai prezzi.",{},{"id":527,"data":528,"type":218,"tunes":530},"p-provider-2",{"text":529},"Un provider può deprecare un modello mentre il codice della tua applicazione rimane invariato. L'attuale pianificazione di deprecazione di OpenAI, ad esempio, include date di ritiro nel 2026 per snapshot di modelli più vecchi e superfici della piattaforma.",{},{"id":532,"data":533,"type":218,"tunes":535},"p-provider-3",{"text":534},"LLMOps necessita quindi di tracciamento del ciclo di vita del provider, test di migrazione e decisioni di fallback oltre al monitoraggio della qualità del modello.",{},{"id":537,"data":538,"type":42,"tunes":540},"h-prompt",{"text":539,"level":253},"I prompt si comportano come codice di produzione",{},{"id":542,"data":543,"type":218,"tunes":545},"p-prompt-1",{"text":544},"I prompt sono configurazione comportamentale eseguibile. Piccole modifiche possono alterare la qualità dell'output, la selezione degli strumenti e l'interpretazione delle policy.",{},{"id":547,"data":548,"type":218,"tunes":550},"p-prompt-2",{"text":549},"L'attuale guida di OpenAI raccomanda di archiviare i prompt di produzione nel codice dell'applicazione, rivedere le modifiche ai prompt tramite pull request, utilizzare input tipizzati e coprire le modifiche con test e controlli di valutazione.",{},{"id":552,"data":553,"type":218,"tunes":555},"p-prompt-3",{"text":554},"Ciò rende il versionamento dei prompt meno simile alla modifica di testi di marketing e più simile alla modifica di una funzione il cui output è probabilistico e dipendente dal modello.",{},{"id":557,"data":558,"type":42,"tunes":560},"h-context",{"text":559,"level":253},"L'ingegneria del contesto diventa una preoccupazione operativa",{},{"id":562,"data":563,"type":218,"tunes":565},"p-context-1",{"text":564},"Il modello di produzione raramente riceve solo un prompt statico. Può ricevere cronologia della conversazione, documenti recuperati, output di strumenti, memoria, stato corrente dell'applicazione e istruzioni di policy.",{},{"id":567,"data":568,"type":218,"tunes":570},"p-context-2",{"text":569},"LLMOps deve quindi osservare l'assemblaggio del contesto: quali prove sono state selezionate, quale versione dello stato era corrente, se si è verificato un troncamento e se istruzioni importanti sono sopravvissute alla compattazione.",{},{"id":572,"data":573,"type":218,"tunes":575},"p-context-3",{"text":574},"Una regressione del modello e una regressione del contesto possono apparire identiche nella risposta finale. Tracciare il percorso effettivo del contesto è ciò che consente al team di distinguerle.",{},{"id":577,"data":578,"type":42,"tunes":580},"h-rag",{"text":579,"level":253},"Il RAG crea il proprio ciclo di vita operativo",{},{"id":582,"data":583,"type":218,"tunes":585},"p-rag-1",{"text":584},"Un sistema RAG introduce una seconda pipeline di produzione accanto all'inferenza del modello: acquisizione, estrazione, chunking, metadati, embedding, indici, recupero, reranking e selezione del contesto.",{},{"id":587,"data":588,"type":218,"tunes":590},"p-rag-2",{"text":589},"Il corpus di conoscenza può cambiare ogni giorno anche quando il modello e il prompt non cambiano. Un indice obsoleto o un filtro di metadati non funzionante può quindi degradare la qualità delle risposte senza alcun drift del modello.",{},{"id":592,"data":593,"type":218,"tunes":595},"p-rag-3",{"text":594},"LLMOps per RAG dovrebbe tracciare versione del corpus\u002Findice, modello di embedding, policy di chunking, configurazione del recupero, freschezza delle fonti e metriche di recupero separatamente dalla qualità della generazione.",{},{"id":597,"data":598,"type":603,"tunes":604},"ref-rag-diagnostic",{"url":599,"title":600,"excerpt":601,"ctaLabel":602},"https:\u002F\u002Fstajic.de\u002Fit\u002Fblog\u002Frag-failed-but-which-layer-actually-failed-a-diagnostic-method","RAG fallito — ma quale livello ha effettivamente fallito? Un metodo diagnostico","Una pipeline LLM di produzione necessita di osservabilità separata per copertura delle fonti, recupero, ranking, assemblaggio del contesto e generazione.","Leggi il metodo diagnostico RAG","referralArticle",{},{"id":606,"data":607,"type":42,"tunes":609},"h-evals",{"text":608,"level":253},"Le valutazioni sostituiscono “mi sembra buono” con prove di rilascio",{},{"id":611,"data":612,"type":218,"tunes":614},"p-eval-1",{"text":613},"Gli output generativi sono spesso aperti, quindi i test di corrispondenza esatta sono insufficienti per molti compiti. LLMOps aggiunge set di dati di valutazione e scorer che possono misurare il successo del compito, la correttezza, la sicurezza, la fondatezza, lo stile o criteri di accettazione specifici del dominio.",{},{"id":616,"data":617,"type":218,"tunes":619},"p-eval-2",{"text":618},"L'attuale stack di valutazione GenAI di MLflow supporta dataset di valutazione versionati, confronti tra prompt\u002Fmodelli, scorer personalizzati e valutazione su tracce complete.",{},{"id":621,"data":622,"type":218,"tunes":624},"p-eval-3",{"text":623},"La pratica più solida è lo sviluppo guidato dalla valutazione: definire casi rappresentativi e criteri di accettazione prima o insieme alle modifiche, poi confrontare le release rispetto alle stesse evidenze.",{},{"id":626,"data":627,"type":226,"tunes":631},"eval-rule",{"body":628,"title":629,"variant":630},"Un deployment non dovrebbe essere considerato equivalente solo perché il contratto API funziona ancora. Se il prompt, il modello, il retrieval o gli strumenti sono cambiati, la suite di regressione comportamentale dovrebbe essere eseguita di nuovo.","I cambiamenti comportamentali richiedono test comportamentali","success",{},{"id":633,"data":634,"type":42,"tunes":636},"h-judges",{"text":635,"level":253},"LLM-as-a-judge è utile ma non è ground truth",{},{"id":638,"data":639,"type":218,"tunes":641},"p-judge-1",{"text":640},"I giudici LLM possono scalare la valutazione per qualità costose da codificare come asserzioni deterministiche, come rilevanza, tono o groundedness.",{},{"id":643,"data":644,"type":218,"tunes":646},"p-judge-2",{"text":645},"Tuttavia, il giudice è un altro modello con il proprio bias, versione e prompt. La configurazione del giudice dovrebbe quindi essere versionata e calibrata rispetto a casi di riferimento umani o deterministici dove le conseguenze contano.",{},{"id":648,"data":649,"type":218,"tunes":651},"p-judge-3",{"text":650},"Una valutazione di produzione può combinare controlli deterministici, metriche basate su riferimento, giudici modello e revisione umana invece di chiedere a una singola metrica di rappresentare ogni dimensione di qualità.",{},{"id":653,"data":654,"type":42,"tunes":656},"h-tracing",{"text":655,"level":253},"Il tracing diventa più importante dei log degli endpoint",{},{"id":658,"data":659,"type":218,"tunes":661},"p-trace-1",{"text":660},"I log API tradizionali possono dirti che una richiesta ha impiegato due secondi e ha restituito HTTP 200. Non possono dirti quali chunk recuperati sono stati selezionati, quale strumento ha chiamato l'agente o quale span del modello ha consumato più token.",{},{"id":663,"data":664,"type":218,"tunes":666},"p-trace-2",{"text":665},"L'attuale tracing GenAI di MLflow cattura prompt, retrieval, chiamate agli strumenti e span dell'applicazione, e il suo flusso di valutazione in produzione può valutare informazioni di traiettoria intermedie invece del solo testo finale.",{},{"id":668,"data":669,"type":218,"tunes":671},"p-trace-3",{"text":670},"Questo è un cambiamento importante nel LLMOps: l'osservabilità segue il grafo comportamentale dell'applicazione, non solo l'endpoint di serving.",{},{"id":673,"data":674,"type":42,"tunes":676},"h-agent",{"text":675,"level":253},"Gli agenti espandono il LLMOps in operazioni runtime",{},{"id":678,"data":679,"type":218,"tunes":681},"p-agent-1",{"text":680},"Un'applicazione agentica può eseguire diverse chiamate al modello, invocazioni di strumenti e transizioni di stato prima di produrre un risultato.",{},{"id":683,"data":684,"type":218,"tunes":686},"p-agent-2",{"text":685},"Operare agenti richiede quindi conteggi dei passaggi, tracce delle chiamate agli strumenti, dinieghi di autorizzazione, retry, rilevamento di loop, approvazioni umane e stato finale verificato, oltre alle ordinarie metriche di latenza del modello e token.",{},{"id":688,"data":689,"type":218,"tunes":691},"p-agent-3",{"text":690},"Una risposta finale corretta può nascondere una traiettoria sbagliata, quindi la valutazione dell'agente deve ispezionare il percorso oltre al risultato.",{},{"id":693,"data":694,"type":603,"tunes":699},"ref-agent-reliability",{"url":695,"title":696,"excerpt":697,"ctaLabel":698},"https:\u002F\u002Fstajic.de\u002Fit\u002Fblog\u002Fai-agent-reliability-why-the-final-answer-is-not-enough","Affidabilità degli agenti AI: perché la risposta finale non basta","Perché la valutazione degli agenti in produzione deve includere chiamate agli strumenti, transizioni di stato, approvazioni e recuperabilità.","Leggi l'articolo sull'affidabilità degli agenti",{},{"id":701,"data":702,"type":42,"tunes":704},"h-cost",{"text":703,"level":253},"Token, chiamate al modello e contesto diventano variabili di costo",{},{"id":706,"data":707,"type":218,"tunes":709},"p-cost-1",{"text":708},"Il costo di inferenza ML classico è spesso dominato dall'infrastruttura di serving o dal calcolo per predizione. Le applicazioni LLM possono aggiungere prezzi per token del provider, chiamate ripetute agli agenti, chiamate di embedding, reranking e overhead di strumenti\u002Fruntime.",{},{"id":711,"data":712,"type":218,"tunes":714},"p-cost-2",{"text":713},"Il costo deve quindi essere attribuito al task o alla traccia, non solo a un endpoint. Un workflow che effettua otto chiamate nascoste al modello può essere funzionalmente corretto ma operativamente inaccettabile.",{},{"id":716,"data":717,"type":218,"tunes":719},"p-cost-3",{"text":718},"La latenza si comporta allo stesso modo: latenza del modello, retrieval, reranking e strumenti esterni si compongono nella latenza end-to-end percepita dall'utente.",{},{"id":721,"data":722,"type":42,"tunes":724},"h-cache",{"text":723,"level":253},"La cache diventa semantica, non solo tecnica",{},{"id":726,"data":727,"type":218,"tunes":729},"p-cache-1",{"text":728},"I sistemi LLM possono memorizzare in cache prompt, embedding, risultati di retrieval o risposte complete, ma la chiave di cache deve riflettere la semantica che può cambiare il risultato.",{},{"id":731,"data":732,"type":218,"tunes":734},"p-cache-2",{"text":733},"Una cache delle risposte che ignora versione del modello, tenant, permessi o freschezza delle fonti può restituire una risposta tecnicamente valida ma semanticamente non valida.",{},{"id":736,"data":737,"type":218,"tunes":739},"p-cache-3",{"text":738},"LLMOps tratta quindi l'invalidazione della cache come parte del versioning di modello\u002Fcontesto\u002Fdati, non solo come ottimizzazione infrastrutturale.",{},{"id":741,"data":742,"type":42,"tunes":744},"h-safety",{"text":743,"level":253},"Sicurezza e permessi diventano criteri di rilascio",{},{"id":746,"data":747,"type":218,"tunes":749},"p-safety-1",{"text":748},"I sistemi generativi possono produrre testo illimitato e gli agenti possono attivare azioni esterne. I test di sicurezza sono quindi più vicini a un normale CI\u002FCD rispetto a molti sistemi classici di ML predittivo.",{},{"id":751,"data":752,"type":218,"tunes":754},"p-safety-2",{"text":753},"Controlli dei permessi, test di prompt-injection, test di isolamento tra tenant e approvazioni degli effetti collaterali dovrebbero essere test di regressione riproducibili dove tali rischi esistono.",{},{"id":756,"data":757,"type":218,"tunes":759},"p-safety-3",{"text":758},"Il modello può suggerire un'operazione, ma il runtime deve comunque applicare l'autorizzazione. LLMOps possiede l'evidenza che tali controlli continuano a funzionare dopo modifiche a modello, prompt o strumenti.",{},{"id":761,"data":762,"type":42,"tunes":764},"h-ci",{"text":763,"level":253},"Come appare la CI in LLMOps",{},{"id":766,"data":767,"type":411,"tunes":799},"ci-table",{"content":768,"stretched":43,"withHeadings":14},[769,772,775,778,781,784,787,790,793,796],[770,771],"Livello CI","Esempi di controlli",[773,774],"Codice","Unit test, type check, validazione dello schema",[776,777],"Prompt","Rendering del template, variabili richieste, testo delle policy, revisione degli snapshot",[779,780],"Modelli\u002Fprovider","Compatibilità, schema di output, test di capacità e regressione",[782,783],"RAG","Fixture di chunking, test dei filtri, Recall@k, regressione del reranker",[785,786],"Strumenti","Test dello schema di input\u002Foutput, test dei permessi, test di idempotenza",[788,789],"Agenti","Fixture di traiettoria, limiti di loop, test di handoff\u002Fselezione degli strumenti",[791,792],"Sicurezza","Prompt injection, strumenti non autorizzati, test negativi cross-tenant",[794,795],"Valutazioni comportamentali","Successo del task, correttezza, grounding, sicurezza, criteri di dominio",[797,798],"Operativo","Latenza, budget di token\u002Fcosto, comportamento di timeout\u002Ffallback",{},{"id":801,"data":802,"type":42,"tunes":804},"h-cd",{"text":803,"level":253},"Come appare la CD in LLMOps",{},{"id":806,"data":807,"type":218,"tunes":809},"p-cd-1",{"text":808},"Un rilascio in produzione può non distribuire alcun nuovo artefatto del modello. Può semplicemente rilasciare un nuovo prompt, una configurazione di retrieval, un set di strumenti o una mappatura dei provider.",{},{"id":811,"data":812,"type":218,"tunes":814},"p-cd-2",{"text":813},"Il bundle di rilascio dovrebbe quindi identificare la configurazione completa che definisce il comportamento, non solo l'immagine del container dell'applicazione.",{},{"id":816,"data":817,"type":218,"tunes":819},"p-cd-3",{"text":818},"Feature flag, rollout graduale, valutazione shadow, traffico canary e rollback sono utili perché il comportamento degli LLM può regredire in modi che i test di contratto statici non rilevano.",{},{"id":821,"data":822,"type":42,"tunes":824},"h-ct",{"text":823,"level":253},"L'addestramento continuo diventa opzionale; la valutazione continua diventa centrale",{},{"id":826,"data":827,"type":218,"tunes":829},"p-ct-1",{"text":828},"Il MLOps tradizionale spesso enfatizza l'addestramento continuo quando nuovi dati o il drift giustificano un riaddestramento.",{},{"id":831,"data":832,"type":218,"tunes":834},"p-ct-2",{"text":833},"Molte applicazioni LLM non addestrano mai il modello di base. Il loro equivalente ciclo continuo è la valutazione continua: raccogliere fallimenti e casi di produzione rappresentativi, aggiungerli ai dataset di valutazione, testare modifiche candidate a prompt\u002Fmodello\u002Fretrieval e ridistribuire solo quando le prove migliorano.",{},{"id":836,"data":837,"type":218,"tunes":839},"p-ct-3",{"text":838},"Il fine-tuning può reintrodurre un ciclo di vita di addestramento, ma dovrebbe inserirsi nello stesso più ampio processo di valutazione e rilascio.",{},{"id":841,"data":842,"type":42,"tunes":844},"h-monitor",{"text":843,"level":253},"Cosa dovrebbe essere monitorato in produzione?",{},{"id":846,"data":847,"type":411,"tunes":879},"monitor-table",{"content":848,"stretched":43,"withHeadings":14},[849,852,855,858,861,864,867,869,871,873,876],[850,851],"Classe di segnale","Esempi",[853,854],"Salute del sistema","Errori, timeout, disponibilità dell'endpoint",[856,857],"Modello\u002Fprovider","ID modello, snapshot, limiti di frequenza, errori del provider",[859,860],"Latenza","End-to-end, modello, retrieval, span di tool e reranker",[862,863],"Costo","Token di input\u002Foutput, embedding, spesa per tool\u002FAPI",[865,866],"Qualità","Successo del task campionato, correttezza, rilevanza, groundedness",[782,868],"Proxy di recall del retrieval, retrieval vuoto, fonti obsolete, copertura delle citazioni",[788,870],"Selezione dei tool, retry, loop, handoff, frequenza di approvazione",[791,872],"Azioni negate, indicatori di prompt-injection, fallimenti dei confini tra tenant",[874,875],"Feedback utente","Correzioni, abbandono, escalation, valutazioni esplicite",[877,878],"Drift delle modifiche","Modifiche a provider\u002Fmodello\u002Fconfigurazione rispetto al rilascio approvato",{},{"id":881,"data":882,"type":42,"tunes":884},"h-prod-eval",{"text":883,"level":253},"Le tracce di produzione possono diventare dati di valutazione",{},{"id":886,"data":887,"type":218,"tunes":889},"p-prod-1",{"text":888},"Uno dei pattern LLMOps moderni più utili è trasformare tracce di produzione campionate in record di valutazione.",{},{"id":891,"data":892,"type":218,"tunes":894},"p-prod-2",{"text":893},"MLflow attualmente supporta il recupero di tracce di produzione e la valutazione non solo degli output ma anche di span intermedi come le traiettorie di retrieval o di chiamata ai tool.",{},{"id":896,"data":897,"type":218,"tunes":899},"p-prod-3",{"text":898},"Questo chiude il ciclo tra osservabilità e sviluppo: i fallimenti reali possono diventare casi di regressione nel rilascio successivo invece di sparire nei log.",{},{"id":901,"data":902,"type":42,"tunes":904},"h-repro",{"text":903,"level":253},"La riproducibilità diventa condizionale anziché esatta",{},{"id":906,"data":907,"type":218,"tunes":909},"p-repro-1",{"text":908},"La riproducibilità classica del ML spesso mira a ricreare un modello da codice, dati, ambiente e parametri di addestramento versionati.",{},{"id":911,"data":912,"type":218,"tunes":914},"p-repro-2",{"text":913},"Le applicazioni LLM ospitate non possono sempre riprodurre un output identico token per token perché la generazione è probabilistica e i provider possono controllare l'infrastruttura.",{},{"id":916,"data":917,"type":218,"tunes":919},"p-repro-3",{"text":918},"LLMOps mira quindi a una riproducibilità comportamentale: registrare abbastanza modello\u002Fprovider\u002Fversione, prompt, input di contesto, stato del retrieval e configurazione di runtime per riprodurre le condizioni e validare il comportamento entro tolleranze attese.",{},{"id":921,"data":922,"type":42,"tunes":924},"h-lineage",{"text":923,"level":253},"La lineage si espande dalla lineage del modello alla lineage dell'applicazione",{},{"id":926,"data":927,"type":218,"tunes":929},"p-lineage-1",{"text":928},"La guida MLOps di AWS considera la lineage del modello come la storia di codice, dati, modello e artefatti infrastrutturali necessari per diagnosi e riproducibilità.",{},{"id":931,"data":932,"type":218,"tunes":934},"p-lineage-2",{"text":933},"Per le applicazioni LLM, la lineage dovrebbe inoltre collegare prompt, dataset di valutazione, versioni di retrieval\u002Findice, schemi dei tool, configurazione di agente\u002Fruntime e snapshot di provider\u002Fmodello.",{},{"id":936,"data":937,"type":218,"tunes":939},"p-lineage-3",{"text":938},"La domanda target diventa: quale esatta configurazione dell'applicazione ha prodotto questa traccia?",{},{"id":941,"data":942,"type":42,"tunes":944},"h-routing",{"text":943,"level":253},"Il routing multi-provider e multi-modello crea policy operative",{},{"id":946,"data":947,"type":218,"tunes":949},"p-route-1",{"text":948},"Una volta che un'applicazione può usare diversi provider o modelli locali, il routing diventa una policy operativa anziché una semplice stringa di modello.",{},{"id":951,"data":952,"type":218,"tunes":954},"p-route-2",{"text":953},"Il routing può dipendere da capacità, latenza, costo, privacy, lunghezza del contesto, disponibilità, supporto degli strumenti o località. Un fallback può preservare l'uptime modificando la qualità delle risposte o le ipotesi sul trattamento dei dati.",{},{"id":956,"data":957,"type":218,"tunes":959},"p-route-3",{"text":958},"LLMOps dovrebbe quindi registrare quale route è stata effettivamente selezionata e valutare le route in modo indipendente, invece di trattare ogni endpoint compatibile come comportamentalmente intercambiabile.",{},{"id":961,"data":962,"type":42,"tunes":964},"h-implementation",{"text":963,"level":253},"Evidenza dell'implementazione originale",{},{"id":966,"data":967,"type":42,"tunes":969},"h-client",{"text":968,"level":252},"Aaasaasa AI Client: provider, modello e runtime sono oggetti operativi separati",{},{"id":971,"data":972,"type":218,"tunes":974},"p-client-1",{"text":973},"Aaasaasa AI Client separa agente\u002Fclient, provider, modello, posizione del runtime e permessi. Il suo AI Hub supporta Ollama, LM Studio\u002Fendpoint compatibili con OpenAI e altri protocolli dei provider, invece di trattare \"il modello\" come un'unica impostazione globale.",{},{"id":976,"data":977,"type":218,"tunes":979},"p-client-2",{"text":978},"L'implementazione include il rilevamento dinamico dei modelli locali, lo streaming, l'output di thinking e controlli espliciti di warm\u002Fload e unload di Ollama. Questa è evidenza operativa che il serving locale di LLM introduce preoccupazioni sul ciclo di vita delle risorse che vanno oltre il nome di un modello API.",{},{"id":981,"data":982,"type":218,"tunes":984},"p-client-3",{"text":983},"Lo stato del provider viene interrogato tramite adapter dei provider, e i tipi di connessione distinguono percorsi locali, API cloud, basati su account, remote-agent e web-client. Queste sono dimensioni operative concrete che una piattaforma consapevole degli LLM deve rendere visibili.",{},{"id":986,"data":987,"type":218,"tunes":989},"p-client-4",{"text":988},"Il repository preserva anche un confine importante: un runtime locale non è automaticamente inferenza locale. Provider\u002Fmodello\u002Fposizione del runtime sono questioni versionate o configurabili che influenzano privacy, latenza, costo e disponibilità.",{},{"id":991,"data":992,"type":42,"tunes":994},"h-sot",{"text":993,"level":252},"Source of Truth Research Engine: lo stato dell'applicazione LLM si estende oltre il modello",{},{"id":996,"data":997,"type":218,"tunes":999},"p-sot-1",{"text":998},"Il Source of Truth Research Engine combina ricerca lessicale, embedding opzionali, snapshot delle fonti, identità SHA-256, claim, provenienza e tracciamento delle contraddizioni attorno alla ricerca assistita da modelli locali.",{},{"id":1001,"data":1002,"type":218,"tunes":1004},"p-sot-2",{"text":1003},"Questa è utile evidenza LLMOps perché cambiare solo il modello non definisce il sistema di ricerca. Retrieval, acquisizione delle fonti, classificazione delle evidenze e provenienza persistente sono artefatti operativi indipendenti.",{},{"id":1006,"data":1007,"type":218,"tunes":1009},"p-sot-3",{"text":1008},"L'implementazione tratta deliberatamente la similarità semantica come scoperta e non come evidenza, mostrando perché l'osservabilità LLMOps dovrebbe distinguere il comportamento di retrieval dalla validità dei claim.",{},{"id":1011,"data":1012,"type":411,"tunes":1041},"impl-table",{"content":1013,"stretched":43,"withHeadings":14},[1014,1017,1020,1023,1026,1029,1032,1035,1038],[1015,1016],"Implementazione osservata","Lezione LLMOps",[1018,1019],"Protocolli multi-provider","L'identità del provider è una dipendenza operativa",[1021,1022],"Rilevamento dinamico dei modelli","I modelli disponibili possono cambiare indipendentemente dal codice dell'applicazione",[1024,1025],"Controlli load\u002Funload di Ollama","I modelli locali hanno un ciclo di vita di memoria\u002Frisorse",[1027,1028],"Adapter di salute\u002Fstato del provider","La disponibilità del modello richiede osservabilità del runtime",[1030,1031],"Posizione separata di runtime e inferenza","La topologia di deployment non è un unico booleano \"locale\u002Fcloud\"",[1033,1034],"Permessi centralizzati","Capacità del modello e autorità degli strumenti devono rimanere separate",[1036,1037],"Pipeline di retrieval lessicale + semantico","La configurazione del retrieval fa parte del comportamento dell'applicazione",[1039,1040],"Persistenza di fonte\u002Fprovenienza","Lo stato operativo e le evidenze vivono al di fuori dei pesi del modello",{},{"id":1043,"data":1044,"type":226,"tunes":1047},"impl-boundary",{"body":1045,"title":1046,"variant":240},"Questi progetti dimostrano operazioni multi-provider\u002Fmodelli locali, separazione dei permessi, infrastruttura di retrieval e persistenza delle evidenze. Non sono presentati come una piattaforma LLMOps commerciale completa né come prova di traffico produttivo su larga scala.","Confine dell'evidenza",{},{"id":1049,"data":1050,"type":42,"tunes":1052},"h-failures",{"text":1051,"level":253},"Modalità di fallimento comuni in LLMOps",{},{"id":1054,"data":1055,"type":411,"tunes":1096},"failure-table",{"content":1056,"stretched":43,"withHeadings":14},[1057,1060,1063,1066,1069,1072,1075,1078,1081,1084,1087,1090,1093],[1058,1059],"Modalità di fallimento","Cosa è effettivamente andato storto",[1061,1062],"Alias del modello aggiornato silenziosamente","Il comportamento è cambiato senza un rilascio controllato",[1064,1065],"Prompt modificato senza eval","Una regressione comportamentale ha superato i normali unit test",[1067,1068],"Indice RAG obsoleto","Il modello di generazione è stato incolpato per un fallimento di retrieval\u002Fdati",[1070,1071],"Viene registrata solo la risposta finale","La causa radice nella traiettoria di retrieval\u002Fstrumenti\u002Fcontesto è invisibile",[1073,1074],"Il fallback del provider è silenzioso","Un diverso modello\u002Fpercorso dati cambia il comportamento senza attribuzione",[1076,1077],"Costo dei token tracciato globalmente","I workflow costosi non possono essere localizzati",[1079,1080],"Modello giudice cambiato","I punteggi di valutazione derivano senza modifiche all'applicazione",[1082,1083],"Le tracce di produzione non diventano mai test","I fallimenti noti ritornano ripetutamente",[1085,1086],"Il modello locale rimane caricato indefinitamente","La pressione su VRAM\u002Frisorse diventa instabilità operativa",[1088,1089],"Permessi codificati solo nel prompt","Il comportamento del modello viene scambiato per autorizzazione",[1091,1092],"Un unico punteggio di eval controlla tutto","Dimensioni di qualità diverse vengono collassate in un numero fuorviante",[1094,1095],"Esiste il registro dei modelli ma non le versioni di prompt\u002Findice","La lineage dell'applicazione rimane incompleta",{},{"id":1098,"data":1099,"type":42,"tunes":1101},"h-misconceptions",{"text":1100,"level":253},"Idee sbagliate comuni",{},{"id":1103,"data":1104,"type":411,"tunes":1139},"misconceptions-table",{"content":1105,"stretched":43,"withHeadings":14},[1106,1109,1112,1115,1118,1121,1124,1127,1130,1133,1136],[1107,1108],"Idea sbagliata","Correzione",[1110,1111],"\"LLMOps sostituisce MLOps.\"","LLMOps estende i principi MLOps al comportamento applicativo specifico degli LLM.",[1113,1114],"\"LLMOps è prompt engineering.\"","I prompt sono un artefatto tra modelli, provider, contesto, retrieval, strumenti, eval e runtime.",[1116,1117],"\"Le API hosted eliminano il lavoro operativo.\"","Eliminano parte del lavoro di serving\u002Ftraining dei modelli ma aggiungono gestione del ciclo di vita del provider, delle versioni e delle dipendenze.",[1119,1120],"\"Se l'API è stabile, l'app è stabile.\"","Il comportamento del modello e gli snapshot di provider\u002Fmodello possono cambiare indipendentemente dallo schema dell'API.",[1122,1123],"\"RAG è solo preprocessing dei dati.\"","In produzione ha il proprio ciclo di vita di ingestione, indice, retrieval e freschezza.",[1125,1126],"\"Gli output degli LLM non possono essere testati.\"","Possono essere valutati con criteri deterministici, di riferimento, giudice e umani.",[1128,1129],"\"I giudici LLM sono ground truth oggettiva.\"","Sono valutatori basati su modelli che richiedono anch'essi calibrazione e controllo di versione.",[1131,1132],"\"Un modello locale elimina LLMOps.\"","Il serving locale aggiunge file di modello, VRAM, load\u002Funload, salute del runtime e preoccupazioni di aggiornamento.",[1134,1135],"\"Osservabilità significa conteggi di token.\"","L'osservabilità utile segue prompt, retrieval, strumenti, span del modello e risultati.",[1137,1138],"\"Il training continuo è obbligatorio.\"","Molte app LLM usano valutazione continua senza addestrare il modello di base.",{},{"id":1141,"data":1142,"type":42,"tunes":1144},"h-design",{"text":1143,"level":253},"Una sequenza pratica di progettazione LLMOps",{},{"id":1146,"data":1147,"type":346,"tunes":1186},"design-flow",{"steps":1148,"title":1185,"orientation":345},[1149,1152,1155,1158,1161,1164,1167,1170,1173,1176,1179,1182],{"label":1150,"description":1151},"1. Definire l'unità di comportamento","Elenca ogni componente che può modificare materialmente l'output: modello, prompt, retrieval, strumenti, contesto e policy.",{"label":1153,"description":1154},"2. Stabilire la lineage dell'applicazione","Versiona codice, modello\u002Fprovider, prompt, dataset di valutazione, configurazione di retrieval e contratti degli strumenti.",{"label":1156,"description":1157},"3. Costruire dataset di valutazione rappresentativi","Usa casi attesi di successo\u002Ffallimento dalla progettazione e dalla produzione.",{"label":1159,"description":1160},"4. Separare i test deterministici da quelli comportamentali","Mantieni le asserzioni su schema\u002Fsicurezza distinte dalla valutazione semantica dell'output.",{"label":1162,"description":1163},"5. Tracciare l'esecuzione end-to-end","Strumenta modello, retrieval, reranking, strumenti e span di agente\u002Fruntime.",{"label":1165,"description":1166},"6. Definire i gate di rilascio","Imposta soglie di qualità, sicurezza, latenza e costo.",{"label":1168,"description":1169},"7. Fissare o registrare esplicitamente le versioni del modello","Tratta i cambiamenti di modello\u002Fprovider come eventi di rilascio.",{"label":1171,"description":1172},"8. Distribuire progressivamente","Usa flag, canary o rollout a fasi dove le conseguenze lo giustificano.",{"label":1174,"description":1175},"9. Valutare le tracce di produzione","Misura il comportamento reale sui task e identifica i fallimenti ricorrenti.",{"label":1177,"description":1178},"10. Reinserire i fallimenti nei dataset di valutazione","Trasforma incidenti e correzioni in copertura di regressione permanente.",{"label":1180,"description":1181},"11. Monitorare i cicli di vita di provider e dati","Tieni traccia di deprecazioni, freschezza degli indici, cambiamenti delle fonti e disponibilità del runtime.",{"label":1183,"description":1184},"12. Ritirare in modo pulito le versioni obsolete","Rimuovi vecchi prompt\u002Fmodelli\u002Findici\u002Fcredenziali dopo migrazione e decisioni sulla conservazione delle evidenze.","Gestire l'intero sistema che produce comportamento",{},{"id":1188,"data":1189,"type":42,"tunes":1191},"h-checklist",{"text":1190,"level":253},"Checklist di architettura LLMOps",{},{"id":1193,"data":1194,"type":411,"tunes":1241},"checklist-table",{"content":1195,"stretched":43,"withHeadings":14},[1196,1199,1202,1205,1208,1211,1214,1217,1220,1223,1226,1229,1232,1235,1238],[1197,1198],"Domanda","Evidenza attesa",[1200,1201],"Quale modello\u002Fprovider\u002Fversione ha servito la richiesta?","Identità del modello tracciabile",[1203,1204],"Quali prompt\u002Fistruzioni erano attivi?","Codice\u002Fconfigurazione dell'applicazione versionati",[1206,1207],"Quale contesto ha raggiunto il modello?","Traccia di contesto\u002Fretrieval",[1209,1210],"Quale versione di corpus\u002Findice è stata usata?","Lineage del retrieval",[1212,1213],"Quali strumenti erano disponibili e sono stati chiamati?","Schema degli strumenti + traccia della traiettoria",[1215,1216],"Quali permessi si applicavano?","Registro di autorizzazione a runtime",[1218,1219],"Come viene misurata la qualità?","Dataset di valutazione versionato + scorer",[1221,1222],"Come vengono testati gli aggiornamenti del modello?","Suite di regressione comportamentale",[1224,1225],"Come viene campionata la qualità in produzione?","Processo di valutazione delle tracce\u002Ffeedback",[1227,1228],"Si può riprodurre approssimativamente un singolo fallimento?","Lineage di modello\u002Fcontesto\u002Fprovider\u002Fapplicazione",[1230,1231],"Dove viene speso il costo?","Attribuzione per traccia di modello\u002Fstrumenti\u002Fretrieval",[1233,1234],"Cosa attiva il rollback?","Soglia definita di qualità\u002Fsicurezza\u002Fcosto\u002Fdisponibilità",[1236,1237],"Come vengono gestite le deprecazioni dei provider?","Processo di migrazione\u002Ffallback",[1239,1240],"Come vengono gestiti i modelli locali?","Controlli di salute, risorse, caricamento\u002Fscaricamento e versione",{},{"id":1243,"data":1244,"type":42,"tunes":1246},"h-edge",{"text":1245,"level":253},"Casi limite e limitazioni",{},{"id":1248,"data":1249,"type":218,"tunes":1251},"p-edge-1",{"text":1250},"Un'applicazione semplice che chiama un unico modello hosted fisso senza retrieval o strumenti può richiedere solo un LLMOps leggero: codice dei prompt versionato, valutazioni, pinning del modello, tracing di base e monitoraggio del provider.",{},{"id":1253,"data":1254,"type":218,"tunes":1256},"p-edge-2",{"text":1255},"Un modello fine-tuned self-hosted può richiedere quasi l'intero stack MLOps classico più la valutazione applicativa specifica per LLM, rendendo il confine tra MLOps e LLMOps intenzionalmente sfumato.",{},{"id":1258,"data":1259,"type":218,"tunes":1261},"p-edge-3",{"text":1260},"Una piattaforma di agenti può avere operazioni minime di addestramento del modello ma operazioni di runtime sostanziali, perché i fallimenti si verificano nella selezione degli strumenti, nello stato e nell'orchestrazione.",{},{"id":1263,"data":1264,"type":218,"tunes":1266},"p-edge-4",{"text":1265},"Un sistema fortemente basato su RAG può essere operativamente dominato dall'ingestione dei documenti e dalla qualità del retrieval piuttosto che dal serving del modello.",{},{"id":1268,"data":1269,"type":218,"tunes":1271},"p-edge-5",{"text":1270},"La terminologia continuerà a evolversi. La domanda architetturale duratura non è quale etichetta “Ops” vince, ma quali artefatti producono comportamento e quindi devono essere versionati, valutati, osservati e governati.",{},{"id":1273,"data":1274,"type":42,"tunes":1276},"h-change",{"text":1275,"level":253},"Cosa cambierebbe questa risposta?",{},{"id":1278,"data":1279,"type":218,"tunes":1281},"p-change-1",{"text":1280},"Se i provider di foundation model standardizzassero un comportamento del modello perfettamente stabile e un supporto di versione a lungo termine, la gestione di provider\u002Fsnapshot potrebbe diventare meno significativa a livello operativo.",{},{"id":1283,"data":1284,"type":218,"tunes":1286},"p-change-2",{"text":1285},"Se le applicazioni assumessero sempre più la proprietà del fine-tuning o dell'addestramento, le preoccupazioni classiche del MLOps tornerebbero più centrali.",{},{"id":1288,"data":1289,"type":218,"tunes":1291},"p-change-3",{"text":1290},"Il principio operativo rimarrebbe: ogni componente che può modificare materialmente il comportamento in produzione appartiene a lineage, testing, osservabilità e controllo dei cambiamenti.",{},{"id":1293,"data":1294,"type":42,"tunes":1296},"h-related",{"text":1295,"level":253},"Conoscenza canonica correlata",{},{"id":1298,"data":1299,"type":218,"tunes":1301},"p-related-1",{"text":1300},"LLMOps si colloca sotto AI Governance e Enterprise AI Architecture: la governance definisce quali cambiamenti richiedono evidenze e approvazione, mentre LLMOps fornisce il macchinario operativo per versionare, valutare, distribuire e osservare tali cambiamenti.",{},{"id":1303,"data":1304,"type":218,"tunes":1306},"p-related-2",{"text":1305},"Context Engineering e RAG sono sottodomini operativi all'interno di molte applicazioni LLM, perché contesto e retrieval possono cambiare il comportamento indipendentemente dal modello.",{},{"id":1308,"data":1309,"type":218,"tunes":1311},"p-related-3",{"text":1310},"Agentic AI estende ulteriormente LLMOps verso operazioni su traiettoria, permessi e runtime degli strumenti.",{},{"id":1313,"data":1314,"type":603,"tunes":1319},"ref-memory",{"url":1315,"title":1316,"excerpt":1317,"ctaLabel":1318},"https:\u002F\u002Fstajic.de\u002Fit\u002Fblog\u002Fai-agent-memory-is-not-rag-how-to-separate-memory-retrieval-state-and-context","La memoria degli agenti AI non è RAG: come separare memoria, recupero, stato e contesto","L'affidabilità operativa migliora quando memoria, recupero, stato dell'applicazione e contesto del modello rimangono oggetti del ciclo di vita separati.","Leggi l'articolo sull'architettura",{},{"id":1321,"data":1322,"type":603,"tunes":1327},"ref-avb",{"url":1323,"title":1324,"excerpt":1325,"ctaLabel":1326},"https:\u002F\u002Fstajic.de\u002Fit\u002Fblog\u002Fthe-answer-validity-boundary-the-missing-layer-between-relevance-and-reliable-ai-answers","Il confine di validità della risposta: il livello mancante tra rilevanza e risposte AI affidabili","La valutazione LLMOps dovrebbe preservare la versione, l'ambito e le condizioni di evidenza in cui una risposta rimane supportata.","Leggi il confine di validità della risposta",{},{"id":1329,"data":1330,"type":42,"tunes":1332},"h-faq",{"text":1331,"level":253},"Domande frequenti",{},{"id":1334,"data":1335,"type":1334,"tunes":1374},"faq",{"items":1336,"title":1373},[1337,1341,1345,1349,1353,1357,1361,1365,1369],{"id":1338,"answer":1339,"question":1340},"faq1","MLOps gestisce sistemi di machine learning attraverso dati, addestramento, distribuzione e monitoraggio. LLMOps estende queste pratiche alle applicazioni LLM dove prompt, contesto, recupero, provider, strumenti e valutazioni influenzano materialmente il comportamento.","Qual è la differenza tra MLOps e LLMOps?",{"id":1342,"answer":1343,"question":1344},"faq2","No. LLMOps riutilizza le discipline MLOps come CI\u002FCD, lineage, valutazione, distribuzione e monitoraggio e aggiunge preoccupazioni operative specifiche per gli LLM.","LLMOps sostituisce MLOps?",{"id":1346,"answer":1347,"question":1348},"faq3","Non necessariamente. Molte utilizzano modelli di base esterni e si affidano invece alla valutazione continua di prompt, modelli, recupero e comportamento dell'applicazione. I sistemi ottimizzati o auto-addestrati possono comunque richiedere pipeline di addestramento.","Le applicazioni LLM necessitano di addestramento continuo?",{"id":1350,"answer":1351,"question":1352},"faq4","Gli output generativi sono aperti e il comportamento del modello può cambiare tra prompt, snapshot e contesto. Le valutazioni forniscono prove ripetibili che una release soddisfa ancora i criteri di qualità e sicurezza definiti.","Perché le valutazioni sono così importanti in LLMOps?",{"id":1354,"answer":1355,"question":1356},"faq5","Come minimo: codice dell'applicazione, modello\u002Fprovider\u002Fversione, prompt, dataset\u002Fscorer di valutazione, configurazione\u002Findici di recupero, schemi degli strumenti, regole di contesto e configurazione rilevante di sicurezza\u002Fpermessi.","Cosa dovrebbe essere versionato in LLMOps?",{"id":1358,"answer":1359,"question":1360},"faq6","No. Lo stesso prompt può comportarsi diversamente con un altro modello, set di recupero, ordine del contesto, superficie degli strumenti o provider.","Il versioning dei prompt è sufficiente?",{"id":1362,"answer":1363,"question":1364},"faq7","GenAIOps è un altro termine di settore per operare applicazioni di AI generativa. Alcuni fornitori lo usano in modo intercambiabile o come etichetta più ampia rispetto a LLMOps.","Cos'è GenAIOps?",{"id":1366,"answer":1367,"question":1368},"faq8","Monitora tracce end-to-end incluse chiamate al modello, prompt\u002Fcontesto, recupero, strumenti, latenza, token\u002Fcosto, campioni di qualità, sicurezza e risultati finali del task.","Come si monitora un'applicazione LLM?",{"id":1370,"answer":1371,"question":1372},"faq9","Sì. I modelli locali aggiungono proprie preoccupazioni operative come file del modello, hardware\u002FVRAM, caricamento\u002Fscaricamento, salute del runtime, quantizzazione e gestione degli aggiornamenti.","Gli LLM locali possono usare pratiche LLMOps?","FAQ su MLOps vs LLMOps",{},{"id":1376,"data":1377,"type":42,"tunes":1379},"h-glossary",{"text":1378,"level":253},"Glossario",{},{"id":1381,"data":1382,"type":1381,"tunes":1427},"glossary",{"title":1383,"entries":1384},"Termini chiave di MLOps e LLMOps",[1385,1387,1389,1393,1396,1400,1404,1408,1412,1415,1419,1423],{"term":415,"anchor":414,"definition":1386},"Pratiche ingegneristiche per costruire, distribuire, monitorare e mantenere sistemi di machine learning e il loro ciclo di vita di dati\u002Fmodelli.",{"term":418,"anchor":417,"definition":1388},"Pratiche operative per applicazioni in produzione il cui comportamento dipende materialmente da grandi modelli linguistici e dai circostanti prompt, contesto, recupero, strumenti e runtime.",{"term":1390,"anchor":1391,"definition":1392},"GenAIOps","genaiops","Disciplina operativa per applicazioni di AI generativa; spesso usata come etichetta più ampia o alternativa per LLMOps.",{"term":400,"anchor":1394,"definition":1395},"continuous-training","Riaddestramento e serving automatizzati o ripetuti di modelli ML al variare dei dati o delle implementazioni.",{"term":1397,"anchor":1398,"definition":1399},"Valutazione continua","continuous-evaluation","Valutazione ripetuta del comportamento AI candidato e in produzione rispetto a dataset e criteri versionati.",{"term":1401,"anchor":1402,"definition":1403},"Snapshot del modello","model-snapshot","Una versione concreta di un modello ospitato o pacchettizzato il cui comportamento può essere testato e referenziato.",{"term":1405,"anchor":1406,"definition":1407},"Lineage dell'applicazione","application-lineage","Relazione tracciabile tra codice, modello\u002Fprovider, prompt, dati\u002Frecupero, strumenti, runtime e configurazione di rilascio.",{"term":1409,"anchor":1410,"definition":1411},"Traccia","trace","Registro strutturato di una esecuzione dell'applicazione contenente span come chiamate al modello, recuperi e operazioni degli strumenti.",{"term":469,"anchor":1413,"definition":1414},"eval-dataset","Set versionato di input rappresentativi, aspettative e opzionalmente tracce\u002Foutput usati per misurare il comportamento.",{"term":1416,"anchor":1417,"definition":1418},"Giudice LLM","llm-judge","Un modello linguistico usato come valutatore per criteri qualitativi o semantici; è esso stesso una dipendenza di valutazione versionata.",{"term":1420,"anchor":1421,"definition":1422},"Regressione comportamentale","behavioral-regression","Un degrado nell'output o nella traiettoria dell'applicazione nonostante interfacce e codice continuino a essere eseguiti con successo.",{"term":1424,"anchor":1425,"definition":1426},"Routing dei provider","provider-routing","Politica per selezionare tra provider\u002Fendpoint di modelli disponibili in base a capacità, costo, latenza, privacy o disponibilità.",{},{"id":1429,"data":1430,"type":42,"tunes":1432},"h-conclusion",{"text":1431,"level":253},"Conclusione",{},{"id":1434,"data":1435,"type":218,"tunes":1437},"p-conclusion-1",{"text":1436},"MLOps e LLMOps condividono lo stesso obiettivo ingegneristico: rendere i sistemi AI abbastanza riproducibili, testabili e osservabili da operare in modo affidabile in produzione.",{},{"id":1439,"data":1440,"type":218,"tunes":1442},"p-conclusion-2",{"text":1441},"La differenza è la forma del sistema. Il MLOps classico spesso si concentra sull'addestramento e sul serving di artefatti del modello; LLMOps deve operare uno stack comportamentale in cui snapshot del modello, prompt, contesto, recupero, strumenti, permessi e provider possono cambiare indipendentemente.",{},{"id":1444,"data":1445,"type":218,"tunes":1447},"p-conclusion-3",{"text":1446},"La regola utile più breve è: versiona, valuta e osserva tutto ciò che può cambiare materialmente il comportamento dell'applicazione LLM — non solo il modello.",{},{"id":1449,"data":1450,"type":42,"tunes":1452},"h-sources",{"text":1451,"level":253},"Fonti primarie e documentazione corrente",{},{"id":1454,"data":1455,"type":218,"tunes":1457},"p-sources-note",{"text":1456},"Le fonti seguenti fondano la base MLOps e i pattern operativi correnti per applicazioni LLM e agenti. Le sezioni del progetto sono prove di implementazione originali e sono intenzionalmente più ristrette rispetto alle affermazioni su una piattaforma LLMOps completa.",{},{"id":1459,"data":1460,"type":1466,"tunes":1467},"src-google-mlops",{"link":1461,"meta":1462},"https:\u002F\u002Fdocs.cloud.google.com\u002Farchitecture\u002Fmlops-continuous-delivery-and-automation-pipelines-in-machine-learning",{"image":1463,"title":1464,"description":1465},{"url":381},"Google Cloud — MLOps: pipeline di continuous delivery e automazione","Architettura di riferimento che descrive CI, CD, addestramento continuo, registro dei modelli, metadati, serving e monitoraggio per sistemi ML.","linkTool",{},{"id":1469,"data":1470,"type":1466,"tunes":1476},"src-aws-lineage",{"link":1471,"meta":1472},"https:\u002F\u002Fdocs.aws.amazon.com\u002Fwellarchitected\u002Flatest\u002Fmachine-learning-lens\u002Fmlops02-bp04.html",{"image":1473,"title":1474,"description":1475},{"url":381},"AWS Machine Learning Lens — Lineage del modello","Guida corrente per tracciare codice, dati, modelli, ambienti e infrastruttura attraverso le release ML.",{},{"id":1478,"data":1479,"type":1466,"tunes":1485},"src-aws-monitor",{"link":1480,"meta":1481},"https:\u002F\u002Fdocs.aws.amazon.com\u002Fwellarchitected\u002Flatest\u002Fmachine-learning-lens\u002Fmlops06-bp02.html",{"image":1482,"title":1483,"description":1484},{"url":381},"AWS Machine Learning Lens — Osservabilità e tracciamento del modello","Guida corrente per monitoraggio dei modelli in produzione, drift, salute degli endpoint e lineage.",{},{"id":1487,"data":1488,"type":1466,"tunes":1494},"src-azure-llmops",{"link":1489,"meta":1490},"https:\u002F\u002Flearn.microsoft.com\u002Fen-us\u002Fazure\u002Fmachine-learning\u002Fprompt-flow\u002Fhow-to-end-to-end-llmops-with-prompt-flow",{"image":1491,"title":1492,"description":1493},{"url":381},"Microsoft Azure — Ciclo di vita GenAIOps \u002F LLMOps","Guida ufficiale che descrive GenAIOps, talvolta chiamato LLMOps, attraverso inizializzazione, sperimentazione, valutazione\u002Fraffinamento e distribuzione.",{},{"id":1496,"data":1497,"type":1466,"tunes":1503},"src-mlflow-genai",{"link":1498,"meta":1499},"https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002F",{"image":1500,"title":1501,"description":1502},{"url":381},"MLflow — Agenti e applicazioni LLM","Documentazione corrente sulle operazioni GenAI che copre tracciamento, valutazione, prompt e osservabilità in produzione per applicazioni LLM e agenti.",{},{"id":1505,"data":1506,"type":1466,"tunes":1512},"src-mlflow-traces",{"link":1507,"meta":1508},"https:\u002F\u002Fwww.mlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002Feval-monitor\u002Frunning-evaluation\u002Ftraces\u002F",{"image":1509,"title":1510,"description":1511},{"url":381},"MLflow — Valutazione delle tracce di produzione","Guida corrente per valutare tracce complete LLM\u002Fagente, incluse traiettorie di recupero e chiamate agli strumenti.",{},{"id":1514,"data":1515,"type":1466,"tunes":1521},"src-mlflow-prompt-eval",{"link":1516,"meta":1517},"https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002Fprompt-registry\u002Fevaluate-prompts\u002F",{"image":1518,"title":1519,"description":1520},{"url":381},"MLflow — Valutazione dei prompt","Flusso di lavoro attuale per la valutazione di prompt\u002Fmodelli utilizzando prompt versionati, dataset, scorer e trace.",{},{"id":1523,"data":1524,"type":1466,"tunes":1530},"src-openai-api",{"link":1525,"meta":1526},"https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Freference\u002Foverview",{"image":1527,"title":1528,"description":1529},{"url":381},"OpenAI API — Versionamento e snapshot dei modelli","Linee guida attuali dell'API che raccomandano versioni dei modelli bloccate e valutazioni poiché il comportamento dei prompt può cambiare tra gli snapshot.",{},{"id":1532,"data":1533,"type":1466,"tunes":1539},"src-openai-prompting",{"link":1534,"meta":1535},"https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompting",{"image":1536,"title":1537,"description":1538},{"url":381},"OpenAI — Prompting","Linee guida attuali che suggeriscono di trattare i prompt di produzione come codice applicativo, versionarli tramite il controllo del codice sorgente e coprire le modifiche con test e verifiche di valutazione.",{},{"id":1541,"data":1542,"type":1466,"tunes":1548},"src-openai-deprecations",{"link":1543,"meta":1544},"https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fdeprecations",{"image":1545,"title":1546,"description":1547},{"url":381},"OpenAI — Deprecazioni","Evidenza attuale del ciclo di vita del fornitore che mostra il ritiro di modelli e superfici della piattaforma come dipendenza operativa.",{},{"id":1550,"data":1551,"type":1466,"tunes":1557},"src-openai-promptfoo",{"link":1552,"meta":1553},"https:\u002F\u002Fdevelopers.openai.com\u002Fcookbook\u002Fexamples\u002Fevaluation\u002Fmoving-from-openai-evals-to-promptfoo",{"image":1554,"title":1555,"description":1556},{"url":381},"OpenAI — Migrazione dei flussi di lavoro di valutazione a Promptfoo","Linee guida attuali del 2026 sulla migrazione che illustrano perché gli asset di valutazione dovrebbero rimanere portabili al variare degli strumenti del fornitore.",{},"2.31","MLOps gestisce i sistemi di machine learning; LLMOps estende tali pratiche a prompt, contesto, recupero, provider, strumenti, valutazioni e comportamento a runtime attorno ai modelli linguistici di grandi dimensioni.","\u002Fuploads\u002F2026\u002F10\u002Fmlops-vs-llmops-what-changes-when-the-model-is-an-llm-1791487319869-2v7hxo.webp","mlops-vs-llmops-what-changes-when-the-model-is-an-llm-1791487319869-2v7hxo","PUBLISHED","2026-10-08T15:20:00.000Z","2026-10-08T19:20:01.249Z","2026-10-08T19:31:17.955Z",{"en":1567,"de":1568,"sr":1569,"es":1570,"fr":1571,"it":1572,"ru":1573,"zh":1574},"\u002Fblog\u002Fmlops-vs-llmops-what-changes-when-the-model-is-an-llm","\u002Fde\u002Fblog\u002Fmlops-vs-llmops-what-changes-when-the-model-is-an-llm","\u002Fsr\u002Fblog\u002Fmlops-vs-llmops-what-changes-when-the-model-is-an-llm","\u002Fes\u002Fblog\u002Fmlops-vs-llmops-what-changes-when-the-model-is-an-llm","\u002Ffr\u002Fblog\u002Fmlops-vs-llmops-what-changes-when-the-model-is-an-llm","\u002Fit\u002Fblog\u002Fmlops-vs-llmops-what-changes-when-the-model-is-an-llm","\u002Fru\u002Fblog\u002Fmlops-vs-llmops-what-changes-when-the-model-is-an-llm","\u002Fzh\u002Fblog\u002Fmlops-vs-llmops-what-changes-when-the-model-is-an-llm",[1576,1580,1584,1588],{"id":1577,"name":1578,"slug":1579},88,"Versioning (prompt, modelli)","versioning",{"id":1581,"name":1582,"slug":1583},91,"Monitoraggio (qualità, drift)","monitoring",{"id":1585,"name":1586,"slug":1587},89,"Harness di valutazione","evaluation-harness",{"id":1589,"name":1590,"slug":1591},58,"Valutazione e gate di qualità","evaluation",{"id":1593,"login":1594,"email":1595,"displayName":1596},"20","rooth8233","aleksandar@stajic.de","Aleksandar Stajić",[1598,2721],{"lang":1599,"title":1600,"content":1601,"contentJson":1602,"excerpt":2720},"en","MLOps vs LLMOps: What Changes When the Model Is an LLM","{\"time\":1791487321430,\"blocks\":[{\"id\":\"intro\",\"type\":\"paragraph\",\"data\":{\"text\":\"MLOps is the engineering discipline for reliably developing, deploying, versioning and operating machine-learning systems; LLMOps extends that discipline to applications built around large language models, where production behavior depends not only on a model artifact but also on prompts, context, retrieval, provider\u002Fmodel versions, tool calls, safety controls and evaluation pipelines. LLMOps does not replace MLOps. It changes the operational unit from “a model plus serving pipeline” toward “an evolving LLM application whose behavior emerges from several independently changing components.”\"},\"tunes\":{}},{\"id\":\"direct\",\"type\":\"callout\",\"data\":{\"variant\":\"info\",\"title\":\"Direct answer\",\"body\":\"\u003Cstrong>MLOps operates ML systems. LLMOps operates LLM applications.\u003C\u002Fstrong>\u003Cbr>\u003Cbr>Classical MLOps commonly centers on data pipelines, training, validation, model registry, deployment, drift and retraining. LLMOps keeps those disciplines where relevant, but often adds prompt\u002Fcontext versioning, model\u002Fprovider abstraction, RAG indexes, agent\u002Ftool traces, semantic evaluations, safety tests, token\u002Fcost monitoring and regression testing across rapidly changing model snapshots.\"},\"tunes\":{}},{\"id\":\"boundary\",\"type\":\"callout\",\"data\":{\"variant\":\"warning\",\"title\":\"LLMOps is not just prompt management\",\"body\":\"A production LLM application can fail even when the prompt is unchanged: the provider can change a model snapshot, a RAG corpus can become stale, a reranker can regress, tool permissions can change, context assembly can drop evidence, or an agent can take a wrong trajectory. LLMOps therefore has to observe and version the system around the model, not only prompt text.\"},\"tunes\":{}},{\"id\":\"term-note\",\"type\":\"callout\",\"data\":{\"variant\":\"note\",\"title\":\"Terminology boundary\",\"body\":\"\u003Cstrong>LLMOps\u003C\u002Fstrong>, \u003Cstrong>GenAIOps\u003C\u002Fstrong> and related terms are widely used engineering labels, but they are not one universal formal standard with a single canonical lifecycle. Microsoft currently describes GenAIOps as “sometimes called LLMOps,” while MLflow groups operational tooling around agents and LLM applications. This article uses LLMOps as a practical architecture term for operating production systems whose behavior materially depends on LLMs.\"},\"tunes\":{}},{\"id\":\"current\",\"type\":\"callout\",\"data\":{\"variant\":\"note\",\"title\":\"Current-source note — 8 October 2026\",\"body\":\"The operational surface is changing quickly. OpenAI currently recommends pinning model snapshots and running evals because prompting behavior can change between snapshots, and several older platform-specific prompt\u002Feval surfaces are being retired in 2026. The stable architectural lesson is to keep prompts, tests and evals portable and versioned with the application rather than depend on one provider's dashboard object model.\"},\"tunes\":{}},{\"id\":\"toc\",\"type\":\"tableOfContents\",\"data\":{\"title\":\"Contents\",\"minLevel\":2,\"maxLevel\":3},\"tunes\":{}},{\"id\":\"h-meaning\",\"type\":\"header\",\"data\":{\"text\":\"What MLOps really means\",\"level\":2},\"tunes\":{}},{\"id\":\"p-mlops-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"MLOps applies software-engineering and operational discipline to machine-learning systems. The production challenge is broader than training a model: data collection, data validation, experimentation, reproducibility, model evaluation, deployment, infrastructure and monitoring all have to work together.\"},\"tunes\":{}},{\"id\":\"p-mlops-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"Google's MLOps architecture guidance frames the discipline around continuous integration, continuous delivery and continuous training. CI validates not only code but also data, schemas and models; CD deploys ML pipelines and prediction services; CT can retrain and redeploy models as data or implementations change.\"},\"tunes\":{}},{\"id\":\"p-mlops-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"AWS guidance adds the same operational concerns from another angle: model lineage, model\u002Fversion traceability, drift monitoring and production-quality monitoring are core parts of keeping ML systems reliable after deployment.\"},\"tunes\":{}},{\"id\":\"h-llmops\",\"type\":\"header\",\"data\":{\"text\":\"What changes when the model is an LLM\",\"level\":2},\"tunes\":{}},{\"id\":\"p-llmops-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"Large language models change the production problem because the application often does not own the complete model-training lifecycle. A team may call a hosted model API, run an open model locally, switch between providers or use several models for different tasks.\"},\"tunes\":{}},{\"id\":\"p-llmops-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"The model is therefore only one versioned dependency inside a larger behavioral system. Prompts, retrieval results, context order, tools, model snapshot, temperature\u002Freasoning settings, safety filters and runtime orchestration can all change the output.\"},\"tunes\":{}},{\"id\":\"p-llmops-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"This creates a broader operational question: which combination of model, context, data, prompt, tools and runtime produced this behavior? LLMOps exists to make that question answerable and the answer reproducible enough for engineering work.\"},\"tunes\":{}},{\"id\":\"h-simple\",\"type\":\"header\",\"data\":{\"text\":\"The simplest example\",\"level\":2},\"tunes\":{}},{\"id\":\"p-simple-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"Suppose an application answers internal policy questions.\"},\"tunes\":{}},{\"id\":\"p-simple-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"In a classical ML framing, you might version a trained classifier, deploy it and monitor prediction quality. In an LLM application, the answer might depend on a hosted model snapshot, a system prompt, an embedding model, a vector index, retrieval filters, a reranker and the final selected context.\"},\"tunes\":{}},{\"id\":\"p-simple-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"Changing any one of those components can change the final answer even though the application endpoint and user question stay identical.\"},\"tunes\":{}},{\"id\":\"simple-flow\",\"type\":\"processFlow\",\"data\":{\"title\":\"A typical LLMOps release path\",\"orientation\":\"auto\",\"steps\":[{\"label\":\"1. Change one component\",\"description\":\"Prompt, model, provider, retrieval setting, tool schema or application code changes.\"},{\"label\":\"2. Run deterministic tests\",\"description\":\"Validate schemas, permissions, tool contracts, retrieval filters and application behavior.\"},{\"label\":\"3. Run behavioral evals\",\"description\":\"Compare representative outputs, retrieval quality and agent\u002Ftool trajectories against acceptance criteria.\"},{\"label\":\"4. Compare cost and latency\",\"description\":\"Measure token use, model calls, retrieval\u002Ftool overhead and response latency.\"},{\"label\":\"5. Deploy controlled version\",\"description\":\"Ship the concrete application configuration with model\u002Fprovider versions recorded.\"},{\"label\":\"6. Trace production behavior\",\"description\":\"Capture relevant model, retrieval, tool and runtime spans.\"},{\"label\":\"7. Evaluate production traces\",\"description\":\"Sample real executions for quality, grounding, safety and task success.\"},{\"label\":\"8. Roll back or iterate\",\"description\":\"Use regression evidence and operational signals to decide the next release.\"}]},\"tunes\":{}},{\"id\":\"h-stops\",\"type\":\"header\",\"data\":{\"text\":\"Where the simple example stops\",\"level\":2},\"tunes\":{}},{\"id\":\"p-stops-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"Some LLM systems still train or fine-tune their own models, so traditional MLOps practices such as training pipelines, model registry and data lineage remain directly relevant.\"},\"tunes\":{}},{\"id\":\"p-stops-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"Other systems use only external foundation-model APIs and never run continuous training. Their main operational workload is application evaluation, model\u002Fprovider change management, prompt\u002Fcontext versioning, retrieval quality and observability.\"},\"tunes\":{}},{\"id\":\"p-stops-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"There is therefore no single universal “LLMOps pipeline.” The exact lifecycle depends on whether you train, fine-tune, self-host, retrieve external knowledge, run agents or depend on managed model APIs.\"},\"tunes\":{}},{\"id\":\"h-compare\",\"type\":\"header\",\"data\":{\"text\":\"MLOps vs LLMOps\",\"level\":2},\"tunes\":{}},{\"id\":\"main-comparison\",\"type\":\"comparison\",\"data\":{\"title\":\"What stays the same and what expands\",\"layout\":\"table\",\"columns\":[{\"id\":\"mlops\",\"label\":\"MLOps\"},{\"id\":\"llmops\",\"label\":\"LLMOps\"}],\"rows\":[{\"id\":\"unit\",\"label\":\"Primary operational unit\",\"values\":[\"\",\"\"]},{\"id\":\"model\",\"label\":\"Model ownership\",\"values\":[\"\",\"\"]},{\"id\":\"change\",\"label\":\"Typical change\",\"values\":[\"\",\"\"]},{\"id\":\"eval\",\"label\":\"Evaluation\",\"values\":[\"\",\"\"]},{\"id\":\"monitor\",\"label\":\"Production monitoring\",\"values\":[\"\",\"\"]},{\"id\":\"training\",\"label\":\"Continuous training\",\"values\":[\"\",\"\"]},{\"id\":\"registry\",\"label\":\"Versioned artifacts\",\"values\":[\"\",\"\"]},{\"id\":\"rollback\",\"label\":\"Rollback target\",\"values\":[\"\",\"\"]}]},\"tunes\":{}},{\"id\":\"h-extension\",\"type\":\"header\",\"data\":{\"text\":\"LLMOps extends MLOps rather than replacing it\",\"level\":2},\"tunes\":{}},{\"id\":\"p-extension-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"The core operational principles do not disappear: source control, CI\u002FCD, reproducibility, lineage, deployment controls, monitoring, rollback and measurable acceptance criteria remain essential.\"},\"tunes\":{}},{\"id\":\"p-extension-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"The extension is that more behavior-defining artifacts now sit outside the model weights. A managed foundation model can change behavior through snapshot upgrades, while application output can change through prompt or retrieval changes without any model retraining.\"},\"tunes\":{}},{\"id\":\"p-extension-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"This is why the useful hierarchy is usually DevOps → MLOps → LLMOps\u002FGenAIOps as increasingly specialized operational concerns, not three mutually exclusive practices.\"},\"tunes\":{}},{\"id\":\"h-artifacts\",\"type\":\"header\",\"data\":{\"text\":\"What has to be versioned in LLMOps?\",\"level\":2},\"tunes\":{}},{\"id\":\"artifact-table\",\"type\":\"table\",\"data\":{\"withHeadings\":true,\"stretched\":false,\"content\":[[\"Artifact\",\"Why it matters\"],[\"Application code\",\"Defines orchestration, validation, retries and business behavior\"],[\"Model family + snapshot\u002Fversion\",\"Different snapshots can produce different behavior\"],[\"Provider \u002F endpoint\",\"Changes data flow, latency, limits, pricing and availability\"],[\"Prompt\u002Finstruction code\",\"Changes model behavior even with same model\"],[\"Generation\u002Freasoning parameters\",\"Can alter determinism, latency, depth and cost\"],[\"Eval dataset\",\"Defines what “good enough” is tested against\"],[\"Scorers \u002F graders\",\"Define how quality is measured\"],[\"Embedding model\",\"Changes vector representation and retrieval behavior\"],[\"Chunking\u002Findex configuration\",\"Changes what can be retrieved\"],[\"Reranker \u002F retrieval fusion\",\"Changes result ordering\"],[\"Tool schemas\",\"Change what the model can request and how\"],[\"Permission profile\",\"Changes what tool actions may actually execute\"],[\"Context assembly rules\",\"Change what evidence and state reach the model\"],[\"Safety\u002Fguardrail configuration\",\"Changes allowed or blocked behavior\"]]},\"tunes\":{}},{\"id\":\"h-model-version\",\"type\":\"header\",\"data\":{\"text\":\"Model snapshots become release dependencies\",\"level\":2},\"tunes\":{}},{\"id\":\"p-model-version-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"With hosted LLMs, the team may not control model training, but it still controls which model or snapshot the application calls.\"},\"tunes\":{}},{\"id\":\"p-model-version-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"OpenAI's current API guidance explicitly warns that prompting behavior can change between model snapshots and recommends pinning production applications to specific snapshots where consistency matters, then running evals when upgrading.\"},\"tunes\":{}},{\"id\":\"p-model-version-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"The operational consequence is straightforward: model upgrades should be treated as application releases, not invisible infrastructure maintenance.\"},\"tunes\":{}},{\"id\":\"h-provider\",\"type\":\"header\",\"data\":{\"text\":\"Provider lifecycle becomes part of operations\",\"level\":2},\"tunes\":{}},{\"id\":\"p-provider-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"LLM applications often depend on provider rate limits, deprecation schedules, API semantics, context limits, data-handling rules and pricing.\"},\"tunes\":{}},{\"id\":\"p-provider-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"A provider can deprecate a model while your application code remains unchanged. OpenAI's current deprecation schedule, for example, includes 2026 retirement dates for older model snapshots and platform surfaces.\"},\"tunes\":{}},{\"id\":\"p-provider-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"LLMOps therefore needs provider lifecycle tracking, migration testing and fallback decisions in addition to model-quality monitoring.\"},\"tunes\":{}},{\"id\":\"h-prompt\",\"type\":\"header\",\"data\":{\"text\":\"Prompts behave like production code\",\"level\":2},\"tunes\":{}},{\"id\":\"p-prompt-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"Prompts are executable behavioral configuration. Small changes can alter output quality, tool selection and policy interpretation.\"},\"tunes\":{}},{\"id\":\"p-prompt-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"OpenAI's current guidance recommends storing production prompts in application code, reviewing prompt changes through pull requests, using typed inputs and covering changes with tests and evaluation checks.\"},\"tunes\":{}},{\"id\":\"p-prompt-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"That makes prompt versioning less like editing marketing copy and more like changing a function whose output is probabilistic and model-dependent.\"},\"tunes\":{}},{\"id\":\"h-context\",\"type\":\"header\",\"data\":{\"text\":\"Context engineering becomes an operational concern\",\"level\":2},\"tunes\":{}},{\"id\":\"p-context-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"The production model rarely receives only a static prompt. It may receive conversation history, retrieved documents, tool outputs, memory, current application state and policy instructions.\"},\"tunes\":{}},{\"id\":\"p-context-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"LLMOps must therefore observe context assembly: which evidence was selected, which state version was current, whether truncation occurred and whether important instructions survived compaction.\"},\"tunes\":{}},{\"id\":\"p-context-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"A model regression and a context regression can look identical at the final answer. Tracing the actual context path is what lets the team separate them.\"},\"tunes\":{}},{\"id\":\"h-rag\",\"type\":\"header\",\"data\":{\"text\":\"RAG creates its own operational lifecycle\",\"level\":2},\"tunes\":{}},{\"id\":\"p-rag-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"A RAG system introduces a second production pipeline beside model inference: ingestion, extraction, chunking, metadata, embeddings, indexes, retrieval, reranking and context selection.\"},\"tunes\":{}},{\"id\":\"p-rag-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"The knowledge corpus can change every day even when the model and prompt do not. A stale index or broken metadata filter can therefore degrade answer quality without any model drift.\"},\"tunes\":{}},{\"id\":\"p-rag-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"LLMOps for RAG should track corpus\u002Findex version, embedding model, chunking policy, retrieval configuration, source freshness and retrieval metrics separately from generation quality.\"},\"tunes\":{}},{\"id\":\"ref-rag-diagnostic\",\"type\":\"referralArticle\",\"data\":{\"url\":\"https:\u002F\u002Fstajic.de\u002Fblog\u002Frag-failed-but-which-layer-actually-failed-a-diagnostic-method\",\"title\":\"RAG Failed — But Which Layer Actually Failed? A Diagnostic Method\",\"excerpt\":\"A production LLM pipeline needs separate observability for source coverage, retrieval, ranking, context assembly and generation.\",\"ctaLabel\":\"Read the RAG diagnostic method\"},\"tunes\":{}},{\"id\":\"h-evals\",\"type\":\"header\",\"data\":{\"text\":\"Evals replace “looks good to me” with release evidence\",\"level\":2},\"tunes\":{}},{\"id\":\"p-eval-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"Generative outputs are often open-ended, so exact-match tests are insufficient for many tasks. LLMOps adds evaluation datasets and scorers that can measure task success, correctness, safety, groundedness, style or domain-specific acceptance criteria.\"},\"tunes\":{}},{\"id\":\"p-eval-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"MLflow's current GenAI evaluation stack supports versioned evaluation datasets, prompt\u002Fmodel comparisons, custom scorers and evaluation over complete traces.\"},\"tunes\":{}},{\"id\":\"p-eval-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"The strongest practice is evaluation-driven development: define representative cases and acceptance criteria before or alongside changes, then compare releases against the same evidence.\"},\"tunes\":{}},{\"id\":\"eval-rule\",\"type\":\"callout\",\"data\":{\"variant\":\"success\",\"title\":\"Behavioral changes need behavioral tests\",\"body\":\"A deployment should not be considered equivalent merely because the API contract still works. If the prompt, model, retrieval or tools changed, the behavioral regression suite should run again.\"},\"tunes\":{}},{\"id\":\"h-judges\",\"type\":\"header\",\"data\":{\"text\":\"LLM-as-a-judge is useful but not ground truth\",\"level\":2},\"tunes\":{}},{\"id\":\"p-judge-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"LLM judges can scale evaluation for qualities that are expensive to encode as deterministic assertions, such as relevance, tone or groundedness.\"},\"tunes\":{}},{\"id\":\"p-judge-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"However, the judge is another model with its own bias, version and prompt. Judge configuration should therefore be versioned and calibrated against human or deterministic reference cases where consequence matters.\"},\"tunes\":{}},{\"id\":\"p-judge-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"A production eval can mix deterministic checks, reference-based metrics, model judges and human review rather than asking one metric to represent every quality dimension.\"},\"tunes\":{}},{\"id\":\"h-tracing\",\"type\":\"header\",\"data\":{\"text\":\"Tracing becomes more important than endpoint logs\",\"level\":2},\"tunes\":{}},{\"id\":\"p-trace-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"Traditional API logs can tell you that a request took two seconds and returned HTTP 200. They cannot tell you which retrieved chunks were selected, which tool the agent called or which model span consumed most tokens.\"},\"tunes\":{}},{\"id\":\"p-trace-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"MLflow's current GenAI tracing captures prompts, retrievals, tool calls and application spans, and its production evaluation flow can score intermediate trajectory information rather than only final text.\"},\"tunes\":{}},{\"id\":\"p-trace-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"This is a major LLMOps shift: observability follows the behavioral graph of the application, not only the serving endpoint.\"},\"tunes\":{}},{\"id\":\"h-agent\",\"type\":\"header\",\"data\":{\"text\":\"Agents expand LLMOps into runtime operations\",\"level\":2},\"tunes\":{}},{\"id\":\"p-agent-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"An agentic application can perform several model calls, tool invocations and state transitions before producing a result.\"},\"tunes\":{}},{\"id\":\"p-agent-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"Operating agents therefore requires step counts, tool-call traces, permission denials, retries, loop detection, human approvals and verified final state in addition to ordinary model latency and token metrics.\"},\"tunes\":{}},{\"id\":\"p-agent-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"A correct final answer can hide a bad trajectory, so agent evaluation must inspect the path as well as the result.\"},\"tunes\":{}},{\"id\":\"ref-agent-reliability\",\"type\":\"referralArticle\",\"data\":{\"url\":\"https:\u002F\u002Fstajic.de\u002Fblog\u002Fai-agent-reliability-why-the-final-answer-is-not-enough\",\"title\":\"AI Agent Reliability: Why the Final Answer Is Not Enough\",\"excerpt\":\"Why agent production evaluation must include tool calls, state transitions, approvals and recoverability.\",\"ctaLabel\":\"Read the agent reliability article\"},\"tunes\":{}},{\"id\":\"h-cost\",\"type\":\"header\",\"data\":{\"text\":\"Tokens, model calls and context become cost variables\",\"level\":2},\"tunes\":{}},{\"id\":\"p-cost-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"Classical ML inference cost is often dominated by serving infrastructure or per-prediction compute. LLM applications can add provider token pricing, repeated agent calls, embedding calls, reranking and tool\u002Fruntime overhead.\"},\"tunes\":{}},{\"id\":\"p-cost-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"Cost therefore has to be attributed to task or trace, not only to one endpoint. A workflow that makes eight hidden model calls can be functionally correct but operationally unacceptable.\"},\"tunes\":{}},{\"id\":\"p-cost-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"Latency behaves the same way: model latency, retrieval, reranking and external tools compose into end-to-end user latency.\"},\"tunes\":{}},{\"id\":\"h-cache\",\"type\":\"header\",\"data\":{\"text\":\"Caching becomes semantic, not only technical\",\"level\":2},\"tunes\":{}},{\"id\":\"p-cache-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"LLM systems can cache prompts, embeddings, retrieval results or full responses, but the cache key must reflect the semantics that can change the result.\"},\"tunes\":{}},{\"id\":\"p-cache-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"A response cache that ignores model version, tenant, permissions or source freshness can return a technically valid but semantically invalid answer.\"},\"tunes\":{}},{\"id\":\"p-cache-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"LLMOps therefore treats cache invalidation as part of model\u002Fcontext\u002Fdata versioning rather than only infrastructure optimization.\"},\"tunes\":{}},{\"id\":\"h-safety\",\"type\":\"header\",\"data\":{\"text\":\"Safety and permissions become release criteria\",\"level\":2},\"tunes\":{}},{\"id\":\"p-safety-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"Generative systems can produce unbounded text and agents can trigger external actions. Safety testing therefore sits closer to ordinary CI\u002FCD than in many classical predictive ML systems.\"},\"tunes\":{}},{\"id\":\"p-safety-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"Permission checks, prompt-injection tests, tenant-isolation tests and side-effect approvals should be reproducible regression tests where those risks exist.\"},\"tunes\":{}},{\"id\":\"p-safety-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"The model may suggest an operation, but the runtime still has to enforce authorization. LLMOps owns the evidence that those controls continue to work after model, prompt or tool changes.\"},\"tunes\":{}},{\"id\":\"h-ci\",\"type\":\"header\",\"data\":{\"text\":\"What CI looks like in LLMOps\",\"level\":2},\"tunes\":{}},{\"id\":\"ci-table\",\"type\":\"table\",\"data\":{\"withHeadings\":true,\"stretched\":false,\"content\":[[\"CI layer\",\"Example checks\"],[\"Code\",\"Unit tests, type checks, schema validation\"],[\"Prompts\",\"Template rendering, required variables, policy text, snapshot review\"],[\"Models\u002Fproviders\",\"Compatibility, output schema, capability and regression tests\"],[\"RAG\",\"Chunking fixtures, filter tests, Recall@k, reranker regression\"],[\"Tools\",\"Input\u002Foutput schema tests, permission tests, idempotency tests\"],[\"Agents\",\"Trajectory fixtures, loop limits, handoff\u002Ftool-selection tests\"],[\"Security\",\"Prompt injection, unauthorized tools, cross-tenant negative tests\"],[\"Behavioral evals\",\"Task success, correctness, grounding, safety, domain criteria\"],[\"Operational\",\"Latency, token\u002Fcost budgets, timeout\u002Ffallback behavior\"]]},\"tunes\":{}},{\"id\":\"h-cd\",\"type\":\"header\",\"data\":{\"text\":\"What CD looks like in LLMOps\",\"level\":2},\"tunes\":{}},{\"id\":\"p-cd-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"A production release may deploy no new model artifact at all. It may simply ship a new prompt, retrieval configuration, tool set or provider mapping.\"},\"tunes\":{}},{\"id\":\"p-cd-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"The release bundle should therefore identify the complete behavior-defining configuration rather than only the application container image.\"},\"tunes\":{}},{\"id\":\"p-cd-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"Feature flags, staged rollout, shadow evaluation, canary traffic and rollback are useful because LLM behavior can regress in ways that static contract tests do not detect.\"},\"tunes\":{}},{\"id\":\"h-ct\",\"type\":\"header\",\"data\":{\"text\":\"Continuous training becomes optional; continuous evaluation becomes central\",\"level\":2},\"tunes\":{}},{\"id\":\"p-ct-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"Traditional MLOps often emphasizes continuous training when new data or drift justifies retraining.\"},\"tunes\":{}},{\"id\":\"p-ct-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"Many LLM applications never train the foundation model. Their equivalent continuous loop is continuous evaluation: collect failures and representative production cases, add them to evaluation datasets, test candidate prompt\u002Fmodel\u002Fretrieval changes and redeploy only when evidence improves.\"},\"tunes\":{}},{\"id\":\"p-ct-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"Fine-tuning can reintroduce a training lifecycle, but it should sit inside the same broader evaluation and release process.\"},\"tunes\":{}},{\"id\":\"h-monitor\",\"type\":\"header\",\"data\":{\"text\":\"What should be monitored in production?\",\"level\":2},\"tunes\":{}},{\"id\":\"monitor-table\",\"type\":\"table\",\"data\":{\"withHeadings\":true,\"stretched\":false,\"content\":[[\"Signal class\",\"Examples\"],[\"System health\",\"Errors, timeouts, endpoint availability\"],[\"Model\u002Fprovider\",\"Model ID, snapshot, rate limits, provider errors\"],[\"Latency\",\"End-to-end, model, retrieval, tool and reranker spans\"],[\"Cost\",\"Input\u002Foutput tokens, embeddings, tool\u002FAPI spend\"],[\"Quality\",\"Sampled task success, correctness, relevance, groundedness\"],[\"RAG\",\"Retrieval recall proxies, empty retrieval, stale sources, citation coverage\"],[\"Agents\",\"Tool selection, retries, loops, handoffs, approval frequency\"],[\"Security\",\"Denied actions, prompt-injection indicators, tenant-boundary failures\"],[\"User feedback\",\"Corrections, abandonment, escalation, explicit ratings\"],[\"Change drift\",\"Provider\u002Fmodel\u002Fconfig changes relative to approved release\"]]},\"tunes\":{}},{\"id\":\"h-prod-eval\",\"type\":\"header\",\"data\":{\"text\":\"Production traces can become evaluation data\",\"level\":2},\"tunes\":{}},{\"id\":\"p-prod-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"One of the most useful modern LLMOps patterns is to turn sampled production traces into evaluation records.\"},\"tunes\":{}},{\"id\":\"p-prod-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"MLflow currently supports retrieving production traces and scoring not only outputs but intermediate spans such as retrieval or tool-call trajectories.\"},\"tunes\":{}},{\"id\":\"p-prod-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"This closes the loop between observability and development: real failures can become regression cases in the next release rather than disappear inside logs.\"},\"tunes\":{}},{\"id\":\"h-repro\",\"type\":\"header\",\"data\":{\"text\":\"Reproducibility becomes conditional rather than exact\",\"level\":2},\"tunes\":{}},{\"id\":\"p-repro-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"Classical ML reproducibility often aims to recreate a model from versioned code, data, environment and training parameters.\"},\"tunes\":{}},{\"id\":\"p-repro-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"Hosted LLM applications cannot always reproduce identical output token-for-token because generation is probabilistic and providers may control infrastructure.\"},\"tunes\":{}},{\"id\":\"p-repro-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"LLMOps therefore aims for behavioral reproducibility: record enough model\u002Fprovider\u002Fversion, prompt, context inputs, retrieval state and runtime configuration to reproduce the conditions and validate behavior within expected tolerances.\"},\"tunes\":{}},{\"id\":\"h-lineage\",\"type\":\"header\",\"data\":{\"text\":\"Lineage expands from model lineage to application lineage\",\"level\":2},\"tunes\":{}},{\"id\":\"p-lineage-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"AWS's MLOps guidance treats model lineage as the history of code, data, model and infrastructure artifacts needed for diagnosis and reproducibility.\"},\"tunes\":{}},{\"id\":\"p-lineage-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"For LLM applications, lineage should additionally connect prompts, eval datasets, retrieval\u002Findex versions, tool schemas, agent\u002Fruntime configuration and provider\u002Fmodel snapshots.\"},\"tunes\":{}},{\"id\":\"p-lineage-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"The target question becomes: Which exact application configuration produced this trace?\"},\"tunes\":{}},{\"id\":\"h-routing\",\"type\":\"header\",\"data\":{\"text\":\"Multi-provider and model routing create operational policy\",\"level\":2},\"tunes\":{}},{\"id\":\"p-route-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"Once an application can use several providers or local models, routing becomes an operational policy rather than a simple model string.\"},\"tunes\":{}},{\"id\":\"p-route-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"Routing may depend on capability, latency, cost, privacy, context length, availability, tool support or locality. A fallback can preserve uptime while changing answer quality or data-processing assumptions.\"},\"tunes\":{}},{\"id\":\"p-route-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"LLMOps should therefore log which route was actually selected and evaluate routes independently rather than treat every compatible endpoint as behaviorally interchangeable.\"},\"tunes\":{}},{\"id\":\"h-implementation\",\"type\":\"header\",\"data\":{\"text\":\"Original implementation evidence\",\"level\":2},\"tunes\":{}},{\"id\":\"h-client\",\"type\":\"header\",\"data\":{\"text\":\"Aaasaasa AI Client: provider, model and runtime are separate operational objects\",\"level\":3},\"tunes\":{}},{\"id\":\"p-client-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"Aaasaasa AI Client separates agent\u002Fclient, provider, model, runtime location and permissions. Its AI Hub supports Ollama, LM Studio\u002FOpenAI-compatible endpoints and other provider protocols rather than treating “the model” as one global setting.\"},\"tunes\":{}},{\"id\":\"p-client-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"The implementation includes dynamic local model discovery, streaming, thinking output and explicit Ollama warm\u002Fload and unload controls. That is operational evidence that local LLM serving introduces resource lifecycle concerns beyond an API model name.\"},\"tunes\":{}},{\"id\":\"p-client-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"Provider status is queried through provider adapters, and connection types distinguish local, cloud API, account-backed, remote-agent and web-client paths. These are concrete operational dimensions an LLM-aware platform has to surface.\"},\"tunes\":{}},{\"id\":\"p-client-4\",\"type\":\"paragraph\",\"data\":{\"text\":\"The repository also preserves an important boundary: a local runtime is not automatically local inference. Provider\u002Fmodel\u002Fruntime location are versioned or configurable concerns that affect privacy, latency, cost and availability.\"},\"tunes\":{}},{\"id\":\"h-sot\",\"type\":\"header\",\"data\":{\"text\":\"Source of Truth Research Engine: LLM application state extends beyond the model\",\"level\":3},\"tunes\":{}},{\"id\":\"p-sot-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"The Source of Truth Research Engine combines lexical search, optional embeddings, source snapshots, SHA-256 identity, claims, provenance and contradiction tracking around local model-assisted research.\"},\"tunes\":{}},{\"id\":\"p-sot-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"This is useful LLMOps evidence because changing the model alone does not define the research system. Retrieval, source acquisition, evidence classification and persistent provenance are independent operational artifacts.\"},\"tunes\":{}},{\"id\":\"p-sot-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"The implementation deliberately treats semantic similarity as discovery rather than evidence, showing why LLMOps observability should distinguish retrieval behavior from claim validity.\"},\"tunes\":{}},{\"id\":\"impl-table\",\"type\":\"table\",\"data\":{\"withHeadings\":true,\"stretched\":false,\"content\":[[\"Observed implementation\",\"LLMOps lesson\"],[\"Multiple provider protocols\",\"Provider identity is an operational dependency\"],[\"Dynamic model discovery\",\"Available models can change independently of application code\"],[\"Ollama load\u002Funload controls\",\"Local models have memory\u002Fresource lifecycle\"],[\"Provider health\u002Fstatus adapters\",\"Model availability needs runtime observability\"],[\"Separate runtime and inference location\",\"Deployment topology is not one boolean “local\u002Fcloud”\"],[\"Central permissions\",\"Model capability and tool authority must remain separate\"],[\"Lexical + semantic retrieval pipeline\",\"Retrieval configuration is part of application behavior\"],[\"Source\u002Fprovenance persistence\",\"Operational state and evidence live outside model weights\"]]},\"tunes\":{}},{\"id\":\"impl-boundary\",\"type\":\"callout\",\"data\":{\"variant\":\"note\",\"title\":\"Evidence boundary\",\"body\":\"These projects demonstrate multi-provider\u002Flocal-model operations, permission separation, retrieval infrastructure and evidence persistence. They are not presented as a complete commercial LLMOps platform or proof of large-scale production traffic.\"},\"tunes\":{}},{\"id\":\"h-failures\",\"type\":\"header\",\"data\":{\"text\":\"Common LLMOps failure modes\",\"level\":2},\"tunes\":{}},{\"id\":\"failure-table\",\"type\":\"table\",\"data\":{\"withHeadings\":true,\"stretched\":false,\"content\":[[\"Failure mode\",\"What actually went wrong\"],[\"Model alias upgraded silently\",\"Behavior changed without controlled release\"],[\"Prompt changed without evals\",\"Behavioral regression passed normal unit tests\"],[\"RAG index stale\",\"Generation model was blamed for retrieval\u002Fdata failure\"],[\"Only final answer is logged\",\"Root cause in retrieval\u002Ftool\u002Fcontext trajectory is invisible\"],[\"Provider fallback is silent\",\"Different model\u002Fdata path changes behavior without attribution\"],[\"Token cost tracked globally\",\"Expensive workflows cannot be localized\"],[\"Judge model changed\",\"Evaluation scores drift without application change\"],[\"Production traces never become tests\",\"Known failures repeatedly return\"],[\"Local model stays loaded indefinitely\",\"VRAM\u002Fresource pressure becomes operational instability\"],[\"Permissions encoded only in prompt\",\"Model behavior is mistaken for authorization\"],[\"One eval score gates everything\",\"Different quality dimensions are collapsed into a misleading number\"],[\"Model registry exists but prompt\u002Findex versions do not\",\"Application lineage remains incomplete\"]]},\"tunes\":{}},{\"id\":\"h-misconceptions\",\"type\":\"header\",\"data\":{\"text\":\"Common misconceptions\",\"level\":2},\"tunes\":{}},{\"id\":\"misconceptions-table\",\"type\":\"table\",\"data\":{\"withHeadings\":true,\"stretched\":false,\"content\":[[\"Misconception\",\"Correction\"],[\"“LLMOps replaces MLOps.”\",\"LLMOps extends MLOps principles to LLM-specific application behavior.\"],[\"“LLMOps is prompt engineering.”\",\"Prompts are one artifact among models, providers, context, retrieval, tools, evals and runtime.\"],[\"“Hosted APIs remove operations work.”\",\"They remove some model-serving\u002Ftraining work but add provider lifecycle, version and dependency management.\"],[\"“If the API is stable, the app is stable.”\",\"Model behavior and provider\u002Fmodel snapshots can change independently of API schema.\"],[\"“RAG is just data preprocessing.”\",\"In production it has its own ingestion, index, retrieval and freshness lifecycle.\"],[\"“LLM outputs cannot be tested.”\",\"They can be evaluated with deterministic, reference, judge and human criteria.\"],[\"“LLM judges are objective ground truth.”\",\"They are model-based evaluators that also require calibration and version control.\"],[\"“A local model eliminates LLMOps.”\",\"Local serving adds model files, VRAM, load\u002Funload, runtime health and upgrade concerns.\"],[\"“Observability means token counts.”\",\"Useful observability follows prompts, retrievals, tools, model spans and outcomes.\"],[\"“Continuous training is mandatory.”\",\"Many LLM apps use continuous evaluation without training the foundation model.\"]]},\"tunes\":{}},{\"id\":\"h-design\",\"type\":\"header\",\"data\":{\"text\":\"A practical LLMOps design sequence\",\"level\":2},\"tunes\":{}},{\"id\":\"design-flow\",\"type\":\"processFlow\",\"data\":{\"title\":\"Operate the complete behavior-producing system\",\"orientation\":\"auto\",\"steps\":[{\"label\":\"1. Define the behavior unit\",\"description\":\"List every component that can materially change output: model, prompt, retrieval, tools, context and policy.\"},{\"label\":\"2. Establish application lineage\",\"description\":\"Version code, model\u002Fprovider, prompts, eval datasets, retrieval configuration and tool contracts.\"},{\"label\":\"3. Build representative eval datasets\",\"description\":\"Use expected success\u002Ffailure cases from design and production.\"},{\"label\":\"4. Separate deterministic and behavioral tests\",\"description\":\"Keep schema\u002Fsecurity assertions distinct from semantic output evaluation.\"},{\"label\":\"5. Trace end-to-end execution\",\"description\":\"Instrument model, retrieval, reranking, tools and agent\u002Fruntime spans.\"},{\"label\":\"6. Define release gates\",\"description\":\"Set quality, safety, latency and cost thresholds.\"},{\"label\":\"7. Pin or explicitly record model versions\",\"description\":\"Treat model\u002Fprovider changes as release events.\"},{\"label\":\"8. Deploy progressively\",\"description\":\"Use flags, canaries or staged rollout where consequence warrants it.\"},{\"label\":\"9. Evaluate production traces\",\"description\":\"Measure real task behavior and identify recurrent failures.\"},{\"label\":\"10. Feed failures back into eval datasets\",\"description\":\"Turn incidents and corrections into permanent regression coverage.\"},{\"label\":\"11. Monitor provider and data lifecycles\",\"description\":\"Track deprecations, index freshness, source changes and runtime availability.\"},{\"label\":\"12. Retire obsolete versions cleanly\",\"description\":\"Remove old prompts\u002Fmodels\u002Findexes\u002Fcredentials after migration and evidence retention decisions.\"}]},\"tunes\":{}},{\"id\":\"h-checklist\",\"type\":\"header\",\"data\":{\"text\":\"LLMOps architecture checklist\",\"level\":2},\"tunes\":{}},{\"id\":\"checklist-table\",\"type\":\"table\",\"data\":{\"withHeadings\":true,\"stretched\":false,\"content\":[[\"Question\",\"Expected evidence\"],[\"Which model\u002Fprovider\u002Fversion served the request?\",\"Traceable model identity\"],[\"Which prompt\u002Finstructions were active?\",\"Versioned application code\u002Fconfig\"],[\"Which context reached the model?\",\"Context\u002Fretrieval trace\"],[\"Which corpus\u002Findex version was used?\",\"Retrieval lineage\"],[\"Which tools were available and called?\",\"Tool schema + trajectory trace\"],[\"Which permissions applied?\",\"Runtime authorization record\"],[\"How is quality measured?\",\"Versioned eval dataset + scorers\"],[\"How are model upgrades tested?\",\"Behavioral regression suite\"],[\"How is production quality sampled?\",\"Trace evaluation\u002Ffeedback process\"],[\"Can one failure be reproduced approximately?\",\"Model\u002Fcontext\u002Fprovider\u002Fapplication lineage\"],[\"Where is cost spent?\",\"Per-trace model\u002Ftool\u002Fretrieval attribution\"],[\"What triggers rollback?\",\"Defined quality\u002Fsafety\u002Fcost\u002Favailability threshold\"],[\"How are provider deprecations handled?\",\"Migration\u002Ffallback process\"],[\"How are local models operated?\",\"Health, resource, load\u002Funload and version controls\"]]},\"tunes\":{}},{\"id\":\"h-edge\",\"type\":\"header\",\"data\":{\"text\":\"Edge cases and limitations\",\"level\":2},\"tunes\":{}},{\"id\":\"p-edge-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"A simple application that calls one fixed hosted model with no retrieval or tools may need only lightweight LLMOps: versioned prompt code, evals, model pinning, basic tracing and provider monitoring.\"},\"tunes\":{}},{\"id\":\"p-edge-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"A self-hosted fine-tuned model may require nearly the full classical MLOps stack plus LLM-specific application evaluation, making the boundary between MLOps and LLMOps intentionally blurry.\"},\"tunes\":{}},{\"id\":\"p-edge-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"An agent platform can have minimal model-training operations but substantial runtime operations because failures occur in tool selection, state and orchestration.\"},\"tunes\":{}},{\"id\":\"p-edge-4\",\"type\":\"paragraph\",\"data\":{\"text\":\"A RAG-heavy system can be operationally dominated by document ingestion and retrieval quality rather than model serving.\"},\"tunes\":{}},{\"id\":\"p-edge-5\",\"type\":\"paragraph\",\"data\":{\"text\":\"Terminology will continue to evolve. The durable architecture question is not which “Ops” label wins, but which artifacts produce behavior and therefore must be versioned, evaluated, observed and governed.\"},\"tunes\":{}},{\"id\":\"h-change\",\"type\":\"header\",\"data\":{\"text\":\"What would change this answer?\",\"level\":2},\"tunes\":{}},{\"id\":\"p-change-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"If foundation-model providers standardize perfectly stable model behavior and long-term version support, provider\u002Fsnapshot management could become less operationally significant.\"},\"tunes\":{}},{\"id\":\"p-change-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"If applications increasingly own fine-tuning or training, classical MLOps concerns become more central again.\"},\"tunes\":{}},{\"id\":\"p-change-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"The operational principle would remain: every component that can materially change production behavior belongs in lineage, testing, observability and change control.\"},\"tunes\":{}},{\"id\":\"h-related\",\"type\":\"header\",\"data\":{\"text\":\"Related canonical knowledge\",\"level\":2},\"tunes\":{}},{\"id\":\"p-related-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"LLMOps sits below AI Governance and Enterprise AI Architecture: governance defines which changes require evidence and approval, while LLMOps provides the operational machinery to version, evaluate, deploy and observe those changes.\"},\"tunes\":{}},{\"id\":\"p-related-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"Context Engineering and RAG are operational subdomains inside many LLM applications because context and retrieval can change behavior independently of the model.\"},\"tunes\":{}},{\"id\":\"p-related-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"Agentic AI extends LLMOps further into trajectory, permissions and tool-runtime operations.\"},\"tunes\":{}},{\"id\":\"ref-memory\",\"type\":\"referralArticle\",\"data\":{\"url\":\"https:\u002F\u002Fstajic.de\u002Fblog\u002Fai-agent-memory-is-not-rag-how-to-separate-memory-retrieval-state-and-context\",\"title\":\"AI Agent Memory Is Not RAG: How to Separate Memory, Retrieval, State and Context\",\"excerpt\":\"Operational reliability improves when memory, retrieval, application state and model context remain separate lifecycle objects.\",\"ctaLabel\":\"Read the architecture article\"},\"tunes\":{}},{\"id\":\"ref-avb\",\"type\":\"referralArticle\",\"data\":{\"url\":\"https:\u002F\u002Fstajic.de\u002Fblog\u002Fthe-answer-validity-boundary-the-missing-layer-between-relevance-and-reliable-ai-answers\",\"title\":\"The Answer Validity Boundary: The Missing Layer Between Relevance and Reliable AI Answers\",\"excerpt\":\"LLMOps evaluation should preserve the version, scope and evidence conditions under which an answer remains supported.\",\"ctaLabel\":\"Read the Answer Validity Boundary\"},\"tunes\":{}},{\"id\":\"h-faq\",\"type\":\"header\",\"data\":{\"text\":\"Frequently asked questions\",\"level\":2},\"tunes\":{}},{\"id\":\"faq\",\"type\":\"faq\",\"data\":{\"title\":\"MLOps vs LLMOps FAQ\",\"items\":[{\"id\":\"faq1\",\"question\":\"What is the difference between MLOps and LLMOps?\",\"answer\":\"MLOps operates machine-learning systems across data, training, deployment and monitoring. LLMOps extends those practices to LLM applications where prompts, context, retrieval, providers, tools and evaluations also materially affect behavior.\"},{\"id\":\"faq2\",\"question\":\"Does LLMOps replace MLOps?\",\"answer\":\"No. LLMOps reuses MLOps disciplines such as CI\u002FCD, lineage, evaluation, deployment and monitoring and adds LLM-specific operational concerns.\"},{\"id\":\"faq3\",\"question\":\"Do LLM applications need continuous training?\",\"answer\":\"Not necessarily. Many use external foundation models and instead rely on continuous evaluation of prompts, models, retrieval and application behavior. Fine-tuned or self-trained systems can still require training pipelines.\"},{\"id\":\"faq4\",\"question\":\"Why are evals so important in LLMOps?\",\"answer\":\"Generative outputs are open-ended and model behavior can change across prompts, snapshots and context. Evals provide repeatable evidence that a release still meets defined quality and safety criteria.\"},{\"id\":\"faq5\",\"question\":\"What should be versioned in LLMOps?\",\"answer\":\"At minimum: application code, model\u002Fprovider\u002Fversion, prompts, eval datasets\u002Fscorers, retrieval configuration\u002Findexes, tool schemas, context rules and relevant safety\u002Fpermission configuration.\"},{\"id\":\"faq6\",\"question\":\"Is prompt versioning enough?\",\"answer\":\"No. The same prompt can behave differently with another model, retrieval set, context order, tool surface or provider.\"},{\"id\":\"faq7\",\"question\":\"What is GenAIOps?\",\"answer\":\"GenAIOps is another industry term for operating generative-AI applications. Some vendors use it interchangeably or as a broader label than LLMOps.\"},{\"id\":\"faq8\",\"question\":\"How do you monitor an LLM application?\",\"answer\":\"Monitor end-to-end traces including model calls, prompts\u002Fcontext, retrieval, tools, latency, token\u002Fcost, quality samples, safety and final task outcomes.\"},{\"id\":\"faq9\",\"question\":\"Can local LLMs use LLMOps practices?\",\"answer\":\"Yes. Local models add their own operational concerns such as model files, hardware\u002FVRAM, load\u002Funload, runtime health, quantization and upgrade management.\"}]},\"tunes\":{}},{\"id\":\"h-glossary\",\"type\":\"header\",\"data\":{\"text\":\"Glossary\",\"level\":2},\"tunes\":{}},{\"id\":\"glossary\",\"type\":\"glossary\",\"data\":{\"title\":\"Key MLOps and LLMOps terms\",\"entries\":[{\"term\":\"MLOps\",\"definition\":\"Engineering practices for building, deploying, monitoring and maintaining machine-learning systems and their data\u002Fmodel lifecycle.\",\"anchor\":\"mlops\"},{\"term\":\"LLMOps\",\"definition\":\"Operational practices for production applications whose behavior materially depends on large language models and surrounding prompts, context, retrieval, tools and runtime.\",\"anchor\":\"llmops\"},{\"term\":\"GenAIOps\",\"definition\":\"Operational discipline for generative-AI applications; often used as a broader or alternate label for LLMOps.\",\"anchor\":\"genaiops\"},{\"term\":\"Continuous training\",\"definition\":\"Automated or repeated retraining and serving of ML models as data or implementations change.\",\"anchor\":\"continuous-training\"},{\"term\":\"Continuous evaluation\",\"definition\":\"Repeated evaluation of candidate and production AI behavior against versioned datasets and criteria.\",\"anchor\":\"continuous-evaluation\"},{\"term\":\"Model snapshot\",\"definition\":\"A concrete version of a hosted or packaged model whose behavior can be tested and referenced.\",\"anchor\":\"model-snapshot\"},{\"term\":\"Application lineage\",\"definition\":\"Traceable relationship among code, model\u002Fprovider, prompts, data\u002Fretrieval, tools, runtime and release configuration.\",\"anchor\":\"application-lineage\"},{\"term\":\"Trace\",\"definition\":\"Structured record of one application execution containing spans such as model calls, retrievals and tool operations.\",\"anchor\":\"trace\"},{\"term\":\"Eval dataset\",\"definition\":\"Versioned set of representative inputs, expectations and optionally traces\u002Foutputs used to measure behavior.\",\"anchor\":\"eval-dataset\"},{\"term\":\"LLM judge\",\"definition\":\"A language model used as an evaluator for qualitative or semantic criteria; it is itself a versioned evaluation dependency.\",\"anchor\":\"llm-judge\"},{\"term\":\"Behavioral regression\",\"definition\":\"A degradation in application output or trajectory despite interfaces and code continuing to execute successfully.\",\"anchor\":\"behavioral-regression\"},{\"term\":\"Provider routing\",\"definition\":\"Policy for selecting among available model providers\u002Fendpoints according to capability, cost, latency, privacy or availability.\",\"anchor\":\"provider-routing\"}]},\"tunes\":{}},{\"id\":\"h-conclusion\",\"type\":\"header\",\"data\":{\"text\":\"Conclusion\",\"level\":2},\"tunes\":{}},{\"id\":\"p-conclusion-1\",\"type\":\"paragraph\",\"data\":{\"text\":\"MLOps and LLMOps share the same engineering objective: make AI systems reproducible enough, testable enough and observable enough to operate reliably in production.\"},\"tunes\":{}},{\"id\":\"p-conclusion-2\",\"type\":\"paragraph\",\"data\":{\"text\":\"The difference is the shape of the system. Classical MLOps often centers on training and serving model artifacts; LLMOps must operate a behavioral stack in which model snapshots, prompts, context, retrieval, tools, permissions and providers can change independently.\"},\"tunes\":{}},{\"id\":\"p-conclusion-3\",\"type\":\"paragraph\",\"data\":{\"text\":\"The shortest useful rule is: version, evaluate and observe everything that can materially change the LLM application's behavior — not only the model.\"},\"tunes\":{}},{\"id\":\"h-sources\",\"type\":\"header\",\"data\":{\"text\":\"Primary sources and current documentation\",\"level\":2},\"tunes\":{}},{\"id\":\"p-sources-note\",\"type\":\"paragraph\",\"data\":{\"text\":\"The sources below ground the MLOps baseline and the current operational patterns for LLM and agent applications. Project sections are original implementation evidence and are intentionally narrower than claims about a complete LLMOps platform.\"},\"tunes\":{}},{\"id\":\"src-google-mlops\",\"type\":\"linkTool\",\"data\":{\"link\":\"https:\u002F\u002Fdocs.cloud.google.com\u002Farchitecture\u002Fmlops-continuous-delivery-and-automation-pipelines-in-machine-learning\",\"meta\":{\"image\":{\"url\":\"\"},\"title\":\"Google Cloud — MLOps: Continuous delivery and automation pipelines\",\"description\":\"Reference architecture describing CI, CD, continuous training, model registry, metadata, serving and monitoring for ML systems.\"}},\"tunes\":{}},{\"id\":\"src-aws-lineage\",\"type\":\"linkTool\",\"data\":{\"link\":\"https:\u002F\u002Fdocs.aws.amazon.com\u002Fwellarchitected\u002Flatest\u002Fmachine-learning-lens\u002Fmlops02-bp04.html\",\"meta\":{\"image\":{\"url\":\"\"},\"title\":\"AWS Machine Learning Lens — Model lineage\",\"description\":\"Current guidance for tracking code, data, models, environments and infrastructure across ML releases.\"}},\"tunes\":{}},{\"id\":\"src-aws-monitor\",\"type\":\"linkTool\",\"data\":{\"link\":\"https:\u002F\u002Fdocs.aws.amazon.com\u002Fwellarchitected\u002Flatest\u002Fmachine-learning-lens\u002Fmlops06-bp02.html\",\"meta\":{\"image\":{\"url\":\"\"},\"title\":\"AWS Machine Learning Lens — Model observability and tracking\",\"description\":\"Current guidance for production model monitoring, drift, endpoint health and lineage.\"}},\"tunes\":{}},{\"id\":\"src-azure-llmops\",\"type\":\"linkTool\",\"data\":{\"link\":\"https:\u002F\u002Flearn.microsoft.com\u002Fen-us\u002Fazure\u002Fmachine-learning\u002Fprompt-flow\u002Fhow-to-end-to-end-llmops-with-prompt-flow\",\"meta\":{\"image\":{\"url\":\"\"},\"title\":\"Microsoft Azure — GenAIOps \u002F LLMOps lifecycle\",\"description\":\"Official guidance describing GenAIOps, sometimes called LLMOps, across initialization, experimentation, evaluation\u002Frefinement and deployment.\"}},\"tunes\":{}},{\"id\":\"src-mlflow-genai\",\"type\":\"linkTool\",\"data\":{\"link\":\"https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002F\",\"meta\":{\"image\":{\"url\":\"\"},\"title\":\"MLflow — Agents and LLM applications\",\"description\":\"Current GenAI operations documentation covering tracing, evaluation, prompts and production observability for LLM applications and agents.\"}},\"tunes\":{}},{\"id\":\"src-mlflow-traces\",\"type\":\"linkTool\",\"data\":{\"link\":\"https:\u002F\u002Fwww.mlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002Feval-monitor\u002Frunning-evaluation\u002Ftraces\u002F\",\"meta\":{\"image\":{\"url\":\"\"},\"title\":\"MLflow — Evaluating production traces\",\"description\":\"Current guidance for evaluating complete LLM\u002Fagent traces, including retrieval and tool-call trajectories.\"}},\"tunes\":{}},{\"id\":\"src-mlflow-prompt-eval\",\"type\":\"linkTool\",\"data\":{\"link\":\"https:\u002F\u002Fmlflow.org\u002Fdocs\u002Flatest\u002Fgenai\u002Fprompt-registry\u002Fevaluate-prompts\u002F\",\"meta\":{\"image\":{\"url\":\"\"},\"title\":\"MLflow — Evaluating prompts\",\"description\":\"Current prompt\u002Fmodel evaluation workflow using versioned prompts, datasets, scorers and traces.\"}},\"tunes\":{}},{\"id\":\"src-openai-api\",\"type\":\"linkTool\",\"data\":{\"link\":\"https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Freference\u002Foverview\",\"meta\":{\"image\":{\"url\":\"\"},\"title\":\"OpenAI API — Versioning and model snapshots\",\"description\":\"Current API guidance recommending pinned model versions and evals because prompting behavior can change between snapshots.\"}},\"tunes\":{}},{\"id\":\"src-openai-prompting\",\"type\":\"linkTool\",\"data\":{\"link\":\"https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fguides\u002Fprompting\",\"meta\":{\"image\":{\"url\":\"\"},\"title\":\"OpenAI — Prompting\",\"description\":\"Current guidance to treat production prompts as application code, version them through source control and cover changes with tests and evaluation checks.\"}},\"tunes\":{}},{\"id\":\"src-openai-deprecations\",\"type\":\"linkTool\",\"data\":{\"link\":\"https:\u002F\u002Fdevelopers.openai.com\u002Fapi\u002Fdocs\u002Fdeprecations\",\"meta\":{\"image\":{\"url\":\"\"},\"title\":\"OpenAI — Deprecations\",\"description\":\"Current provider lifecycle evidence showing model and platform-surface retirement as an operational dependency.\"}},\"tunes\":{}},{\"id\":\"src-openai-promptfoo\",\"type\":\"linkTool\",\"data\":{\"link\":\"https:\u002F\u002Fdevelopers.openai.com\u002Fcookbook\u002Fexamples\u002Fevaluation\u002Fmoving-from-openai-evals-to-promptfoo\",\"meta\":{\"image\":{\"url\":\"\"},\"title\":\"OpenAI — Moving evaluation workflows to Promptfoo\",\"description\":\"Current 2026 migration guidance illustrating why evaluation assets should remain portable as provider tooling changes.\"}},\"tunes\":{}}],\"version\":\"2.31.6\"}",{"time":1603,"blocks":1604,"version":2719},1791487321430,[1605,1609,1614,1619,1624,1629,1633,1637,1641,1645,1649,1653,1657,1661,1665,1669,1673,1677,1681,1710,1714,1718,1722,1726,1729,1761,1765,1769,1773,1777,1781,1829,1833,1837,1841,1845,1849,1853,1857,1861,1865,1869,1873,1877,1881,1885,1889,1893,1897,1901,1905,1909,1916,1920,1924,1928,1932,1937,1941,1945,1949,1953,1957,1961,1965,1969,1973,1977,1981,1985,1992,1996,2000,2004,2008,2012,2016,2020,2024,2028,2032,2036,2040,2044,2077,2081,2085,2089,2093,2097,2101,2105,2109,2113,2147,2151,2155,2159,2163,2167,2171,2175,2179,2183,2187,2191,2195,2199,2203,2207,2211,2215,2219,2223,2227,2231,2235,2239,2243,2247,2251,2282,2287,2291,2334,2338,2375,2379,2420,2424,2473,2477,2481,2485,2489,2493,2497,2501,2505,2509,2513,2517,2521,2525,2529,2536,2543,2547,2579,2583,2619,2623,2627,2631,2635,2639,2643,2650,2657,2664,2671,2678,2685,2692,2699,2705,2712],{"id":215,"data":1606,"type":218,"tunes":1608},{"text":1607},"MLOps is the engineering discipline for reliably developing, deploying, versioning and operating machine-learning systems; LLMOps extends that discipline to applications built around large language models, where production behavior depends not only on a model artifact but also on prompts, context, retrieval, provider\u002Fmodel versions, tool calls, safety controls and evaluation pipelines. LLMOps does not replace MLOps. It changes the operational unit from “a model plus serving pipeline” toward “an evolving LLM application whose behavior emerges from several independently changing components.”",{},{"id":221,"data":1610,"type":226,"tunes":1613},{"body":1611,"title":1612,"variant":225},"\u003Cstrong>MLOps operates ML systems. LLMOps operates LLM applications.\u003C\u002Fstrong>\u003Cbr>\u003Cbr>Classical MLOps commonly centers on data pipelines, training, validation, model registry, deployment, drift and retraining. LLMOps keeps those disciplines where relevant, but often adds prompt\u002Fcontext versioning, model\u002Fprovider abstraction, RAG indexes, agent\u002Ftool traces, semantic evaluations, safety tests, token\u002Fcost monitoring and regression testing across rapidly changing model snapshots.","Direct answer",{},{"id":229,"data":1615,"type":226,"tunes":1618},{"body":1616,"title":1617,"variant":233},"A production LLM application can fail even when the prompt is unchanged: the provider can change a model snapshot, a RAG corpus can become stale, a reranker can regress, tool permissions can change, context assembly can drop evidence, or an agent can take a wrong trajectory. LLMOps therefore has to observe and version the system around the model, not only prompt text.","LLMOps is not just prompt management",{},{"id":236,"data":1620,"type":226,"tunes":1623},{"body":1621,"title":1622,"variant":240},"\u003Cstrong>LLMOps\u003C\u002Fstrong>, \u003Cstrong>GenAIOps\u003C\u002Fstrong> and related terms are widely used engineering labels, but they are not one universal formal standard with a single canonical lifecycle. Microsoft currently describes GenAIOps as “sometimes called LLMOps,” while MLflow groups operational tooling around agents and LLM applications. This article uses LLMOps as a practical architecture term for operating production systems whose behavior materially depends on LLMs.","Terminology boundary",{},{"id":243,"data":1625,"type":226,"tunes":1628},{"body":1626,"title":1627,"variant":240},"The operational surface is changing quickly. OpenAI currently recommends pinning model snapshots and running evals because prompting behavior can change between snapshots, and several older platform-specific prompt\u002Feval surfaces are being retired in 2026. The stable architectural lesson is to keep prompts, tests and evals portable and versioned with the application rather than depend on one provider's dashboard object model.","Current-source note — 8 October 2026",{},{"id":249,"data":1630,"type":254,"tunes":1632},{"title":1631,"maxLevel":252,"minLevel":253},"Contents",{},{"id":257,"data":1634,"type":42,"tunes":1636},{"text":1635,"level":253},"What MLOps really means",{},{"id":262,"data":1638,"type":218,"tunes":1640},{"text":1639},"MLOps applies software-engineering and operational discipline to machine-learning systems. The production challenge is broader than training a model: data collection, data validation, experimentation, reproducibility, model evaluation, deployment, infrastructure and monitoring all have to work together.",{},{"id":267,"data":1642,"type":218,"tunes":1644},{"text":1643},"Google's MLOps architecture guidance frames the discipline around continuous integration, continuous delivery and continuous training. CI validates not only code but also data, schemas and models; CD deploys ML pipelines and prediction services; CT can retrain and redeploy models as data or implementations change.",{},{"id":272,"data":1646,"type":218,"tunes":1648},{"text":1647},"AWS guidance adds the same operational concerns from another angle: model lineage, model\u002Fversion traceability, drift monitoring and production-quality monitoring are core parts of keeping ML systems reliable after deployment.",{},{"id":277,"data":1650,"type":42,"tunes":1652},{"text":1651,"level":253},"What changes when the model is an LLM",{},{"id":282,"data":1654,"type":218,"tunes":1656},{"text":1655},"Large language models change the production problem because the application often does not own the complete model-training lifecycle. A team may call a hosted model API, run an open model locally, switch between providers or use several models for different tasks.",{},{"id":287,"data":1658,"type":218,"tunes":1660},{"text":1659},"The model is therefore only one versioned dependency inside a larger behavioral system. Prompts, retrieval results, context order, tools, model snapshot, temperature\u002Freasoning settings, safety filters and runtime orchestration can all change the output.",{},{"id":292,"data":1662,"type":218,"tunes":1664},{"text":1663},"This creates a broader operational question: which combination of model, context, data, prompt, tools and runtime produced this behavior? LLMOps exists to make that question answerable and the answer reproducible enough for engineering work.",{},{"id":297,"data":1666,"type":42,"tunes":1668},{"text":1667,"level":253},"The simplest example",{},{"id":302,"data":1670,"type":218,"tunes":1672},{"text":1671},"Suppose an application answers internal policy questions.",{},{"id":307,"data":1674,"type":218,"tunes":1676},{"text":1675},"In a classical ML framing, you might version a trained classifier, deploy it and monitor prediction quality. In an LLM application, the answer might depend on a hosted model snapshot, a system prompt, an embedding model, a vector index, retrieval filters, a reranker and the final selected context.",{},{"id":312,"data":1678,"type":218,"tunes":1680},{"text":1679},"Changing any one of those components can change the final answer even though the application endpoint and user question stay identical.",{},{"id":317,"data":1682,"type":346,"tunes":1709},{"steps":1683,"title":1708,"orientation":345},[1684,1687,1690,1693,1696,1699,1702,1705],{"label":1685,"description":1686},"1. Change one component","Prompt, model, provider, retrieval setting, tool schema or application code changes.",{"label":1688,"description":1689},"2. Run deterministic tests","Validate schemas, permissions, tool contracts, retrieval filters and application behavior.",{"label":1691,"description":1692},"3. Run behavioral evals","Compare representative outputs, retrieval quality and agent\u002Ftool trajectories against acceptance criteria.",{"label":1694,"description":1695},"4. Compare cost and latency","Measure token use, model calls, retrieval\u002Ftool overhead and response latency.",{"label":1697,"description":1698},"5. Deploy controlled version","Ship the concrete application configuration with model\u002Fprovider versions recorded.",{"label":1700,"description":1701},"6. Trace production behavior","Capture relevant model, retrieval, tool and runtime spans.",{"label":1703,"description":1704},"7. Evaluate production traces","Sample real executions for quality, grounding, safety and task success.",{"label":1706,"description":1707},"8. Roll back or iterate","Use regression evidence and operational signals to decide the next release.","A typical LLMOps release path",{},{"id":349,"data":1711,"type":42,"tunes":1713},{"text":1712,"level":253},"Where the simple example stops",{},{"id":354,"data":1715,"type":218,"tunes":1717},{"text":1716},"Some LLM systems still train or fine-tune their own models, so traditional MLOps practices such as training pipelines, model registry and data lineage remain directly relevant.",{},{"id":359,"data":1719,"type":218,"tunes":1721},{"text":1720},"Other systems use only external foundation-model APIs and never run continuous training. Their main operational workload is application evaluation, model\u002Fprovider change management, prompt\u002Fcontext versioning, retrieval quality and observability.",{},{"id":364,"data":1723,"type":218,"tunes":1725},{"text":1724},"There is therefore no single universal “LLMOps pipeline.” The exact lifecycle depends on whether you train, fine-tune, self-host, retrieve external knowledge, run agents or depend on managed model APIs.",{},{"id":369,"data":1727,"type":42,"tunes":1728},{"text":371,"level":253},{},{"id":374,"data":1730,"type":419,"tunes":1760},{"rows":1731,"title":1756,"layout":411,"columns":1757},[1732,1735,1738,1741,1744,1747,1750,1753],{"id":378,"label":1733,"values":1734},"Primary operational unit",[381,381],{"id":383,"label":1736,"values":1737},"Model ownership",[381,381],{"id":387,"label":1739,"values":1740},"Typical change",[381,381],{"id":391,"label":1742,"values":1743},"Evaluation",[381,381],{"id":395,"label":1745,"values":1746},"Production monitoring",[381,381],{"id":399,"label":1748,"values":1749},"Continuous training",[381,381],{"id":403,"label":1751,"values":1752},"Versioned artifacts",[381,381],{"id":407,"label":1754,"values":1755},"Rollback target",[381,381],"What stays the same and what expands",[1758,1759],{"id":414,"label":415},{"id":417,"label":418},{},{"id":422,"data":1762,"type":42,"tunes":1764},{"text":1763,"level":253},"LLMOps extends MLOps rather than replacing it",{},{"id":427,"data":1766,"type":218,"tunes":1768},{"text":1767},"The core operational principles do not disappear: source control, CI\u002FCD, reproducibility, lineage, deployment controls, monitoring, rollback and measurable acceptance criteria remain essential.",{},{"id":432,"data":1770,"type":218,"tunes":1772},{"text":1771},"The extension is that more behavior-defining artifacts now sit outside the model weights. A managed foundation model can change behavior through snapshot upgrades, while application output can change through prompt or retrieval changes without any model retraining.",{},{"id":437,"data":1774,"type":218,"tunes":1776},{"text":1775},"This is why the useful hierarchy is usually DevOps → MLOps → LLMOps\u002FGenAIOps as increasingly specialized operational concerns, not three mutually exclusive practices.",{},{"id":442,"data":1778,"type":42,"tunes":1780},{"text":1779,"level":253},"What has to be versioned in LLMOps?",{},{"id":447,"data":1782,"type":411,"tunes":1828},{"content":1783,"stretched":43,"withHeadings":14},[1784,1787,1790,1793,1795,1798,1801,1804,1807,1810,1813,1816,1819,1822,1825],[1785,1786],"Artifact","Why it matters",[1788,1789],"Application code","Defines orchestration, validation, retries and business behavior",[1791,1792],"Model family + snapshot\u002Fversion","Different snapshots can produce different behavior",[460,1794],"Changes data flow, latency, limits, pricing and availability",[1796,1797],"Prompt\u002Finstruction code","Changes model behavior even with same model",[1799,1800],"Generation\u002Freasoning parameters","Can alter determinism, latency, depth and cost",[1802,1803],"Eval dataset","Defines what “good enough” is tested against",[1805,1806],"Scorers \u002F graders","Define how quality is measured",[1808,1809],"Embedding model","Changes vector representation and retrieval behavior",[1811,1812],"Chunking\u002Findex configuration","Changes what can be retrieved",[1814,1815],"Reranker \u002F retrieval fusion","Changes result ordering",[1817,1818],"Tool schemas","Change what the model can request and how",[1820,1821],"Permission profile","Changes what tool actions may actually execute",[1823,1824],"Context assembly rules","Change what evidence and state reach the model",[1826,1827],"Safety\u002Fguardrail configuration","Changes allowed or blocked behavior",{},{"id":497,"data":1830,"type":42,"tunes":1832},{"text":1831,"level":253},"Model snapshots become release dependencies",{},{"id":502,"data":1834,"type":218,"tunes":1836},{"text":1835},"With hosted LLMs, the team may not control model training, but it still controls which model or snapshot the application calls.",{},{"id":507,"data":1838,"type":218,"tunes":1840},{"text":1839},"OpenAI's current API guidance explicitly warns that prompting behavior can change between model snapshots and recommends pinning production applications to specific snapshots where consistency matters, then running evals when upgrading.",{},{"id":512,"data":1842,"type":218,"tunes":1844},{"text":1843},"The operational consequence is straightforward: model upgrades should be treated as application releases, not invisible infrastructure maintenance.",{},{"id":517,"data":1846,"type":42,"tunes":1848},{"text":1847,"level":253},"Provider lifecycle becomes part of operations",{},{"id":522,"data":1850,"type":218,"tunes":1852},{"text":1851},"LLM applications often depend on provider rate limits, deprecation schedules, API semantics, context limits, data-handling rules and pricing.",{},{"id":527,"data":1854,"type":218,"tunes":1856},{"text":1855},"A provider can deprecate a model while your application code remains unchanged. OpenAI's current deprecation schedule, for example, includes 2026 retirement dates for older model snapshots and platform surfaces.",{},{"id":532,"data":1858,"type":218,"tunes":1860},{"text":1859},"LLMOps therefore needs provider lifecycle tracking, migration testing and fallback decisions in addition to model-quality monitoring.",{},{"id":537,"data":1862,"type":42,"tunes":1864},{"text":1863,"level":253},"Prompts behave like production code",{},{"id":542,"data":1866,"type":218,"tunes":1868},{"text":1867},"Prompts are executable behavioral configuration. Small changes can alter output quality, tool selection and policy interpretation.",{},{"id":547,"data":1870,"type":218,"tunes":1872},{"text":1871},"OpenAI's current guidance recommends storing production prompts in application code, reviewing prompt changes through pull requests, using typed inputs and covering changes with tests and evaluation checks.",{},{"id":552,"data":1874,"type":218,"tunes":1876},{"text":1875},"That makes prompt versioning less like editing marketing copy and more like changing a function whose output is probabilistic and model-dependent.",{},{"id":557,"data":1878,"type":42,"tunes":1880},{"text":1879,"level":253},"Context engineering becomes an operational concern",{},{"id":562,"data":1882,"type":218,"tunes":1884},{"text":1883},"The production model rarely receives only a static prompt. It may receive conversation history, retrieved documents, tool outputs, memory, current application state and policy instructions.",{},{"id":567,"data":1886,"type":218,"tunes":1888},{"text":1887},"LLMOps must therefore observe context assembly: which evidence was selected, which state version was current, whether truncation occurred and whether important instructions survived compaction.",{},{"id":572,"data":1890,"type":218,"tunes":1892},{"text":1891},"A model regression and a context regression can look identical at the final answer. Tracing the actual context path is what lets the team separate them.",{},{"id":577,"data":1894,"type":42,"tunes":1896},{"text":1895,"level":253},"RAG creates its own operational lifecycle",{},{"id":582,"data":1898,"type":218,"tunes":1900},{"text":1899},"A RAG system introduces a second production pipeline beside model inference: ingestion, extraction, chunking, metadata, embeddings, indexes, retrieval, reranking and context selection.",{},{"id":587,"data":1902,"type":218,"tunes":1904},{"text":1903},"The knowledge corpus can change every day even when the model and prompt do not. A stale index or broken metadata filter can therefore degrade answer quality without any model drift.",{},{"id":592,"data":1906,"type":218,"tunes":1908},{"text":1907},"LLMOps for RAG should track corpus\u002Findex version, embedding model, chunking policy, retrieval configuration, source freshness and retrieval metrics separately from generation quality.",{},{"id":597,"data":1910,"type":603,"tunes":1915},{"url":1911,"title":1912,"excerpt":1913,"ctaLabel":1914},"https:\u002F\u002Fstajic.de\u002Fblog\u002Frag-failed-but-which-layer-actually-failed-a-diagnostic-method","RAG Failed — But Which Layer Actually Failed? A Diagnostic Method","A production LLM pipeline needs separate observability for source coverage, retrieval, ranking, context assembly and generation.","Read the RAG diagnostic method",{},{"id":606,"data":1917,"type":42,"tunes":1919},{"text":1918,"level":253},"Evals replace “looks good to me” with release evidence",{},{"id":611,"data":1921,"type":218,"tunes":1923},{"text":1922},"Generative outputs are often open-ended, so exact-match tests are insufficient for many tasks. LLMOps adds evaluation datasets and scorers that can measure task success, correctness, safety, groundedness, style or domain-specific acceptance criteria.",{},{"id":616,"data":1925,"type":218,"tunes":1927},{"text":1926},"MLflow's current GenAI evaluation stack supports versioned evaluation datasets, prompt\u002Fmodel comparisons, custom scorers and evaluation over complete traces.",{},{"id":621,"data":1929,"type":218,"tunes":1931},{"text":1930},"The strongest practice is evaluation-driven development: define representative cases and acceptance criteria before or alongside changes, then compare releases against the same evidence.",{},{"id":626,"data":1933,"type":226,"tunes":1936},{"body":1934,"title":1935,"variant":630},"A deployment should not be considered equivalent merely because the API contract still works. If the prompt, model, retrieval or tools changed, the behavioral regression suite should run again.","Behavioral changes need behavioral tests",{},{"id":633,"data":1938,"type":42,"tunes":1940},{"text":1939,"level":253},"LLM-as-a-judge is useful but not ground truth",{},{"id":638,"data":1942,"type":218,"tunes":1944},{"text":1943},"LLM judges can scale evaluation for qualities that are expensive to encode as deterministic assertions, such as relevance, tone or groundedness.",{},{"id":643,"data":1946,"type":218,"tunes":1948},{"text":1947},"However, the judge is another model with its own bias, version and prompt. Judge configuration should therefore be versioned and calibrated against human or deterministic reference cases where consequence matters.",{},{"id":648,"data":1950,"type":218,"tunes":1952},{"text":1951},"A production eval can mix deterministic checks, reference-based metrics, model judges and human review rather than asking one metric to represent every quality dimension.",{},{"id":653,"data":1954,"type":42,"tunes":1956},{"text":1955,"level":253},"Tracing becomes more important than endpoint logs",{},{"id":658,"data":1958,"type":218,"tunes":1960},{"text":1959},"Traditional API logs can tell you that a request took two seconds and returned HTTP 200. They cannot tell you which retrieved chunks were selected, which tool the agent called or which model span consumed most tokens.",{},{"id":663,"data":1962,"type":218,"tunes":1964},{"text":1963},"MLflow's current GenAI tracing captures prompts, retrievals, tool calls and application spans, and its production evaluation flow can score intermediate trajectory information rather than only final text.",{},{"id":668,"data":1966,"type":218,"tunes":1968},{"text":1967},"This is a major LLMOps shift: observability follows the behavioral graph of the application, not only the serving endpoint.",{},{"id":673,"data":1970,"type":42,"tunes":1972},{"text":1971,"level":253},"Agents expand LLMOps into runtime operations",{},{"id":678,"data":1974,"type":218,"tunes":1976},{"text":1975},"An agentic application can perform several model calls, tool invocations and state transitions before producing a result.",{},{"id":683,"data":1978,"type":218,"tunes":1980},{"text":1979},"Operating agents therefore requires step counts, tool-call traces, permission denials, retries, loop detection, human approvals and verified final state in addition to ordinary model latency and token metrics.",{},{"id":688,"data":1982,"type":218,"tunes":1984},{"text":1983},"A correct final answer can hide a bad trajectory, so agent evaluation must inspect the path as well as the result.",{},{"id":693,"data":1986,"type":603,"tunes":1991},{"url":1987,"title":1988,"excerpt":1989,"ctaLabel":1990},"https:\u002F\u002Fstajic.de\u002Fblog\u002Fai-agent-reliability-why-the-final-answer-is-not-enough","AI Agent Reliability: Why the Final Answer Is Not Enough","Why agent production evaluation must include tool calls, state transitions, approvals and recoverability.","Read the agent reliability article",{},{"id":701,"data":1993,"type":42,"tunes":1995},{"text":1994,"level":253},"Tokens, model calls and context become cost variables",{},{"id":706,"data":1997,"type":218,"tunes":1999},{"text":1998},"Classical ML inference cost is often dominated by serving infrastructure or per-prediction compute. LLM applications can add provider token pricing, repeated agent calls, embedding calls, reranking and tool\u002Fruntime overhead.",{},{"id":711,"data":2001,"type":218,"tunes":2003},{"text":2002},"Cost therefore has to be attributed to task or trace, not only to one endpoint. A workflow that makes eight hidden model calls can be functionally correct but operationally unacceptable.",{},{"id":716,"data":2005,"type":218,"tunes":2007},{"text":2006},"Latency behaves the same way: model latency, retrieval, reranking and external tools compose into end-to-end user latency.",{},{"id":721,"data":2009,"type":42,"tunes":2011},{"text":2010,"level":253},"Caching becomes semantic, not only technical",{},{"id":726,"data":2013,"type":218,"tunes":2015},{"text":2014},"LLM systems can cache prompts, embeddings, retrieval results or full responses, but the cache key must reflect the semantics that can change the result.",{},{"id":731,"data":2017,"type":218,"tunes":2019},{"text":2018},"A response cache that ignores model version, tenant, permissions or source freshness can return a technically valid but semantically invalid answer.",{},{"id":736,"data":2021,"type":218,"tunes":2023},{"text":2022},"LLMOps therefore treats cache invalidation as part of model\u002Fcontext\u002Fdata versioning rather than only infrastructure optimization.",{},{"id":741,"data":2025,"type":42,"tunes":2027},{"text":2026,"level":253},"Safety and permissions become release criteria",{},{"id":746,"data":2029,"type":218,"tunes":2031},{"text":2030},"Generative systems can produce unbounded text and agents can trigger external actions. Safety testing therefore sits closer to ordinary CI\u002FCD than in many classical predictive ML systems.",{},{"id":751,"data":2033,"type":218,"tunes":2035},{"text":2034},"Permission checks, prompt-injection tests, tenant-isolation tests and side-effect approvals should be reproducible regression tests where those risks exist.",{},{"id":756,"data":2037,"type":218,"tunes":2039},{"text":2038},"The model may suggest an operation, but the runtime still has to enforce authorization. LLMOps owns the evidence that those controls continue to work after model, prompt or tool changes.",{},{"id":761,"data":2041,"type":42,"tunes":2043},{"text":2042,"level":253},"What CI looks like in LLMOps",{},{"id":766,"data":2045,"type":411,"tunes":2076},{"content":2046,"stretched":43,"withHeadings":14},[2047,2050,2053,2056,2059,2061,2064,2067,2070,2073],[2048,2049],"CI layer","Example checks",[2051,2052],"Code","Unit tests, type checks, schema validation",[2054,2055],"Prompts","Template rendering, required variables, policy text, snapshot review",[2057,2058],"Models\u002Fproviders","Compatibility, output schema, capability and regression tests",[782,2060],"Chunking fixtures, filter tests, Recall@k, reranker regression",[2062,2063],"Tools","Input\u002Foutput schema tests, permission tests, idempotency tests",[2065,2066],"Agents","Trajectory fixtures, loop limits, handoff\u002Ftool-selection tests",[2068,2069],"Security","Prompt injection, unauthorized tools, cross-tenant negative tests",[2071,2072],"Behavioral evals","Task success, correctness, grounding, safety, domain criteria",[2074,2075],"Operational","Latency, token\u002Fcost budgets, timeout\u002Ffallback behavior",{},{"id":801,"data":2078,"type":42,"tunes":2080},{"text":2079,"level":253},"What CD looks like in LLMOps",{},{"id":806,"data":2082,"type":218,"tunes":2084},{"text":2083},"A production release may deploy no new model artifact at all. It may simply ship a new prompt, retrieval configuration, tool set or provider mapping.",{},{"id":811,"data":2086,"type":218,"tunes":2088},{"text":2087},"The release bundle should therefore identify the complete behavior-defining configuration rather than only the application container image.",{},{"id":816,"data":2090,"type":218,"tunes":2092},{"text":2091},"Feature flags, staged rollout, shadow evaluation, canary traffic and rollback are useful because LLM behavior can regress in ways that static contract tests do not detect.",{},{"id":821,"data":2094,"type":42,"tunes":2096},{"text":2095,"level":253},"Continuous training becomes optional; continuous evaluation becomes central",{},{"id":826,"data":2098,"type":218,"tunes":2100},{"text":2099},"Traditional MLOps often emphasizes continuous training when new data or drift justifies retraining.",{},{"id":831,"data":2102,"type":218,"tunes":2104},{"text":2103},"Many LLM applications never train the foundation model. Their equivalent continuous loop is continuous evaluation: collect failures and representative production cases, add them to evaluation datasets, test candidate prompt\u002Fmodel\u002Fretrieval changes and redeploy only when evidence improves.",{},{"id":836,"data":2106,"type":218,"tunes":2108},{"text":2107},"Fine-tuning can reintroduce a training lifecycle, but it should sit inside the same broader evaluation and release process.",{},{"id":841,"data":2110,"type":42,"tunes":2112},{"text":2111,"level":253},"What should be monitored in production?",{},{"id":846,"data":2114,"type":411,"tunes":2146},{"content":2115,"stretched":43,"withHeadings":14},[2116,2119,2122,2125,2128,2131,2134,2136,2138,2140,2143],[2117,2118],"Signal class","Examples",[2120,2121],"System health","Errors, timeouts, endpoint availability",[2123,2124],"Model\u002Fprovider","Model ID, snapshot, rate limits, provider errors",[2126,2127],"Latency","End-to-end, model, retrieval, tool and reranker spans",[2129,2130],"Cost","Input\u002Foutput tokens, embeddings, tool\u002FAPI spend",[2132,2133],"Quality","Sampled task success, correctness, relevance, groundedness",[782,2135],"Retrieval recall proxies, empty retrieval, stale sources, citation coverage",[2065,2137],"Tool selection, retries, loops, handoffs, approval frequency",[2068,2139],"Denied actions, prompt-injection indicators, tenant-boundary failures",[2141,2142],"User feedback","Corrections, abandonment, escalation, explicit ratings",[2144,2145],"Change drift","Provider\u002Fmodel\u002Fconfig changes relative to approved release",{},{"id":881,"data":2148,"type":42,"tunes":2150},{"text":2149,"level":253},"Production traces can become evaluation data",{},{"id":886,"data":2152,"type":218,"tunes":2154},{"text":2153},"One of the most useful modern LLMOps patterns is to turn sampled production traces into evaluation records.",{},{"id":891,"data":2156,"type":218,"tunes":2158},{"text":2157},"MLflow currently supports retrieving production traces and scoring not only outputs but intermediate spans such as retrieval or tool-call trajectories.",{},{"id":896,"data":2160,"type":218,"tunes":2162},{"text":2161},"This closes the loop between observability and development: real failures can become regression cases in the next release rather than disappear inside logs.",{},{"id":901,"data":2164,"type":42,"tunes":2166},{"text":2165,"level":253},"Reproducibility becomes conditional rather than exact",{},{"id":906,"data":2168,"type":218,"tunes":2170},{"text":2169},"Classical ML reproducibility often aims to recreate a model from versioned code, data, environment and training parameters.",{},{"id":911,"data":2172,"type":218,"tunes":2174},{"text":2173},"Hosted LLM applications cannot always reproduce identical output token-for-token because generation is probabilistic and providers may control infrastructure.",{},{"id":916,"data":2176,"type":218,"tunes":2178},{"text":2177},"LLMOps therefore aims for behavioral reproducibility: record enough model\u002Fprovider\u002Fversion, prompt, context inputs, retrieval state and runtime configuration to reproduce the conditions and validate behavior within expected tolerances.",{},{"id":921,"data":2180,"type":42,"tunes":2182},{"text":2181,"level":253},"Lineage expands from model lineage to application lineage",{},{"id":926,"data":2184,"type":218,"tunes":2186},{"text":2185},"AWS's MLOps guidance treats model lineage as the history of code, data, model and infrastructure artifacts needed for diagnosis and reproducibility.",{},{"id":931,"data":2188,"type":218,"tunes":2190},{"text":2189},"For LLM applications, lineage should additionally connect prompts, eval datasets, retrieval\u002Findex versions, tool schemas, agent\u002Fruntime configuration and provider\u002Fmodel snapshots.",{},{"id":936,"data":2192,"type":218,"tunes":2194},{"text":2193},"The target question becomes: Which exact application configuration produced this trace?",{},{"id":941,"data":2196,"type":42,"tunes":2198},{"text":2197,"level":253},"Multi-provider and model routing create operational policy",{},{"id":946,"data":2200,"type":218,"tunes":2202},{"text":2201},"Once an application can use several providers or local models, routing becomes an operational policy rather than a simple model string.",{},{"id":951,"data":2204,"type":218,"tunes":2206},{"text":2205},"Routing may depend on capability, latency, cost, privacy, context length, availability, tool support or locality. A fallback can preserve uptime while changing answer quality or data-processing assumptions.",{},{"id":956,"data":2208,"type":218,"tunes":2210},{"text":2209},"LLMOps should therefore log which route was actually selected and evaluate routes independently rather than treat every compatible endpoint as behaviorally interchangeable.",{},{"id":961,"data":2212,"type":42,"tunes":2214},{"text":2213,"level":253},"Original implementation evidence",{},{"id":966,"data":2216,"type":42,"tunes":2218},{"text":2217,"level":252},"Aaasaasa AI Client: provider, model and runtime are separate operational objects",{},{"id":971,"data":2220,"type":218,"tunes":2222},{"text":2221},"Aaasaasa AI Client separates agent\u002Fclient, provider, model, runtime location and permissions. Its AI Hub supports Ollama, LM Studio\u002FOpenAI-compatible endpoints and other provider protocols rather than treating “the model” as one global setting.",{},{"id":976,"data":2224,"type":218,"tunes":2226},{"text":2225},"The implementation includes dynamic local model discovery, streaming, thinking output and explicit Ollama warm\u002Fload and unload controls. That is operational evidence that local LLM serving introduces resource lifecycle concerns beyond an API model name.",{},{"id":981,"data":2228,"type":218,"tunes":2230},{"text":2229},"Provider status is queried through provider adapters, and connection types distinguish local, cloud API, account-backed, remote-agent and web-client paths. These are concrete operational dimensions an LLM-aware platform has to surface.",{},{"id":986,"data":2232,"type":218,"tunes":2234},{"text":2233},"The repository also preserves an important boundary: a local runtime is not automatically local inference. Provider\u002Fmodel\u002Fruntime location are versioned or configurable concerns that affect privacy, latency, cost and availability.",{},{"id":991,"data":2236,"type":42,"tunes":2238},{"text":2237,"level":252},"Source of Truth Research Engine: LLM application state extends beyond the model",{},{"id":996,"data":2240,"type":218,"tunes":2242},{"text":2241},"The Source of Truth Research Engine combines lexical search, optional embeddings, source snapshots, SHA-256 identity, claims, provenance and contradiction tracking around local model-assisted research.",{},{"id":1001,"data":2244,"type":218,"tunes":2246},{"text":2245},"This is useful LLMOps evidence because changing the model alone does not define the research system. Retrieval, source acquisition, evidence classification and persistent provenance are independent operational artifacts.",{},{"id":1006,"data":2248,"type":218,"tunes":2250},{"text":2249},"The implementation deliberately treats semantic similarity as discovery rather than evidence, showing why LLMOps observability should distinguish retrieval behavior from claim validity.",{},{"id":1011,"data":2252,"type":411,"tunes":2281},{"content":2253,"stretched":43,"withHeadings":14},[2254,2257,2260,2263,2266,2269,2272,2275,2278],[2255,2256],"Observed implementation","LLMOps lesson",[2258,2259],"Multiple provider protocols","Provider identity is an operational dependency",[2261,2262],"Dynamic model discovery","Available models can change independently of application code",[2264,2265],"Ollama load\u002Funload controls","Local models have memory\u002Fresource lifecycle",[2267,2268],"Provider health\u002Fstatus adapters","Model availability needs runtime observability",[2270,2271],"Separate runtime and inference location","Deployment topology is not one boolean “local\u002Fcloud”",[2273,2274],"Central permissions","Model capability and tool authority must remain separate",[2276,2277],"Lexical + semantic retrieval pipeline","Retrieval configuration is part of application behavior",[2279,2280],"Source\u002Fprovenance persistence","Operational state and evidence live outside model weights",{},{"id":1043,"data":2283,"type":226,"tunes":2286},{"body":2284,"title":2285,"variant":240},"These projects demonstrate multi-provider\u002Flocal-model operations, permission separation, retrieval infrastructure and evidence persistence. They are not presented as a complete commercial LLMOps platform or proof of large-scale production traffic.","Evidence boundary",{},{"id":1049,"data":2288,"type":42,"tunes":2290},{"text":2289,"level":253},"Common LLMOps failure modes",{},{"id":1054,"data":2292,"type":411,"tunes":2333},{"content":2293,"stretched":43,"withHeadings":14},[2294,2297,2300,2303,2306,2309,2312,2315,2318,2321,2324,2327,2330],[2295,2296],"Failure mode","What actually went wrong",[2298,2299],"Model alias upgraded silently","Behavior changed without controlled release",[2301,2302],"Prompt changed without evals","Behavioral regression passed normal unit tests",[2304,2305],"RAG index stale","Generation model was blamed for retrieval\u002Fdata failure",[2307,2308],"Only final answer is logged","Root cause in retrieval\u002Ftool\u002Fcontext trajectory is invisible",[2310,2311],"Provider fallback is silent","Different model\u002Fdata path changes behavior without attribution",[2313,2314],"Token cost tracked globally","Expensive workflows cannot be localized",[2316,2317],"Judge model changed","Evaluation scores drift without application change",[2319,2320],"Production traces never become tests","Known failures repeatedly return",[2322,2323],"Local model stays loaded indefinitely","VRAM\u002Fresource pressure becomes operational instability",[2325,2326],"Permissions encoded only in prompt","Model behavior is mistaken for authorization",[2328,2329],"One eval score gates everything","Different quality dimensions are collapsed into a misleading number",[2331,2332],"Model registry exists but prompt\u002Findex versions do not","Application lineage remains incomplete",{},{"id":1098,"data":2335,"type":42,"tunes":2337},{"text":2336,"level":253},"Common misconceptions",{},{"id":1103,"data":2339,"type":411,"tunes":2374},{"content":2340,"stretched":43,"withHeadings":14},[2341,2344,2347,2350,2353,2356,2359,2362,2365,2368,2371],[2342,2343],"Misconception","Correction",[2345,2346],"“LLMOps replaces MLOps.”","LLMOps extends MLOps principles to LLM-specific application behavior.",[2348,2349],"“LLMOps is prompt engineering.”","Prompts are one artifact among models, providers, context, retrieval, tools, evals and runtime.",[2351,2352],"“Hosted APIs remove operations work.”","They remove some model-serving\u002Ftraining work but add provider lifecycle, version and dependency management.",[2354,2355],"“If the API is stable, the app is stable.”","Model behavior and provider\u002Fmodel snapshots can change independently of API schema.",[2357,2358],"“RAG is just data preprocessing.”","In production it has its own ingestion, index, retrieval and freshness lifecycle.",[2360,2361],"“LLM outputs cannot be tested.”","They can be evaluated with deterministic, reference, judge and human criteria.",[2363,2364],"“LLM judges are objective ground truth.”","They are model-based evaluators that also require calibration and version control.",[2366,2367],"“A local model eliminates LLMOps.”","Local serving adds model files, VRAM, load\u002Funload, runtime health and upgrade concerns.",[2369,2370],"“Observability means token counts.”","Useful observability follows prompts, retrievals, tools, model spans and outcomes.",[2372,2373],"“Continuous training is mandatory.”","Many LLM apps use continuous evaluation without training the foundation model.",{},{"id":1141,"data":2376,"type":42,"tunes":2378},{"text":2377,"level":253},"A practical LLMOps design sequence",{},{"id":1146,"data":2380,"type":346,"tunes":2419},{"steps":2381,"title":2418,"orientation":345},[2382,2385,2388,2391,2394,2397,2400,2403,2406,2409,2412,2415],{"label":2383,"description":2384},"1. Define the behavior unit","List every component that can materially change output: model, prompt, retrieval, tools, context and policy.",{"label":2386,"description":2387},"2. Establish application lineage","Version code, model\u002Fprovider, prompts, eval datasets, retrieval configuration and tool contracts.",{"label":2389,"description":2390},"3. Build representative eval datasets","Use expected success\u002Ffailure cases from design and production.",{"label":2392,"description":2393},"4. Separate deterministic and behavioral tests","Keep schema\u002Fsecurity assertions distinct from semantic output evaluation.",{"label":2395,"description":2396},"5. Trace end-to-end execution","Instrument model, retrieval, reranking, tools and agent\u002Fruntime spans.",{"label":2398,"description":2399},"6. Define release gates","Set quality, safety, latency and cost thresholds.",{"label":2401,"description":2402},"7. Pin or explicitly record model versions","Treat model\u002Fprovider changes as release events.",{"label":2404,"description":2405},"8. Deploy progressively","Use flags, canaries or staged rollout where consequence warrants it.",{"label":2407,"description":2408},"9. Evaluate production traces","Measure real task behavior and identify recurrent failures.",{"label":2410,"description":2411},"10. Feed failures back into eval datasets","Turn incidents and corrections into permanent regression coverage.",{"label":2413,"description":2414},"11. Monitor provider and data lifecycles","Track deprecations, index freshness, source changes and runtime availability.",{"label":2416,"description":2417},"12. Retire obsolete versions cleanly","Remove old prompts\u002Fmodels\u002Findexes\u002Fcredentials after migration and evidence retention decisions.","Operate the complete behavior-producing system",{},{"id":1188,"data":2421,"type":42,"tunes":2423},{"text":2422,"level":253},"LLMOps architecture checklist",{},{"id":1193,"data":2425,"type":411,"tunes":2472},{"content":2426,"stretched":43,"withHeadings":14},[2427,2430,2433,2436,2439,2442,2445,2448,2451,2454,2457,2460,2463,2466,2469],[2428,2429],"Question","Expected evidence",[2431,2432],"Which model\u002Fprovider\u002Fversion served the request?","Traceable model identity",[2434,2435],"Which prompt\u002Finstructions were active?","Versioned application code\u002Fconfig",[2437,2438],"Which context reached the model?","Context\u002Fretrieval trace",[2440,2441],"Which corpus\u002Findex version was used?","Retrieval lineage",[2443,2444],"Which tools were available and called?","Tool schema + trajectory trace",[2446,2447],"Which permissions applied?","Runtime authorization record",[2449,2450],"How is quality measured?","Versioned eval dataset + scorers",[2452,2453],"How are model upgrades tested?","Behavioral regression suite",[2455,2456],"How is production quality sampled?","Trace evaluation\u002Ffeedback process",[2458,2459],"Can one failure be reproduced approximately?","Model\u002Fcontext\u002Fprovider\u002Fapplication lineage",[2461,2462],"Where is cost spent?","Per-trace model\u002Ftool\u002Fretrieval attribution",[2464,2465],"What triggers rollback?","Defined quality\u002Fsafety\u002Fcost\u002Favailability threshold",[2467,2468],"How are provider deprecations handled?","Migration\u002Ffallback process",[2470,2471],"How are local models operated?","Health, resource, load\u002Funload and version controls",{},{"id":1243,"data":2474,"type":42,"tunes":2476},{"text":2475,"level":253},"Edge cases and limitations",{},{"id":1248,"data":2478,"type":218,"tunes":2480},{"text":2479},"A simple application that calls one fixed hosted model with no retrieval or tools may need only lightweight LLMOps: versioned prompt code, evals, model pinning, basic tracing and provider monitoring.",{},{"id":1253,"data":2482,"type":218,"tunes":2484},{"text":2483},"A self-hosted fine-tuned model may require nearly the full classical MLOps stack plus LLM-specific application evaluation, making the boundary between MLOps and LLMOps intentionally blurry.",{},{"id":1258,"data":2486,"type":218,"tunes":2488},{"text":2487},"An agent platform can have minimal model-training operations but substantial runtime operations because failures occur in tool selection, state and orchestration.",{},{"id":1263,"data":2490,"type":218,"tunes":2492},{"text":2491},"A RAG-heavy system can be operationally dominated by document ingestion and retrieval quality rather than model serving.",{},{"id":1268,"data":2494,"type":218,"tunes":2496},{"text":2495},"Terminology will continue to evolve. The durable architecture question is not which “Ops” label wins, but which artifacts produce behavior and therefore must be versioned, evaluated, observed and governed.",{},{"id":1273,"data":2498,"type":42,"tunes":2500},{"text":2499,"level":253},"What would change this answer?",{},{"id":1278,"data":2502,"type":218,"tunes":2504},{"text":2503},"If foundation-model providers standardize perfectly stable model behavior and long-term version support, provider\u002Fsnapshot management could become less operationally significant.",{},{"id":1283,"data":2506,"type":218,"tunes":2508},{"text":2507},"If applications increasingly own fine-tuning or training, classical MLOps concerns become more central again.",{},{"id":1288,"data":2510,"type":218,"tunes":2512},{"text":2511},"The operational principle would remain: every component that can materially change production behavior belongs in lineage, testing, observability and change control.",{},{"id":1293,"data":2514,"type":42,"tunes":2516},{"text":2515,"level":253},"Related canonical knowledge",{},{"id":1298,"data":2518,"type":218,"tunes":2520},{"text":2519},"LLMOps sits below AI Governance and Enterprise AI Architecture: governance defines which changes require evidence and approval, while LLMOps provides the operational machinery to version, evaluate, deploy and observe those changes.",{},{"id":1303,"data":2522,"type":218,"tunes":2524},{"text":2523},"Context Engineering and RAG are operational subdomains inside many LLM applications because context and retrieval can change behavior independently of the model.",{},{"id":1308,"data":2526,"type":218,"tunes":2528},{"text":2527},"Agentic AI extends LLMOps further into trajectory, permissions and tool-runtime operations.",{},{"id":1313,"data":2530,"type":603,"tunes":2535},{"url":2531,"title":2532,"excerpt":2533,"ctaLabel":2534},"https:\u002F\u002Fstajic.de\u002Fblog\u002Fai-agent-memory-is-not-rag-how-to-separate-memory-retrieval-state-and-context","AI Agent Memory Is Not RAG: How to Separate Memory, Retrieval, State and Context","Operational reliability improves when memory, retrieval, application state and model context remain separate lifecycle objects.","Read the architecture article",{},{"id":1321,"data":2537,"type":603,"tunes":2542},{"url":2538,"title":2539,"excerpt":2540,"ctaLabel":2541},"https:\u002F\u002Fstajic.de\u002Fblog\u002Fthe-answer-validity-boundary-the-missing-layer-between-relevance-and-reliable-ai-answers","The Answer Validity Boundary: The Missing Layer Between Relevance and Reliable AI Answers","LLMOps evaluation should preserve the version, scope and evidence conditions under which an answer remains supported.","Read the Answer Validity Boundary",{},{"id":1329,"data":2544,"type":42,"tunes":2546},{"text":2545,"level":253},"Frequently asked questions",{},{"id":1334,"data":2548,"type":1334,"tunes":2578},{"items":2549,"title":2577},[2550,2553,2556,2559,2562,2565,2568,2571,2574],{"id":1338,"answer":2551,"question":2552},"MLOps operates machine-learning systems across data, training, deployment and monitoring. LLMOps extends those practices to LLM applications where prompts, context, retrieval, providers, tools and evaluations also materially affect behavior.","What is the difference between MLOps and LLMOps?",{"id":1342,"answer":2554,"question":2555},"No. LLMOps reuses MLOps disciplines such as CI\u002FCD, lineage, evaluation, deployment and monitoring and adds LLM-specific operational concerns.","Does LLMOps replace MLOps?",{"id":1346,"answer":2557,"question":2558},"Not necessarily. Many use external foundation models and instead rely on continuous evaluation of prompts, models, retrieval and application behavior. Fine-tuned or self-trained systems can still require training pipelines.","Do LLM applications need continuous training?",{"id":1350,"answer":2560,"question":2561},"Generative outputs are open-ended and model behavior can change across prompts, snapshots and context. Evals provide repeatable evidence that a release still meets defined quality and safety criteria.","Why are evals so important in LLMOps?",{"id":1354,"answer":2563,"question":2564},"At minimum: application code, model\u002Fprovider\u002Fversion, prompts, eval datasets\u002Fscorers, retrieval configuration\u002Findexes, tool schemas, context rules and relevant safety\u002Fpermission configuration.","What should be versioned in LLMOps?",{"id":1358,"answer":2566,"question":2567},"No. The same prompt can behave differently with another model, retrieval set, context order, tool surface or provider.","Is prompt versioning enough?",{"id":1362,"answer":2569,"question":2570},"GenAIOps is another industry term for operating generative-AI applications. Some vendors use it interchangeably or as a broader label than LLMOps.","What is GenAIOps?",{"id":1366,"answer":2572,"question":2573},"Monitor end-to-end traces including model calls, prompts\u002Fcontext, retrieval, tools, latency, token\u002Fcost, quality samples, safety and final task outcomes.","How do you monitor an LLM application?",{"id":1370,"answer":2575,"question":2576},"Yes. Local models add their own operational concerns such as model files, hardware\u002FVRAM, load\u002Funload, runtime health, quantization and upgrade management.","Can local LLMs use LLMOps practices?","MLOps vs LLMOps FAQ",{},{"id":1376,"data":2580,"type":42,"tunes":2582},{"text":2581,"level":253},"Glossary",{},{"id":1381,"data":2584,"type":1381,"tunes":2618},{"title":2585,"entries":2586},"Key MLOps and LLMOps terms",[2587,2589,2591,2593,2595,2598,2601,2604,2607,2609,2612,2615],{"term":415,"anchor":414,"definition":2588},"Engineering practices for building, deploying, monitoring and maintaining machine-learning systems and their data\u002Fmodel lifecycle.",{"term":418,"anchor":417,"definition":2590},"Operational practices for production applications whose behavior materially depends on large language models and surrounding prompts, context, retrieval, tools and runtime.",{"term":1390,"anchor":1391,"definition":2592},"Operational discipline for generative-AI applications; often used as a broader or alternate label for LLMOps.",{"term":1748,"anchor":1394,"definition":2594},"Automated or repeated retraining and serving of ML models as data or implementations change.",{"term":2596,"anchor":1398,"definition":2597},"Continuous evaluation","Repeated evaluation of candidate and production AI behavior against versioned datasets and criteria.",{"term":2599,"anchor":1402,"definition":2600},"Model snapshot","A concrete version of a hosted or packaged model whose behavior can be tested and referenced.",{"term":2602,"anchor":1406,"definition":2603},"Application lineage","Traceable relationship among code, model\u002Fprovider, prompts, data\u002Fretrieval, tools, runtime and release configuration.",{"term":2605,"anchor":1410,"definition":2606},"Trace","Structured record of one application execution containing spans such as model calls, retrievals and tool operations.",{"term":1802,"anchor":1413,"definition":2608},"Versioned set of representative inputs, expectations and optionally traces\u002Foutputs used to measure behavior.",{"term":2610,"anchor":1417,"definition":2611},"LLM judge","A language model used as an evaluator for qualitative or semantic criteria; it is itself a versioned evaluation dependency.",{"term":2613,"anchor":1421,"definition":2614},"Behavioral regression","A degradation in application output or trajectory despite interfaces and code continuing to execute successfully.",{"term":2616,"anchor":1425,"definition":2617},"Provider routing","Policy for selecting among available model providers\u002Fendpoints according to capability, cost, latency, privacy or availability.",{},{"id":1429,"data":2620,"type":42,"tunes":2622},{"text":2621,"level":253},"Conclusion",{},{"id":1434,"data":2624,"type":218,"tunes":2626},{"text":2625},"MLOps and LLMOps share the same engineering objective: make AI systems reproducible enough, testable enough and observable enough to operate reliably in production.",{},{"id":1439,"data":2628,"type":218,"tunes":2630},{"text":2629},"The difference is the shape of the system. Classical MLOps often centers on training and serving model artifacts; LLMOps must operate a behavioral stack in which model snapshots, prompts, context, retrieval, tools, permissions and providers can change independently.",{},{"id":1444,"data":2632,"type":218,"tunes":2634},{"text":2633},"The shortest useful rule is: version, evaluate and observe everything that can materially change the LLM application's behavior — not only the model.",{},{"id":1449,"data":2636,"type":42,"tunes":2638},{"text":2637,"level":253},"Primary sources and current documentation",{},{"id":1454,"data":2640,"type":218,"tunes":2642},{"text":2641},"The sources below ground the MLOps baseline and the current operational patterns for LLM and agent applications. Project sections are original implementation evidence and are intentionally narrower than claims about a complete LLMOps platform.",{},{"id":1459,"data":2644,"type":1466,"tunes":2649},{"link":1461,"meta":2645},{"image":2646,"title":2647,"description":2648},{"url":381},"Google Cloud — MLOps: Continuous delivery and automation pipelines","Reference architecture describing CI, CD, continuous training, model registry, metadata, serving and monitoring for ML systems.",{},{"id":1469,"data":2651,"type":1466,"tunes":2656},{"link":1471,"meta":2652},{"image":2653,"title":2654,"description":2655},{"url":381},"AWS Machine Learning Lens — Model lineage","Current guidance for tracking code, data, models, environments and infrastructure across ML releases.",{},{"id":1478,"data":2658,"type":1466,"tunes":2663},{"link":1480,"meta":2659},{"image":2660,"title":2661,"description":2662},{"url":381},"AWS Machine Learning Lens — Model observability and tracking","Current guidance for production model monitoring, drift, endpoint health and lineage.",{},{"id":1487,"data":2665,"type":1466,"tunes":2670},{"link":1489,"meta":2666},{"image":2667,"title":2668,"description":2669},{"url":381},"Microsoft Azure — GenAIOps \u002F LLMOps lifecycle","Official guidance describing GenAIOps, sometimes called LLMOps, across initialization, experimentation, evaluation\u002Frefinement and deployment.",{},{"id":1496,"data":2672,"type":1466,"tunes":2677},{"link":1498,"meta":2673},{"image":2674,"title":2675,"description":2676},{"url":381},"MLflow — Agents and LLM applications","Current GenAI operations documentation covering tracing, evaluation, prompts and production observability for LLM applications and agents.",{},{"id":1505,"data":2679,"type":1466,"tunes":2684},{"link":1507,"meta":2680},{"image":2681,"title":2682,"description":2683},{"url":381},"MLflow — Evaluating production traces","Current guidance for evaluating complete LLM\u002Fagent traces, including retrieval and tool-call trajectories.",{},{"id":1514,"data":2686,"type":1466,"tunes":2691},{"link":1516,"meta":2687},{"image":2688,"title":2689,"description":2690},{"url":381},"MLflow — Evaluating prompts","Current prompt\u002Fmodel evaluation workflow using versioned prompts, datasets, scorers and traces.",{},{"id":1523,"data":2693,"type":1466,"tunes":2698},{"link":1525,"meta":2694},{"image":2695,"title":2696,"description":2697},{"url":381},"OpenAI API — Versioning and model snapshots","Current API guidance recommending pinned model versions and evals because prompting behavior can change between snapshots.",{},{"id":1532,"data":2700,"type":1466,"tunes":2704},{"link":1534,"meta":2701},{"image":2702,"title":1537,"description":2703},{"url":381},"Current guidance to treat production prompts as application code, version them through source control and cover changes with tests and evaluation checks.",{},{"id":1541,"data":2706,"type":1466,"tunes":2711},{"link":1543,"meta":2707},{"image":2708,"title":2709,"description":2710},{"url":381},"OpenAI — Deprecations","Current provider lifecycle evidence showing model and platform-surface retirement as an operational dependency.",{},{"id":1550,"data":2713,"type":1466,"tunes":2718},{"link":1552,"meta":2714},{"image":2715,"title":2716,"description":2717},{"url":381},"OpenAI — Moving evaluation workflows to Promptfoo","Current 2026 migration guidance illustrating why evaluation assets should remain portable as provider tooling changes.",{},"2.31.6","MLOps operates machine-learning systems; LLMOps extends those practices to prompts, context, retrieval, providers, tools, evaluations and runtime behavior around large language models.",{"lang":7,"title":208,"content":210,"contentJson":2722,"excerpt":1559},{"time":212,"blocks":2723,"version":1558},[2724,2727,2730,2733,2736,2739,2742,2745,2748,2751,2754,2757,2760,2763,2766,2769,2772,2775,2778,2790,2793,2796,2799,2802,2805,2828,2831,2834,2837,2840,2843,2862,2865,2868,2871,2874,2877,2880,2883,2886,2889,2892,2895,2898,2901,2904,2907,2910,2913,2916,2919,2922,2925,2928,2931,2934,2937,2940,2943,2946,2949,2952,2955,2958,2961,2964,2967,2970,2973,2976,2979,2982,2985,2988,2991,2994,2997,3000,3003,3006,3009,3012,3015,3018,3032,3035,3038,3041,3044,3047,3050,3053,3056,3059,3074,3077,3080,3083,3086,3089,3092,3095,3098,3101,3104,3107,3110,3113,3116,3119,3122,3125,3128,3131,3134,3137,3140,3143,3146,3149,3152,3165,3168,3171,3188,3191,3206,3209,3225,3228,3247,3250,3253,3256,3259,3262,3265,3268,3271,3274,3277,3280,3283,3286,3289,3292,3295,3298,3311,3314,3330,3333,3336,3339,3342,3345,3348,3353,3358,3363,3368,3373,3378,3383,3388,3393,3398],{"id":215,"data":2725,"type":218,"tunes":2726},{"text":217},{},{"id":221,"data":2728,"type":226,"tunes":2729},{"body":223,"title":224,"variant":225},{},{"id":229,"data":2731,"type":226,"tunes":2732},{"body":231,"title":232,"variant":233},{},{"id":236,"data":2734,"type":226,"tunes":2735},{"body":238,"title":239,"variant":240},{},{"id":243,"data":2737,"type":226,"tunes":2738},{"body":245,"title":246,"variant":240},{},{"id":249,"data":2740,"type":254,"tunes":2741},{"title":251,"maxLevel":252,"minLevel":253},{},{"id":257,"data":2743,"type":42,"tunes":2744},{"text":259,"level":253},{},{"id":262,"data":2746,"type":218,"tunes":2747},{"text":264},{},{"id":267,"data":2749,"type":218,"tunes":2750},{"text":269},{},{"id":272,"data":2752,"type":218,"tunes":2753},{"text":274},{},{"id":277,"data":2755,"type":42,"tunes":2756},{"text":279,"level":253},{},{"id":282,"data":2758,"type":218,"tunes":2759},{"text":284},{},{"id":287,"data":2761,"type":218,"tunes":2762},{"text":289},{},{"id":292,"data":2764,"type":218,"tunes":2765},{"text":294},{},{"id":297,"data":2767,"type":42,"tunes":2768},{"text":299,"level":253},{},{"id":302,"data":2770,"type":218,"tunes":2771},{"text":304},{},{"id":307,"data":2773,"type":218,"tunes":2774},{"text":309},{},{"id":312,"data":2776,"type":218,"tunes":2777},{"text":314},{},{"id":317,"data":2779,"type":346,"tunes":2789},{"steps":2780,"title":344,"orientation":345},[2781,2782,2783,2784,2785,2786,2787,2788],{"label":321,"description":322},{"label":324,"description":325},{"label":327,"description":328},{"label":330,"description":331},{"label":333,"description":334},{"label":336,"description":337},{"label":339,"description":340},{"label":342,"description":343},{},{"id":349,"data":2791,"type":42,"tunes":2792},{"text":351,"level":253},{},{"id":354,"data":2794,"type":218,"tunes":2795},{"text":356},{},{"id":359,"data":2797,"type":218,"tunes":2798},{"text":361},{},{"id":364,"data":2800,"type":218,"tunes":2801},{"text":366},{},{"id":369,"data":2803,"type":42,"tunes":2804},{"text":371,"level":253},{},{"id":374,"data":2806,"type":419,"tunes":2827},{"rows":2807,"title":410,"layout":411,"columns":2824},[2808,2810,2812,2814,2816,2818,2820,2822],{"id":378,"label":379,"values":2809},[381,381],{"id":383,"label":384,"values":2811},[381,381],{"id":387,"label":388,"values":2813},[381,381],{"id":391,"label":392,"values":2815},[381,381],{"id":395,"label":396,"values":2817},[381,381],{"id":399,"label":400,"values":2819},[381,381],{"id":403,"label":404,"values":2821},[381,381],{"id":407,"label":408,"values":2823},[381,381],[2825,2826],{"id":414,"label":415},{"id":417,"label":418},{},{"id":422,"data":2829,"type":42,"tunes":2830},{"text":424,"level":253},{},{"id":427,"data":2832,"type":218,"tunes":2833},{"text":429},{},{"id":432,"data":2835,"type":218,"tunes":2836},{"text":434},{},{"id":437,"data":2838,"type":218,"tunes":2839},{"text":439},{},{"id":442,"data":2841,"type":42,"tunes":2842},{"text":444,"level":253},{},{"id":447,"data":2844,"type":411,"tunes":2861},{"content":2845,"stretched":43,"withHeadings":14},[2846,2847,2848,2849,2850,2851,2852,2853,2854,2855,2856,2857,2858,2859,2860],[451,452],[454,455],[457,458],[460,461],[463,464],[466,467],[469,470],[472,473],[475,476],[478,479],[481,482],[484,485],[487,488],[490,491],[493,494],{},{"id":497,"data":2863,"type":42,"tunes":2864},{"text":499,"level":253},{},{"id":502,"data":2866,"type":218,"tunes":2867},{"text":504},{},{"id":507,"data":2869,"type":218,"tunes":2870},{"text":509},{},{"id":512,"data":2872,"type":218,"tunes":2873},{"text":514},{},{"id":517,"data":2875,"type":42,"tunes":2876},{"text":519,"level":253},{},{"id":522,"data":2878,"type":218,"tunes":2879},{"text":524},{},{"id":527,"data":2881,"type":218,"tunes":2882},{"text":529},{},{"id":532,"data":2884,"type":218,"tunes":2885},{"text":534},{},{"id":537,"data":2887,"type":42,"tunes":2888},{"text":539,"level":253},{},{"id":542,"data":2890,"type":218,"tunes":2891},{"text":544},{},{"id":547,"data":2893,"type":218,"tunes":2894},{"text":549},{},{"id":552,"data":2896,"type":218,"tunes":2897},{"text":554},{},{"id":557,"data":2899,"type":42,"tunes":2900},{"text":559,"level":253},{},{"id":562,"data":2902,"type":218,"tunes":2903},{"text":564},{},{"id":567,"data":2905,"type":218,"tunes":2906},{"text":569},{},{"id":572,"data":2908,"type":218,"tunes":2909},{"text":574},{},{"id":577,"data":2911,"type":42,"tunes":2912},{"text":579,"level":253},{},{"id":582,"data":2914,"type":218,"tunes":2915},{"text":584},{},{"id":587,"data":2917,"type":218,"tunes":2918},{"text":589},{},{"id":592,"data":2920,"type":218,"tunes":2921},{"text":594},{},{"id":597,"data":2923,"type":603,"tunes":2924},{"url":599,"title":600,"excerpt":601,"ctaLabel":602},{},{"id":606,"data":2926,"type":42,"tunes":2927},{"text":608,"level":253},{},{"id":611,"data":2929,"type":218,"tunes":2930},{"text":613},{},{"id":616,"data":2932,"type":218,"tunes":2933},{"text":618},{},{"id":621,"data":2935,"type":218,"tunes":2936},{"text":623},{},{"id":626,"data":2938,"type":226,"tunes":2939},{"body":628,"title":629,"variant":630},{},{"id":633,"data":2941,"type":42,"tunes":2942},{"text":635,"level":253},{},{"id":638,"data":2944,"type":218,"tunes":2945},{"text":640},{},{"id":643,"data":2947,"type":218,"tunes":2948},{"text":645},{},{"id":648,"data":2950,"type":218,"tunes":2951},{"text":650},{},{"id":653,"data":2953,"type":42,"tunes":2954},{"text":655,"level":253},{},{"id":658,"data":2956,"type":218,"tunes":2957},{"text":660},{},{"id":663,"data":2959,"type":218,"tunes":2960},{"text":665},{},{"id":668,"data":2962,"type":218,"tunes":2963},{"text":670},{},{"id":673,"data":2965,"type":42,"tunes":2966},{"text":675,"level":253},{},{"id":678,"data":2968,"type":218,"tunes":2969},{"text":680},{},{"id":683,"data":2971,"type":218,"tunes":2972},{"text":685},{},{"id":688,"data":2974,"type":218,"tunes":2975},{"text":690},{},{"id":693,"data":2977,"type":603,"tunes":2978},{"url":695,"title":696,"excerpt":697,"ctaLabel":698},{},{"id":701,"data":2980,"type":42,"tunes":2981},{"text":703,"level":253},{},{"id":706,"data":2983,"type":218,"tunes":2984},{"text":708},{},{"id":711,"data":2986,"type":218,"tunes":2987},{"text":713},{},{"id":716,"data":2989,"type":218,"tunes":2990},{"text":718},{},{"id":721,"data":2992,"type":42,"tunes":2993},{"text":723,"level":253},{},{"id":726,"data":2995,"type":218,"tunes":2996},{"text":728},{},{"id":731,"data":2998,"type":218,"tunes":2999},{"text":733},{},{"id":736,"data":3001,"type":218,"tunes":3002},{"text":738},{},{"id":741,"data":3004,"type":42,"tunes":3005},{"text":743,"level":253},{},{"id":746,"data":3007,"type":218,"tunes":3008},{"text":748},{},{"id":751,"data":3010,"type":218,"tunes":3011},{"text":753},{},{"id":756,"data":3013,"type":218,"tunes":3014},{"text":758},{},{"id":761,"data":3016,"type":42,"tunes":3017},{"text":763,"level":253},{},{"id":766,"data":3019,"type":411,"tunes":3031},{"content":3020,"stretched":43,"withHeadings":14},[3021,3022,3023,3024,3025,3026,3027,3028,3029,3030],[770,771],[773,774],[776,777],[779,780],[782,783],[785,786],[788,789],[791,792],[794,795],[797,798],{},{"id":801,"data":3033,"type":42,"tunes":3034},{"text":803,"level":253},{},{"id":806,"data":3036,"type":218,"tunes":3037},{"text":808},{},{"id":811,"data":3039,"type":218,"tunes":3040},{"text":813},{},{"id":816,"data":3042,"type":218,"tunes":3043},{"text":818},{},{"id":821,"data":3045,"type":42,"tunes":3046},{"text":823,"level":253},{},{"id":826,"data":3048,"type":218,"tunes":3049},{"text":828},{},{"id":831,"data":3051,"type":218,"tunes":3052},{"text":833},{},{"id":836,"data":3054,"type":218,"tunes":3055},{"text":838},{},{"id":841,"data":3057,"type":42,"tunes":3058},{"text":843,"level":253},{},{"id":846,"data":3060,"type":411,"tunes":3073},{"content":3061,"stretched":43,"withHeadings":14},[3062,3063,3064,3065,3066,3067,3068,3069,3070,3071,3072],[850,851],[853,854],[856,857],[859,860],[862,863],[865,866],[782,868],[788,870],[791,872],[874,875],[877,878],{},{"id":881,"data":3075,"type":42,"tunes":3076},{"text":883,"level":253},{},{"id":886,"data":3078,"type":218,"tunes":3079},{"text":888},{},{"id":891,"data":3081,"type":218,"tunes":3082},{"text":893},{},{"id":896,"data":3084,"type":218,"tunes":3085},{"text":898},{},{"id":901,"data":3087,"type":42,"tunes":3088},{"text":903,"level":253},{},{"id":906,"data":3090,"type":218,"tunes":3091},{"text":908},{},{"id":911,"data":3093,"type":218,"tunes":3094},{"text":913},{},{"id":916,"data":3096,"type":218,"tunes":3097},{"text":918},{},{"id":921,"data":3099,"type":42,"tunes":3100},{"text":923,"level":253},{},{"id":926,"data":3102,"type":218,"tunes":3103},{"text":928},{},{"id":931,"data":3105,"type":218,"tunes":3106},{"text":933},{},{"id":936,"data":3108,"type":218,"tunes":3109},{"text":938},{},{"id":941,"data":3111,"type":42,"tunes":3112},{"text":943,"level":253},{},{"id":946,"data":3114,"type":218,"tunes":3115},{"text":948},{},{"id":951,"data":3117,"type":218,"tunes":3118},{"text":953},{},{"id":956,"data":3120,"type":218,"tunes":3121},{"text":958},{},{"id":961,"data":3123,"type":42,"tunes":3124},{"text":963,"level":253},{},{"id":966,"data":3126,"type":42,"tunes":3127},{"text":968,"level":252},{},{"id":971,"data":3129,"type":218,"tunes":3130},{"text":973},{},{"id":976,"data":3132,"type":218,"tunes":3133},{"text":978},{},{"id":981,"data":3135,"type":218,"tunes":3136},{"text":983},{},{"id":986,"data":3138,"type":218,"tunes":3139},{"text":988},{},{"id":991,"data":3141,"type":42,"tunes":3142},{"text":993,"level":252},{},{"id":996,"data":3144,"type":218,"tunes":3145},{"text":998},{},{"id":1001,"data":3147,"type":218,"tunes":3148},{"text":1003},{},{"id":1006,"data":3150,"type":218,"tunes":3151},{"text":1008},{},{"id":1011,"data":3153,"type":411,"tunes":3164},{"content":3154,"stretched":43,"withHeadings":14},[3155,3156,3157,3158,3159,3160,3161,3162,3163],[1015,1016],[1018,1019],[1021,1022],[1024,1025],[1027,1028],[1030,1031],[1033,1034],[1036,1037],[1039,1040],{},{"id":1043,"data":3166,"type":226,"tunes":3167},{"body":1045,"title":1046,"variant":240},{},{"id":1049,"data":3169,"type":42,"tunes":3170},{"text":1051,"level":253},{},{"id":1054,"data":3172,"type":411,"tunes":3187},{"content":3173,"stretched":43,"withHeadings":14},[3174,3175,3176,3177,3178,3179,3180,3181,3182,3183,3184,3185,3186],[1058,1059],[1061,1062],[1064,1065],[1067,1068],[1070,1071],[1073,1074],[1076,1077],[1079,1080],[1082,1083],[1085,1086],[1088,1089],[1091,1092],[1094,1095],{},{"id":1098,"data":3189,"type":42,"tunes":3190},{"text":1100,"level":253},{},{"id":1103,"data":3192,"type":411,"tunes":3205},{"content":3193,"stretched":43,"withHeadings":14},[3194,3195,3196,3197,3198,3199,3200,3201,3202,3203,3204],[1107,1108],[1110,1111],[1113,1114],[1116,1117],[1119,1120],[1122,1123],[1125,1126],[1128,1129],[1131,1132],[1134,1135],[1137,1138],{},{"id":1141,"data":3207,"type":42,"tunes":3208},{"text":1143,"level":253},{},{"id":1146,"data":3210,"type":346,"tunes":3224},{"steps":3211,"title":1185,"orientation":345},[3212,3213,3214,3215,3216,3217,3218,3219,3220,3221,3222,3223],{"label":1150,"description":1151},{"label":1153,"description":1154},{"label":1156,"description":1157},{"label":1159,"description":1160},{"label":1162,"description":1163},{"label":1165,"description":1166},{"label":1168,"description":1169},{"label":1171,"description":1172},{"label":1174,"description":1175},{"label":1177,"description":1178},{"label":1180,"description":1181},{"label":1183,"description":1184},{},{"id":1188,"data":3226,"type":42,"tunes":3227},{"text":1190,"level":253},{},{"id":1193,"data":3229,"type":411,"tunes":3246},{"content":3230,"stretched":43,"withHeadings":14},[3231,3232,3233,3234,3235,3236,3237,3238,3239,3240,3241,3242,3243,3244,3245],[1197,1198],[1200,1201],[1203,1204],[1206,1207],[1209,1210],[1212,1213],[1215,1216],[1218,1219],[1221,1222],[1224,1225],[1227,1228],[1230,1231],[1233,1234],[1236,1237],[1239,1240],{},{"id":1243,"data":3248,"type":42,"tunes":3249},{"text":1245,"level":253},{},{"id":1248,"data":3251,"type":218,"tunes":3252},{"text":1250},{},{"id":1253,"data":3254,"type":218,"tunes":3255},{"text":1255},{},{"id":1258,"data":3257,"type":218,"tunes":3258},{"text":1260},{},{"id":1263,"data":3260,"type":218,"tunes":3261},{"text":1265},{},{"id":1268,"data":3263,"type":218,"tunes":3264},{"text":1270},{},{"id":1273,"data":3266,"type":42,"tunes":3267},{"text":1275,"level":253},{},{"id":1278,"data":3269,"type":218,"tunes":3270},{"text":1280},{},{"id":1283,"data":3272,"type":218,"tunes":3273},{"text":1285},{},{"id":1288,"data":3275,"type":218,"tunes":3276},{"text":1290},{},{"id":1293,"data":3278,"type":42,"tunes":3279},{"text":1295,"level":253},{},{"id":1298,"data":3281,"type":218,"tunes":3282},{"text":1300},{},{"id":1303,"data":3284,"type":218,"tunes":3285},{"text":1305},{},{"id":1308,"data":3287,"type":218,"tunes":3288},{"text":1310},{},{"id":1313,"data":3290,"type":603,"tunes":3291},{"url":1315,"title":1316,"excerpt":1317,"ctaLabel":1318},{},{"id":1321,"data":3293,"type":603,"tunes":3294},{"url":1323,"title":1324,"excerpt":1325,"ctaLabel":1326},{},{"id":1329,"data":3296,"type":42,"tunes":3297},{"text":1331,"level":253},{},{"id":1334,"data":3299,"type":1334,"tunes":3310},{"items":3300,"title":1373},[3301,3302,3303,3304,3305,3306,3307,3308,3309],{"id":1338,"answer":1339,"question":1340},{"id":1342,"answer":1343,"question":1344},{"id":1346,"answer":1347,"question":1348},{"id":1350,"answer":1351,"question":1352},{"id":1354,"answer":1355,"question":1356},{"id":1358,"answer":1359,"question":1360},{"id":1362,"answer":1363,"question":1364},{"id":1366,"answer":1367,"question":1368},{"id":1370,"answer":1371,"question":1372},{},{"id":1376,"data":3312,"type":42,"tunes":3313},{"text":1378,"level":253},{},{"id":1381,"data":3315,"type":1381,"tunes":3329},{"title":1383,"entries":3316},[3317,3318,3319,3320,3321,3322,3323,3324,3325,3326,3327,3328],{"term":415,"anchor":414,"definition":1386},{"term":418,"anchor":417,"definition":1388},{"term":1390,"anchor":1391,"definition":1392},{"term":400,"anchor":1394,"definition":1395},{"term":1397,"anchor":1398,"definition":1399},{"term":1401,"anchor":1402,"definition":1403},{"term":1405,"anchor":1406,"definition":1407},{"term":1409,"anchor":1410,"definition":1411},{"term":469,"anchor":1413,"definition":1414},{"term":1416,"anchor":1417,"definition":1418},{"term":1420,"anchor":1421,"definition":1422},{"term":1424,"anchor":1425,"definition":1426},{},{"id":1429,"data":3331,"type":42,"tunes":3332},{"text":1431,"level":253},{},{"id":1434,"data":3334,"type":218,"tunes":3335},{"text":1436},{},{"id":1439,"data":3337,"type":218,"tunes":3338},{"text":1441},{},{"id":1444,"data":3340,"type":218,"tunes":3341},{"text":1446},{},{"id":1449,"data":3343,"type":42,"tunes":3344},{"text":1451,"level":253},{},{"id":1454,"data":3346,"type":218,"tunes":3347},{"text":1456},{},{"id":1459,"data":3349,"type":1466,"tunes":3352},{"link":1461,"meta":3350},{"image":3351,"title":1464,"description":1465},{"url":381},{},{"id":1469,"data":3354,"type":1466,"tunes":3357},{"link":1471,"meta":3355},{"image":3356,"title":1474,"description":1475},{"url":381},{},{"id":1478,"data":3359,"type":1466,"tunes":3362},{"link":1480,"meta":3360},{"image":3361,"title":1483,"description":1484},{"url":381},{},{"id":1487,"data":3364,"type":1466,"tunes":3367},{"link":1489,"meta":3365},{"image":3366,"title":1492,"description":1493},{"url":381},{},{"id":1496,"data":3369,"type":1466,"tunes":3372},{"link":1498,"meta":3370},{"image":3371,"title":1501,"description":1502},{"url":381},{},{"id":1505,"data":3374,"type":1466,"tunes":3377},{"link":1507,"meta":3375},{"image":3376,"title":1510,"description":1511},{"url":381},{},{"id":1514,"data":3379,"type":1466,"tunes":3382},{"link":1516,"meta":3380},{"image":3381,"title":1519,"description":1520},{"url":381},{},{"id":1523,"data":3384,"type":1466,"tunes":3387},{"link":1525,"meta":3385},{"image":3386,"title":1528,"description":1529},{"url":381},{},{"id":1532,"data":3389,"type":1466,"tunes":3392},{"link":1534,"meta":3390},{"image":3391,"title":1537,"description":1538},{"url":381},{},{"id":1541,"data":3394,"type":1466,"tunes":3397},{"link":1543,"meta":3395},{"image":3396,"title":1546,"description":1547},{"url":381},{},{"id":1550,"data":3399,"type":1466,"tunes":3402},{"link":1552,"meta":3400},{"image":3401,"title":1555,"description":1556},{"url":381},{},"Post erfolgreich abgerufen",{"items":3405,"source":3487,"manualIds":3488,"manualMatchedIds":3489},[3406,3412,3419,3426,3431,3438,3445,3452,3459,3466,3473,3480],{"id":3407,"slug":1587,"title":3408,"excerpt":3409,"featuredImage":3410,"publishedAt":3411},"434","Guida completa a Evaluation Harness: Padroneggiare la valutazione delle prestazioni degli LLM","Questa guida fornisce una panoramica dettagliata di Evaluation Harness, un framework essenziale per valutare rigorosamente le capacità dei modelli linguistici di grandi dimensioni (LLM) nelle pipeline LLMOps aziendali. Scopri la configurazione, le best practice e le tecniche avanzate per garantire un benchmarking e un'ottimizzazione dei modelli affidabili.","\u002Fuploads\u002F2026\u002F04\u002Fevaluation-harness-1775466944495-4s0xv2.webp","2026-03-01T17:50:00.000Z",{"id":3413,"slug":3414,"title":3415,"excerpt":3416,"featuredImage":3417,"publishedAt":3418},"475","managed-agent-harness-vs-self-hosted-agent-loop-what-you-gain-what-you-lose","Harness per agenti gestito vs loop per agenti self-hosted: cosa si guadagna, cosa si perde","“Agente self-hosted” può indicare architetture molto diverse. Questa guida separa l'harness gestito, l'ambiente di esecuzione self-hosted e il loop dell'agente completamente autogestito—e mostra quale perimetro di controllo serve effettivamente ai team.","\u002Fuploads\u002F2026\u002F09\u002Fmanaged-agent-harness-vs-self-hosted-agent-loop-what-you-gain-what-you-lose-1790352403475-kj10jh.webp","2026-09-25T12:05:00.000Z",{"id":3420,"slug":3421,"title":3422,"excerpt":3423,"featuredImage":3424,"publishedAt":3425},"460","ai-agent-reliability-why-the-final-answer-is-not-enough","Affidabilità degli Agenti AI: Perché la Risposta Finale Non è Sufficiente","Un output corretto non dimostra un ragionamento corretto, un'esecuzione sicura o un sistema affidabile.","\u002Fuploads\u002F2026\u002F09\u002Fai-agent-reliability-why-the-final-answer-is-not-enough-1788955466306-pl0qhz.webp","2026-09-09T04:01:00.000Z",{"id":3427,"slug":3428,"title":3428,"excerpt":10,"featuredImage":3429,"publishedAt":3430},"369","git-with-automatic-upload-and-synchronization-to-a-production-server","\u002Fuploads\u002F2024\u002F05\u002Fstep-by-step-guide-illustration-showing-the-process-of-setting-up-Git-with-auto-upload-and-synchronization-to-a-production-server-large.webp","2024-05-28T22:48:00.000Z",{"id":3432,"slug":3433,"title":3434,"excerpt":3435,"featuredImage":3436,"publishedAt":3437},"364","tipps-fuer-die-verbesserung-der-seo-suchmaschinenoptimierung","Padroneggiare il Flusso di Lavoro SEO: Strategie di Ottimizzazione Essenziali per la Crescita Organica","Un flusso di lavoro SEO strutturato è fondamentale per una crescita organica sostenibile. Scopri le dieci strategie fondamentali, dalla ricerca di parole chiave e dall'ottimizzazione tecnica alla qualità dei contenuti e all'analisi delle prestazioni.","\u002Fuploads\u002F2026\u002F03\u002Ftipps-fuer-die-verbesserung-der-seo-suchmaschinenoptimierung-1774866098131-hwkzrg.webp","2024-01-26T06:35:00.000Z",{"id":3439,"slug":3440,"title":3441,"excerpt":3442,"featuredImage":3443,"publishedAt":3444},"479","where-does-an-llm-get-its-data-rag-data-sources-in-python","Da dove prende i dati un LLM? Fonti di dati RAG in Python","Un LLM non conosce magicamente i tuoi file, database o API. Questa continuazione pratica della serie RAG mostra, con semplice Python, come i dati esterni diventano prove recuperabili: dai file di testo e SQL alla ricerca full-text, agli embedding, all'assemblaggio del contesto e alla chiamata finale all'LLM.","\u002Fuploads\u002F2026\u002F09\u002Fwhere-does-an-llm-get-its-data-rag-data-sources-in-python-1790517200521-nfsi5i.webp","2026-09-27T05:51:00.000Z",{"id":3446,"slug":3447,"title":3448,"excerpt":3449,"featuredImage":3450,"publishedAt":3451},"469","rag-failed-but-which-layer-actually-failed-a-diagnostic-method","RAG non riuscito — Ma quale livello ha effettivamente fallito? Un metodo diagnostico","Quando una risposta RAG è sbagliata, dare la colpa al recupero o al modello è troppo vago. Questo metodo diagnostico isola la copertura delle fonti, la costruzione della query, il recupero, il ranking, l'assemblaggio del contesto, la generazione, l'attribuzione delle evidenze e l'aggiornamento—così il guasto effettivo può essere riprodotto e corretto.","\u002Fuploads\u002F2026\u002F09\u002Frag-failed-but-which-layer-actually-failed-a-diagnostic-method-1790350847177-pior4c.webp","2026-09-24T19:39:00.000Z",{"id":3453,"slug":3454,"title":3455,"excerpt":3456,"featuredImage":3457,"publishedAt":3458},"459","ollama-is-not-the-product-building-production-ready-open-llm-applications","Ollama non è il prodotto: costruire applicazioni Open-LLM pronte per la produzione","Eseguire un modello locale con Ollama è facile. Costruire un'applicazione Open-LLM pronta per la produzione è più difficile: richiede RAG, controllo degli accessi, astrazione del provider, valutazione, logging, disciplina di deployment e un livello applicativo controllato attorno al modello.","\u002Fuploads\u002F2026\u002F06\u002Follama-is-not-the-product-building-production-ready-open-llm-applications-1782679361640-h0usqf.webp","2026-06-28T16:39:00.000Z",{"id":3460,"slug":3461,"title":3462,"excerpt":3463,"featuredImage":3464,"publishedAt":3465},"477","computer-use-agents-why-a-successful-demo-can-still-be-an-unreliable-system","Agenti per l'uso del computer: perché una demo di successo può comunque essere un sistema inaffidabile","Gli agenti computer-use possono ora completare impressionanti flussi di lavoro su browser e desktop, ma una singola esecuzione riuscita dimostra la capacità—non l'affidabilità. Questo articolo mostra come testare la ripetibilità, la robustezza ambientale, il controllo a lungo orizzonte, la consapevolezza dello stato, la verifica dei risultati e la gestione sicura degli obiettivi.","\u002Fuploads\u002F2026\u002F09\u002Fcomputer-use-agents-why-a-successful-demo-can-still-be-an-unreliable-system-1790352854690-75qnrg.webp","2026-09-25T12:13:00.000Z",{"id":3467,"slug":3468,"title":3469,"excerpt":3470,"featuredImage":3471,"publishedAt":3472},"445","qwen-3-6-in-production-release-runbook-ai-rollback-and-llmops-versioning","Qwen 3.6 in produzione: Runbook di rilascio, Rollback AI e Versionamento LLMOps","Qwen 3.6 non è solo un altro aggiornamento del modello. È un evento di rilascio, uno scenario di rollback e un problema di versionamento allo stesso tempo. Questo articolo spiega come Qwen 3.6 dovrebbe essere gestito in produzione attraverso la disciplina LLMOps, la tracciabilità dei prompt e dei modelli, il rollout controllato e la prontezza al rollback basata sull'evidenza.","\u002Fuploads\u002F2026\u002F02\u002Fnew-qwen-3-5-plus-1771515512741-dcbi9p.webp","2026-05-04T02:49:00.000Z",{"id":3474,"slug":3475,"title":3476,"excerpt":3477,"featuredImage":3478,"publishedAt":3479},"488","what-is-context-engineering-what-the-model-receives-before-it-answers","Che cos'è l'ingegneria del contesto? Ciò che il modello riceve prima di rispondere","L'ingegneria del contesto progetta quali informazioni un modello di IA riceve prima dell'inferenza, inclusi prompt, recupero, memoria, stato dell'applicazione, risultati degli strumenti e cronologia delle conversazioni.","\u002Fuploads\u002F2026\u002F10\u002Fwhat-is-context-engineering-what-the-model-receives-before-it-answers-1791480653258-018kcv.webp","2026-10-08T13:29:00.000Z",{"id":3481,"slug":3482,"title":3483,"excerpt":3484,"featuredImage":3485,"publishedAt":3486},"480","when-should-an-ai-stop-trusting-its-own-knowledge-the-retrieval-trigger","Quando dovrebbe un'IA smettere di fidarsi della propria conoscenza? — Il grilletto del recupero","Un modello di IA non necessita del recupero per ogni domanda. Il problema importante è sapere quando la sua conoscenza interna non è più sufficiente. Il Trigger di Recupero è un confine decisionale pratico che determina quando un sistema di IA dovrebbe smettere di affidarsi esclusivamente alla conoscenza del modello e ottenere prove esterne prima di rispondere.","\u002Fuploads\u002F2026\u002F09\u002Fwhen-should-an-ai-stop-trusting-its-own-knowledge-the-retrieval-trigger-1790574991244-f4rpyg.webp","2026-09-28T01:49:00.000Z","fallback",[],[]]