Рубрики оценки
Рубрики, которые делают оценку LLM последовательной, проверяемой и улучшаемой.
Опубликовано:
Admin User
Updated:
published
Рубрики оценки
Рубрики делают оценку последовательной: вы оцениваете результаты по определенным критериям.
Корпоративные рубрики также определяют, какие доказательства требуются для задач с высоким риском.
См. также
Метрики оценки LLM Человек в контуре Ворота качестваЧасто задаваемые вопросы
Что такое рубрика оценки?
Система оценки, которая делает качество результатов измеримым и последовательным.
Какие измерения должны включать рубрики?
Корректность, ясность, безопасность, полнота и полезность для задачи.
Как мы обрабатываем субъективную оценку?
Определите примеры и якоря для каждой оценки; калибруйте рецензентов.
Как рубрики становятся воротами?
Определите пороговые значения прохождения и применяйте их при выпуске изменений промптов/моделей.
Каково первое улучшение?
Определите 3–5 измерений рубрики и оцените небольшой базовый тестовый набор.