Оценка LLM-приложений и агентов

Как понять, стало ли приложение лучше после изменений: наборы данных для оценки, LLM в роли судьи и его смещения, надёжность агентов, оценка RAG, статистическая значимость и наблюдаемость в продакшене.

 

Загружаем…

01Вся тема целиком

Пройти всю тему «Оценка LLM-приложений и агентов»

Все вопросы темы — по одному на каждый факт, от лёгких к сложным. Честная проверка знаний по теме целиком, а не по одному разделу.

02

Разделы темы

№ТЕСТВОПРОСОВСЛОЖНОСТЬСТАТУС
6.1Эвалы и наборы данныхИз чего собрать набор для оценки, разметка, связь метрик с бизнес-целями
6.2LLM в роли судьиСмещения по позиции и длине, самопредпочтение, рубрики
6.3Оценка агентовPass@k и Pass^k, τ²-bench, верификаторы, атрибуция ошибок
6.4Оценка RAGContext recall, faithfulness, answer correctness
6.5Статистика и продакшенЗначимость различий, observability, оценка на живом трафикеРазделы: Статистическая значимость · Наблюдаемость и трассировка
6.6Бенчмарки и их ограниченияЗачем нужны публичные бенчмарки, Рейтинг по попарным сравнениям, Неожиданная победа в Эло

Рейтинг — после входа

Рейтинговая попытка доступна после входа через Telegram: так один человек — один участник рейтинга.

Как устроены тесты и честный рейтинг

01Режимы

Тренировка
Без таймера и без ограничений по числу попыток. После каждого ответа — правильный вариант и объяснение. На рейтинг не влияет. Доступна без входа.
Рейтинговая попытка
Время на каждый вопрос ограничено, правильность и объяснения — только после последнего вопроса. Результат идёт в рейтинг. Нужен вход через Telegram.
Диагностика
32 вопроса, около 20 минут: по каждой из восьми тем лёгкий, два средних и сложный, каждый раз новые. Это проверка для себя: без входа и без рейтинга, в итоге — карта знаний и список того, что стоит подтянуть. В рейтинг идут темы и разделы тем.

02Время и ответы

  • Время считает сервер, а не браузер: от 30 до 90 секунд на вопрос в зависимости от сложности и формата. Перезагрузка страницы таймер не сбрасывает — вопрос вернётся с тем же временем.
  • Вопросы бывают разных форматов: выбрать один вариант, отметить все верные, расставить шаги по порядку, найти строку с ошибкой.
  • Если время вышло, вопрос засчитывается как пропущенный. Небольшой допуск на задержку сети учтён.
  • Вернуться к прошлому вопросу нельзя. Повторная отправка ответа ничего не меняет — засчитывается первый.
  • Клавиши с цифрами выбирают элементы, Enter — отправляет ответ. В тренировке можно открыть подсказку.
  • Отметка «Не уверен в ответе» не влияет на очки, но верный ответ с ней попадёт в разбор как тема, которую стоит подтянуть.
  • Язык сайта можно сменить в любой момент, даже посреди попытки: вопрос и таймер останутся теми же.

03Ограничения рейтинговых попыток

  • Одна рейтинговая попытка в сутки на каждый квиз. Сутки считаются по UTC — новые начинаются в 03:00 по Москве.
  • Уход на другую вкладку или сворачивание окна во время рейтингового вопроса засчитывает его как пропущенный.
  • Выход из теста досрочно: оставшиеся вопросы засчитываются как пропущенные, повторить попытку по этому квизу можно на следующие сутки.

04Как считаются очки

  • У каждого вопроса есть свой рейтинг сложности — он уточняется по ответам всех участников. Верный ответ на сложный вопрос даёт больше очков, ошибка на лёгком отнимает больше.
  • Пропуск и «время вышло» считаются ошибкой. Отметка «не уверен» на очки не влияет.
  • У каждого участника есть общий рейтинг и отдельный рейтинг по каждой теме. Стартовый рейтинг — 1000.
  • Рейтинг один для русской и английской версий сайта: вопросы и их сложность общие.
  • Таблицы «Неделя» и «Месяц» — сколько очков участник набрал или потерял за календарную неделю или месяц. «Всё время» — текущий рейтинг.
  • Иногда в рейтинговую попытку добавляется контрольный вопрос. В балл он не входит.

05Честность рейтинга

  • Один аккаунт Telegram — один участник. При входе мы получаем только имя и ник.
  • Попытка, которую явно проходила программа, а не человек, в рейтинг не засчитывается.
  • Быстрые ответы сами по себе не наказываются: сильные участники тоже отвечают быстро.