LLM в роли судьи

Раздел темы «Оценка LLM-приложений и агентов». Вопросы проверяют понимание практики, а не память на API конкретных библиотек. После ответа — разбор: почему верный вариант верен, чем плох каждый неверный и какую главу прочитать.

Сложность теста Форматы: один верный вариант, несколько верных, строка с ошибкой, сравнение ответов по рубрике, раскладка по группам

Тест 6.2LLM в роли судьиНачать тренировку Тренировка — без таймера, с разбором после каждого ответа.

Рейтинг — после входа

Рейтинговая попытка доступна после входа через Telegram: так один человек — один участник рейтинга.

01

Что проверяем

  1. Что не относится к смещениям LLM-судьи
  2. Что должно быть в промпте судьи
  3. Какую систему оценки выбрать судье
  4. Судья — это модель и промпт
  5. Как не разориться на судье
  6. Смещения судьи и защита от них
  7. Принципы рубрики для судьи
  8. Агент и судья из одного семейства
  9. Судья из объяснений эксперта
  10. Каким может быть судья
  11. Код или судья
  12. Формат ответа для программы
  13. Проверка кодом или судьёй
02

Где читать

Как устроены тесты и честный рейтинг

01Режимы

Тренировка
Без таймера и без ограничений по числу попыток. После каждого ответа — правильный вариант и объяснение. На рейтинг не влияет. Доступна без входа.
Рейтинговая попытка
Время на каждый вопрос ограничено, правильность и объяснения — только после последнего вопроса. Результат идёт в рейтинг. Нужен вход через Telegram.
Диагностика
32 вопроса, около 20 минут: по каждой из восьми тем лёгкий, два средних и сложный, каждый раз новые. Это проверка для себя: без входа и без рейтинга, в итоге — карта знаний и список того, что стоит подтянуть. В рейтинг идут темы и разделы тем.

02Время и ответы

  • Время считает сервер, а не браузер: от 30 до 90 секунд на вопрос в зависимости от сложности и формата. Перезагрузка страницы таймер не сбрасывает — вопрос вернётся с тем же временем.
  • Вопросы бывают разных форматов: выбрать один вариант, отметить все верные, расставить шаги по порядку, найти строку с ошибкой.
  • Если время вышло, вопрос засчитывается как пропущенный. Небольшой допуск на задержку сети учтён.
  • Вернуться к прошлому вопросу нельзя. Повторная отправка ответа ничего не меняет — засчитывается первый.
  • Клавиши с цифрами выбирают элементы, Enter — отправляет ответ. В тренировке можно открыть подсказку.
  • Отметка «Не уверен в ответе» не влияет на очки, но верный ответ с ней попадёт в разбор как тема, которую стоит подтянуть.
  • Язык сайта можно сменить в любой момент, даже посреди попытки: вопрос и таймер останутся теми же.

03Ограничения рейтинговых попыток

  • Одна рейтинговая попытка в сутки на каждый квиз. Сутки считаются по UTC — новые начинаются в 03:00 по Москве.
  • Уход на другую вкладку или сворачивание окна во время рейтингового вопроса засчитывает его как пропущенный.
  • Выход из теста досрочно: оставшиеся вопросы засчитываются как пропущенные, повторить попытку по этому квизу можно на следующие сутки.

04Как считаются очки

  • У каждого вопроса есть свой рейтинг сложности — он уточняется по ответам всех участников. Верный ответ на сложный вопрос даёт больше очков, ошибка на лёгком отнимает больше.
  • Пропуск и «время вышло» считаются ошибкой. Отметка «не уверен» на очки не влияет.
  • У каждого участника есть общий рейтинг и отдельный рейтинг по каждой теме. Стартовый рейтинг — 1000.
  • Рейтинг один для русской и английской версий сайта: вопросы и их сложность общие.
  • Таблицы «Неделя» и «Месяц» — сколько очков участник набрал или потерял за календарную неделю или месяц. «Всё время» — текущий рейтинг.
  • Иногда в рейтинговую попытку добавляется контрольный вопрос. В балл он не входит.

05Честность рейтинга

  • Один аккаунт Telegram — один участник. При входе мы получаем только имя и ник.
  • Попытка, которую явно проходила программа, а не человек, в рейтинг не засчитывается.
  • Быстрые ответы сами по себе не наказываются: сильные участники тоже отвечают быстро.