Надёжность агентов

Раздел темы «Оценка LLM-приложений и агентов». Вопросы проверяют понимание практики, а не память на API конкретных библиотек. После ответа — разбор: почему верный вариант верен, чем плох каждый неверный и какую главу прочитать.

Сложность теста Форматы: один верный вариант, несколько верных, порядок шагов, ошибка в трейсе агента, пары

Тест 6.3Оценка агентовНачать тренировку Тренировка — без таймера, с разбором после каждого ответа.

Рейтинг — после входа

Рейтинговая попытка доступна после входа через Telegram: так один человек — один участник рейтинга.

01

Что проверяем

  1. Чем Pass^k отличается от Pass@k
  2. Какую метрику отчитывать
  3. Разбор причины провала
  4. От сбоя к регрессионной задаче
  5. Регрессия по префиксу траектории
  6. Действия верные, отчёт неверный
  7. Поиск ошибки в «тихом» провале
  8. Сначала правила, потом LLM
  9. Показатель агента упал
  10. Судить траекторию, а не только ответ
  11. Защита от поддельной проверки
02

Где читать

Как устроены тесты и честный рейтинг

01Режимы

Тренировка
Без таймера и без ограничений по числу попыток. После каждого ответа — правильный вариант и объяснение. На рейтинг не влияет. Доступна без входа.
Рейтинговая попытка
Время на каждый вопрос ограничено, правильность и объяснения — только после последнего вопроса. Результат идёт в рейтинг. Нужен вход через Telegram.
Диагностика
32 вопроса, около 20 минут: по каждой из восьми тем лёгкий, два средних и сложный, каждый раз новые. Это проверка для себя: без входа и без рейтинга, в итоге — карта знаний и список того, что стоит подтянуть. В рейтинг идут темы и разделы тем.

02Время и ответы

  • Время считает сервер, а не браузер: от 30 до 90 секунд на вопрос в зависимости от сложности и формата. Перезагрузка страницы таймер не сбрасывает — вопрос вернётся с тем же временем.
  • Вопросы бывают разных форматов: выбрать один вариант, отметить все верные, расставить шаги по порядку, найти строку с ошибкой.
  • Если время вышло, вопрос засчитывается как пропущенный. Небольшой допуск на задержку сети учтён.
  • Вернуться к прошлому вопросу нельзя. Повторная отправка ответа ничего не меняет — засчитывается первый.
  • Клавиши с цифрами выбирают элементы, Enter — отправляет ответ. В тренировке можно открыть подсказку.
  • Отметка «Не уверен в ответе» не влияет на очки, но верный ответ с ней попадёт в разбор как тема, которую стоит подтянуть.
  • Язык сайта можно сменить в любой момент, даже посреди попытки: вопрос и таймер останутся теми же.

03Ограничения рейтинговых попыток

  • Одна рейтинговая попытка в сутки на каждый квиз. Сутки считаются по UTC — новые начинаются в 03:00 по Москве.
  • Уход на другую вкладку или сворачивание окна во время рейтингового вопроса засчитывает его как пропущенный.
  • Выход из теста досрочно: оставшиеся вопросы засчитываются как пропущенные, повторить попытку по этому квизу можно на следующие сутки.

04Как считаются очки

  • У каждого вопроса есть свой рейтинг сложности — он уточняется по ответам всех участников. Верный ответ на сложный вопрос даёт больше очков, ошибка на лёгком отнимает больше.
  • Пропуск и «время вышло» считаются ошибкой. Отметка «не уверен» на очки не влияет.
  • У каждого участника есть общий рейтинг и отдельный рейтинг по каждой теме. Стартовый рейтинг — 1000.
  • Рейтинг один для русской и английской версий сайта: вопросы и их сложность общие.
  • Таблицы «Неделя» и «Месяц» — сколько очков участник набрал или потерял за календарную неделю или месяц. «Всё время» — текущий рейтинг.
  • Иногда в рейтинговую попытку добавляется контрольный вопрос. В балл он не входит.

05Честность рейтинга

  • Один аккаунт Telegram — один участник. При входе мы получаем только имя и ник.
  • Попытка, которую явно проходила программа, а не человек, в рейтинг не засчитывается.
  • Быстрые ответы сами по себе не наказываются: сильные участники тоже отвечают быстро.