Темы тестов

Восемь тем — от сборки промпта до продакшена. У каждой темы есть тесты по разделам и тест по теме целиком. Не знаете, с чего начать, — пройдите диагностику: 32 вопроса по всем темам покажут, что стоит подтянуть.

01

Промптинг и контекст

Как устроен промпт, который видит модель, и как собрать контекст агента: роли сообщений, системный промпт, примеры, стабильный префикс для кэша, сжатие длинной истории. Отдельно — поведение модели глазами пользователя: токены, температура, галлюцинации, рассуждающие модели.

02

Знания и память

Как дать модели нужные знания и как агенту помнить важное между сессиями: нарезка документов, эмбеддинги и поиск по ключевым словам, реранжирование, agentic RAG, графы знаний, долговременная память — что запоминать, как обновлять и забывать.

03

Агенты: инструменты и планирование

Как устроен цикл агента и как он действует в мире: описание инструментов, MCP, скиллы, что делать, когда инструментов слишком много, планирование, рефлексия, обработка ошибок.

04

Мультиагентные системы и оркестрация

Когда хватит жёсткого сценария, а когда нужна автономность, как делить работу между агентами, передавать контекст и не терять его на стыках, где нужен человек в контуре.

05

Кодинг-агенты и вайб-кодинг

Как работать с агентами, которые пишут код, и не обманывать себя результатом: спецификация вместо задания, файлы правил и скиллы, хуки как детерминированные гарантии, субагенты, независимая проверка и ревью.

06

Оценка LLM-приложений и агентов

Как понять, стало ли приложение лучше после изменений: наборы данных для оценки, LLM в роли судьи и его смещения, надёжность агентов, оценка RAG, статистическая значимость и наблюдаемость в продакшене.

07

Безопасность

Как LLM-приложения и агенты становятся уязвимыми и почему защита строится архитектурой, а не промптом: границы доверия, прямые и непрямые инъекции, утечки данных, избыточные права агента, атаки на бюджет.

08

LLM в продакшене

Что нужно приложению после запуска: защитные барьеры на входе и выходе, выбор и роутинг моделей, кэширование, стоимость и задержка, структурированный вывод, тесты деградации, мониторинг и работа с обратной связью. И решение уровня архитектуры: промпт, RAG или дообучение.

Как устроены тесты и честный рейтинг

01Режимы

Тренировка
Без таймера и без ограничений по числу попыток. После каждого ответа — правильный вариант и объяснение. На рейтинг не влияет. Доступна без входа.
Рейтинговая попытка
Время на каждый вопрос ограничено, правильность и объяснения — только после последнего вопроса. Результат идёт в рейтинг. Нужен вход через Telegram.
Диагностика
32 вопроса, около 20 минут: по каждой из восьми тем лёгкий, два средних и сложный, каждый раз новые. Это проверка для себя: без входа и без рейтинга, в итоге — карта знаний и список того, что стоит подтянуть. В рейтинг идут темы и разделы тем.

02Время и ответы

  • Время считает сервер, а не браузер: от 30 до 90 секунд на вопрос в зависимости от сложности и формата. Перезагрузка страницы таймер не сбрасывает — вопрос вернётся с тем же временем.
  • Вопросы бывают разных форматов: выбрать один вариант, отметить все верные, расставить шаги по порядку, найти строку с ошибкой.
  • Если время вышло, вопрос засчитывается как пропущенный. Небольшой допуск на задержку сети учтён.
  • Вернуться к прошлому вопросу нельзя. Повторная отправка ответа ничего не меняет — засчитывается первый.
  • Клавиши с цифрами выбирают элементы, Enter — отправляет ответ. В тренировке можно открыть подсказку.
  • Отметка «Не уверен в ответе» не влияет на очки, но верный ответ с ней попадёт в разбор как тема, которую стоит подтянуть.
  • Язык сайта можно сменить в любой момент, даже посреди попытки: вопрос и таймер останутся теми же.

03Ограничения рейтинговых попыток

  • Одна рейтинговая попытка в сутки на каждый квиз. Сутки считаются по UTC — новые начинаются в 03:00 по Москве.
  • Уход на другую вкладку или сворачивание окна во время рейтингового вопроса засчитывает его как пропущенный.
  • Выход из теста досрочно: оставшиеся вопросы засчитываются как пропущенные, повторить попытку по этому квизу можно на следующие сутки.

04Как считаются очки

  • У каждого вопроса есть свой рейтинг сложности — он уточняется по ответам всех участников. Верный ответ на сложный вопрос даёт больше очков, ошибка на лёгком отнимает больше.
  • Пропуск и «время вышло» считаются ошибкой. Отметка «не уверен» на очки не влияет.
  • У каждого участника есть общий рейтинг и отдельный рейтинг по каждой теме. Стартовый рейтинг — 1000.
  • Рейтинг один для русской и английской версий сайта: вопросы и их сложность общие.
  • Таблицы «Неделя» и «Месяц» — сколько очков участник набрал или потерял за календарную неделю или месяц. «Всё время» — текущий рейтинг.
  • Иногда в рейтинговую попытку добавляется контрольный вопрос. В балл он не входит.

05Честность рейтинга

  • Один аккаунт Telegram — один участник. При входе мы получаем только имя и ник.
  • Попытка, которую явно проходила программа, а не человек, в рейтинг не засчитывается.
  • Быстрые ответы сами по себе не наказываются: сильные участники тоже отвечают быстро.