LLM в продакшене
Что нужно приложению после запуска: защитные барьеры на входе и выходе, выбор и роутинг моделей, кэширование, стоимость и задержка, структурированный вывод, тесты деградации, мониторинг и работа с обратной связью. И решение уровня архитектуры: промпт, RAG или дообучение.
Загружаем…
01Вся тема целиком
Пройти всю тему «LLM в продакшене»
Все вопросы темы — по одному на каждый факт, от лёгких к сложным. Честная проверка знаний по теме целиком, а не по одному разделу.
02
Разделы темы
№ТЕСТВОПРОСОВСЛОЖНОСТЬСТАТУС
8.1Защитные барьерыЗащитные барьеры на входе, Что ловят барьеры на выходе, Барьеры и потоковый вывод
8.4Стоимость и задержкаПочему агент дорожает с каждым шагом, Как снизить время до первого токена, Как сократить полное время ответа
8.5Самопроверка и тесты деградацииКак наращивать архитектуру, Повторы при сбоях вывода, Нужен ли оркестратор
8.7Обратная связь пользователейНеявные сигналы в диалоге, Явная и неявная обратная связь, Повторная генерация как сигнал
8.8Промпт, RAG или дообучениеRAG или дообучение для меняющихся регламентов, RAG или дообучение, Порядок адаптации модели