Модуль 16. Evals
Главный вопрос: Как узнать, что агент хороший? Не «мне понравился результат», а создать набор ситуаций. Например, 100 кейсов. Для каждого:
Главный вопрос: Как узнать, что агент хороший? Не «мне понравился результат», а создать набор ситуаций. Например, 100 кейсов. Для каждого:
Нужно разделять минимум четыре типа памяти. Working memory Что происходит сейчас. Episodic memory Что агент делал раньше. Semantic memory Что
Нужен операционный trace: Goal ↓ Plan ↓ Action ↓ Observation ↓ Decision ↓ Action ↓ Result Мы должны видеть: что
Нужно противопоставлять: Prompt engineering Что написать модели? Context engineering Что модель должна видеть в момент принятия решения? Это гораздо важнее.
Зависимость существует, когда возможность или результат действия A определяется состоянием B, которым A непосредственно не управляет. Например, агент должен получить
Агент говорит: Я выполню задачу завтра. Почему? Есть ли зависимость? Есть ли информация? Какова вероятность failure? Агент должен уметь говорить
Агент может самостоятельно: читать документы; анализировать; создавать draft; создавать issue. Но должен запросить подтверждение перед: отправкой письма; оплатой; удалением; публикацией;
Агент получает: Проанализируй возможность выхода продукта на немецкий рынок. Дальше возникает дерево деятельности: Goal │ ├── Market │ ├── size
Агент находится в центре среды: Context │ Memory ─── Tools ─── Agent ─── Files │ APIs ─ Databases ─ Browser