Подписывайтесь
на канал Вербо в МАХ
Первыми узнавайте о функциях, обновлениях и возможностях диалогового ИИ-тренажёра.
Критерии оценки в Вербо: три ошибки, два пути построения игры и новые возможности платформы
Прямой эфир для клиентов Вербо · 7 июля 2026 · Елизавета Соловьёва и Алина Нургатина
Материал подготовлен по прямому эфиру для клиентов Вербо (7 июля 2026, 12:30 МСК). Главный методолог и промпт-инженер Елизавета Соловьёва разобрала три категории ошибок в критериях оценки и показала, как работают обновлённые возможности платформы: загрузка PDF-документов, матриц компетенций и hard skills прямо через промпт.
Из чего состоит оценка: компетенция, индикатор, уровень проявления
Критерии оценки в Вербо — это всё, что находится после карточек ролей (стажёра и аватара). Они раскладываются по трём уровням:
Уровень
Что это
Пример
Компетенция
Крупная составляющая навыка
Выявление потребностей
Индикатор
Конкретное действие, которое можно зафиксировать в транскрипте
Уточняет цель обращения клиента
Уровень проявления
Насколько полно индикатор проявился в диалоге (шкала 0−3)
0 — не задаёт вопросов, 3 — задаёт 3+ вопросов, последовательно
«Индикатор — самое важное внутри критериев оценки. Мы его операционализируем: создаём действия, которые реально можно увидеть, а не предположить.»
— Елизавета Соловьёва, главный методолог Вербо
Совет методолога
Не оценивайте всё сразу. Выбирайте только то, что важно для этой конкретной игры. Если выбрать 7 компетенций и по 6 индикаторов в игре на 3 минуты, оценка не будет работать корректно. Объём критериев должен соответствовать длине диалога.
Два пути построения игры: от образовательного результата и от ситуации
Путь
Когда использовать
Последовательность
От образовательного результата
Есть навык или компетенция, которые нужно развить; ситуации могут меняться
Фиксируем результат → раскладываем на компетенции → на индикаторы → создаём сценарий
От повторяющейся ситуации
Есть конкретная проблема, с которой сотрудники постоянно сталкиваются
Выявляем ситуацию → моделируем сюжет и ветвление → определяем компетенции и индикаторы
Оба пути валидны. Первый методологически более строгий. Второй более распространён среди клиентов, так как идёт от реальной боли. Если привыкли к одному пути, полезно попробовать другой: структура критериев оценки может заметно измениться.
Ошибка 1. Слишком общие слова
Самая частая ошибка — компетенции и индикаторы, сформулированные настолько широко, что система не понимает, что именно оценивать. Разобрано на практике из эфира: 10 компетенций медпредставителя, из которых нужно выбрать 5 для кейса «врач сомневается в препарате».
Компетенция
Оставить?
Почему
Контакт
Убрать или переформулировать
Слишком общо. «Контакт» — с кем? С ЛПР? С врачом? Нужен контекст или переименование.
Знание продукта
Оставить
Если включить индикаторы о показаниях, ограничениях и данных — система понимает, что проверять.
Выявление клинического контекста
Оставить
Нужен обязательно: коллега уже имел негативный опыт, важно уточнить ситуацию врача.
Аргументация через доказательства
Оставить
Проверяемо в диалоге, все участники согласились.
Управление временем встречи
Убрать
Время в Вербо не передаётся как переменная — оценить корректно невозможно.
Работа с возражением о переносимости
Оставить
Прямо из условия кейса: колега уже имел негативный опыт — нужно проработать конкретное возражение.
Эмпатия
Убрать или детализировать
Что такое эмпатия? Без раскладки на действия система придумает значение сама.
Уверенность
Убрать или детализировать
Аналогично — слишком аморфно. Лучше: «перефразирует опасения врача», «называет данные».
Креативность презентации
Убрать
Презентацию аватар не видит — оценить невозможно, выходит за рамки игры.
Договорённость о следующем шаге
Оставить
Прямо из условия кейса: важно закрыть встречу договорённостью о следующем шаге.
Частая ошибка
Если вы читаете критерий оценки и как посторонний человек, незнакомый с игрой, не понимаете, что именно должен сделать участник — этот критерий слишком общий. Либо расширьте его, либо переименуйте.
Ошибка 2. Компетенцию или индикатор нельзя оценить во время игры
Некоторые формулировки описывают внутренние состояния или результаты за пределами диалога — и система не может их зафиксировать в транскрипте. Разобрано на примере компетенции «работа с возражением: у вас не работает приложение».
Исходная формулировка
Проблема
Как исправить
Проявляет эмпатию клиентоориентированность
Слишком общо — система придумает значение
Признаёт проблему клиента без спора и обесценивания
Понимает, что клиенту неприятно
«Понимает» — внутреннее состояние, не видно в транскрипте
Озвучивает, что ситуация неприятна / перефразирует жалобу своими словами
Не допускает негативного впечатления от банка
Нельзя проверить по одному диалогу — это результат после
Фиксирует, что будет сделано дальше: срок, канал, ответственный шаг
Проводит клиента к решению
Неясно какое действие требуется; «к решению» — слишком широко
Предлагает доступный обходной путь или следующий шаг без сложных обещаний
«Если вы видите „понимает“, „чувствует“, „ощущает“ — такие вещи не будет видно в транскрипте. Измерить моё понимание я никак не могу. Замените на действие: „озвучивает“, „перефразирует“, „предлагает“.»
— Елизавета Соловьёва, главный методолог Вербо
Совет методолога
Проверяйте каждый индикатор по вопросу: «Смогу ли я увидеть это действие в тексте транскрипции?» Если нет — переформулируйте через глагол действия.
Ошибка 3. Смешанные уровни проявления
Даже если компетенции и индикаторы прописаны хорошо, их можно испортить уровнями проявления, которые не отличаются друг от друга по качеству действия. Это одна из причин нестабильной или систематически завышенной/заниженной оценки.
Пример неудачной разбалловки
Балл
Формулировка
Проблема
0
Говорит уверенно, но без деталей
Ноль — негативное проявление, а здесь уже «уверенно». Противоречие.
1
Говорит, что препарат хороший
Почти то же, что и 0: «без деталей» ≈ «хорошо, но ничего конкретного»
2
Уточняет причину сомнения, но спорит с врачом
Смешивает хорошее действие (уточняет) и грубую ошибку (спор) — по факту ближе к 1
3
Называет данные и признаёт ограничения
Резко меняет тип требования: исчезла тема уверенности/сомнений, появились данные
Пример удачной разбалловки (новая версия системы)
Балл
Формулировка
0
Даёт неверную или опасную информацию; прямо отрицает ограничения, не упоминает риски
1
Отвечает общо — «хорошо переносится», без деталей; не называет конкретных данных
2
Называет часть профиля безопасности; не спорит, но упускает один-два обязательных элемента
3
Полностью объясняет профиль безопасности: называет конкретные показатели, признаёт ограничения
В новой версии каждый уровень описывает качественно иное поведение. Можно прямо прописывать, что участник должен сказать для тройки, а что забыть — чтобы получить двойку.
Обновления платформы: hard skills, PDF-документы, матрица компетенций
Переход на новую версию агента открыл три важные возможности.
1. Hard skills теперь в системе оценки
Раньше приходилось встраивать знаниевые проверки вручную. Теперь система сама разграничивает soft и hard skills: информация из загруженного PDF-документа либо идёт в критерии оценки (что должен знать стажёр), либо в карточку аватара (что аватар использует для вопросов).
2. Загрузка PDF-документа прямо в промпт
Файл прикрепляется через интерфейс и упоминается в промпте.
Частая ошибка
Если вы читаете критерий оценки и как посторонний человек, незнакомый с игрой, не понимаете, что именно должен сделать участник — этот критерий слишком общий. Либо расширьте его, либо переименуйте.
3. Импорт матрицы компетенций
Если у вас есть готовая корпоративная матрица компетенций (PDF), её можно загрузить и указать в промпте:
Создай игру про продажу карты. В системе оценки используй компетенции и индикаторы как в прикреплённом файле, ничего от себя не добавляй.
Система загрузит компетенции и индикаторы слово в слово. Если в матрице трёхбалльная шкала — система автоматически расширит её до четырёхбалльной. Нужно проверить, корректно ли выполнено это расширение.
Обновлённый отчёт: индикаторы видны участнику
В обновлённом отчёте появились:
• График по компетенциям: визуальный срез по всем блокам оценки.
• Все индикаторы внутри каждой компетенции теперь видны участнику.
• Рекомендации по каждой компетенции: что нужно сделать, чтобы повысить балл.
• Обратная связь по hard skills: если были ошибки в знаниях, система показывает, что нужно было сказать для лучшего результата.
• Размер файла отчёта уменьшен: удобнее отправлять участникам по почте.
• Все индикаторы внутри каждой компетенции теперь видны участнику.
• Рекомендации по каждой компетенции: что нужно сделать, чтобы повысить балл.
• Обратная связь по hard skills: если были ошибки в знаниях, система показывает, что нужно было сказать для лучшего результата.
• Размер файла отчёта уменьшен: удобнее отправлять участникам по почте.
Следующее обновление отчёта в работе. Структура станет ещё более фокусной и стандартизированной.
Следующий прямой эфир: 4 августа, 12:30 МСК, «Как работать со сложностью игры».
Часто задаваемые вопросы
Компетенция — крупная составляющая навыка (например, «Выявление потребностей»). Индикатор — конкретное наблюдаемое действие в диалоге («уточняет цель обращения клиента»). Уровень проявления — насколько полно индикатор проявился (шкала 0−3): 0 — негативное/отсутствующее, 3 — максимальное. Ключевой принцип: индикатор должен быть виден в транскрипции, а уровни должны качественно отличаться друг от друга.
Оба пути работают. Путь от образовательного результата методологически строже: сначала фиксируем навык, раскладываем на компетенции, на индикаторы — потом создаём сценарий. Путь от повторяющейся ситуации популярнее: видим проблему → моделируем ситуацию → определяем компетенции. Если привыкли к одному пути, попробуйте другой: структура критериев оценки может измениться.
Тревожные сигналы: одно слово без контекста («контакт», «эмпатия», «уверенность»), глаголы внутреннего состояния («понимает», «чувствует», «ощущает»), результаты за пределами диалога («не допускает негативного впечатления»). Проверочный вопрос: «Смогу ли я увидеть это в тексте транскрипции?» Если нет — замените на действие: «называет», «озвучивает», «перефразирует», «предлагает».
Время в Вербо не передаётся как измеримая переменная. Система не имеет доступа к длительности отдельных реплик или пауз. Можно сделать косвенные выводы по монологичности высказываний, но полноценно и корректно оценить управление временем встречи нельзя. Если этот навык важен — лучше исключить его из критериев, чтобы не получать ненадёжные результаты.
Проверьте: каждый уровень должен описывать качественно иное поведение, а не вариации одного и того же. Ноль — негативное или отсутствующее проявление (без позитивных элементов). Один — минимальное, с серьёзными пробелами. Два — частичное, без грубых ошибок. Три — полное и корректное. Если уровни 0 и 1 описывают примерно одно и то же — объедините их или переформулируйте один из них.
Прикрепите файл через кнопку загрузки в интерфейсе конструктора и укажите его в промпте. Для проверки знаний из документа: «мне нужен экзамен по данным из файла, вопросов 10, в критериях оценки проверять эти знания». Для матрицы компетенций: «используй компетенции и индикаторы как в прикреплённом файле, ничего от себя не добавляй». Если шкала в матрице трёхбалльная — система автоматически расширит её до четырёхбалльной.
Рекомендация методолога: не более 5−10 страниц. Если нужно проверить 10 конкретных знаний из 200-страничного документа — сделайте отдельный компактный файл с нужными пунктами. Загрузка 200 страниц приведёт к тому, что система запутается и не сможет качественно выделить нужное. Правило: один сценарий — одна тема, а не вся база знаний компании.
В обновлённом отчёте: график по компетенциям, все индикаторы внутри компетенций видны участнику, рекомендации по каждой компетенции, обратная связь по hard skills (что нужно было сказать для лучшего результата), уменьшенный размер файла для удобной отправки по почте. Следующая версия отчёта в разработке — станет ещё более структурированной и фокусной.