Как мерить результат обучения с AI-наставником: показатели, которые что-то значат

Большинство дашбордов в обучении меряют активность. Активность - это не навык. Дашборды, которые держатся, меряют результат: что ученик теперь умеет, чего не умел раньше.

Показатели, которые держатся

Три основных показателя, по убыванию важности.

Время выхода на уровень. От момента, когда ученик начал (или нанялся), до момента, когда он сдаёт оценку на уровень. Это рабочий показатель: с какой скоростью обучение превращается в продуктивность. Сокращение здесь - самый сильный рычаг во всём обучении.

Оценка за открытые задания. Балл за эссе, код, имитацию звонка, дизайн-бриф - выставленный по рамке. Это показатель навыка: насколько хорошо, а не насколько часто. Считайте медиану и нижний квартиль - средние прячут слабых.

Завершаемость. Доля учеников, которые начали курс и закончили. Это показатель дизайна: работает ли курс с теми, кого через него пропускают. Ниже пятидесяти - чините курс прежде, чем мерить остальное.

Показатели тщеславия

Три показателя, которые выглядят разумно, но обманывают.

Часы просмотра / время на платформе. Оптимизация под это поощряет неэффективные курсы. Пятичасовой курс с тусклым прохождением выигрывает у часового с отличным. Это в обратную сторону.

Количество запущенных курсов. Количество - не влияние. Команда, которая выпустила пятьдесят курсов, никем не пройденных, провалится сильнее, чем та, что выпустила пять, которыми компания реально пользуется.

Самооценка («понравилось ли?»). Как датчик настроения - полезно. Как цель - бесполезно. Раздувается со временем, отстаёт от реальности и не отличает «было приятно» от «реально научился».

Почему курсы с наставником делают эти показатели измеримыми

Три вещи становятся возможны, которых раньше не было.

Оценка открытой работы в масштабе. Эссе, оценённое человеком, дорогое, поэтому в обучении по умолчанию используют тесты с вариантами. Наставник может последовательно оценивать открытую работу по рамке, и тогда вы меряете реальный навык, а не узнавание.

Постоянная оценка. Наставник видит достаточно работы ученика, чтобы не нужен был один большой экзамен. Навык становится постоянно обновляемой оценкой, а не моментальным снимком.

Сравнение групп между языками и странами. Стандартизованное наставничество означает последовательную оценку; разница между группами - сигнал, а не шум. Подробнее - в «Многоязычном обучении в масштабе».

Поэтому курсы с наставником гораздо приятнее с точки зрения серьёзной оценки, чем видеокаталоги. Наставник одновременно ведёт и проверяет; оценка встроена в доставку.

План оценки для руководителя обучения

Определите уровень для каждой роли. Конкретные наблюдаемые поведения. «Новый продажник может провести звонок на выявление, в котором набирается пять из восьми пунктов квалификации». Не «понимает профиль клиента».

Сделайте оценки под определение. Открытые ответы там, где это возможно. Тесты с вариантами - только там, где навык - это и есть узнавание.

Откалибруйте оценку наставником. На выборке из двадцати-тридцати ответов сравните оценку наставника с оценкой эксперта. Подкручивайте промпт и рамку, пока не сойдутся. Перепроверяйте раз в месяц.

Замерьте базу. Медиана времени выхода до наставника. Контрольная группа, если есть возможность. Чтобы заявить «после», нужно «до».

Выкладывайте три цифры в месяц. Завершаемость, оценка (медиана плюс нижний квартиль), время выхода на уровень. Не давайте этому разрастись в дашборд из сорока показателей, который никто не читает.

Дорабатывайте на уровне курса. Когда курс не выходит на показатели, найдите конкретный модуль с провалом, поправьте, перепроверьте. Не сносите всю программу на одном сигнале.

Что делать, когда показатели расходятся

Иногда видно так:

• Высокая завершаемость, низкие оценки - курс слишком лёгкий, тесты не совпадают с целевым навыком.
• Низкая завершаемость, высокие оценки - дочитывают только самые подготовленные; разбираться, почему остальные слетают.
• Высокая самооценка, низкое сокращение времени выхода - людям нравится, но навыка не появляется.

Каждое из этого - полезный сигнал. Не усредняйте.

Главное

Обучение с наставником - первая технология, благодаря которой показатели результата дёшевы в замере в масштабе. Используйте момент, чтобы убрать показатели тщеславия и начать отчитываться по тому, что реально двигает бизнес. Функция обучения становится сильно убедительнее, когда в её отчёте сокращение времени выхода на уровень, а не часы просмотра.

Если выбираете платформу в том числе по тому, что она умеет мерить, см. страницу для команд INITE Education - там описано, как устроены оценки и отчёты. Или напишите на hello@inite.education с показателями, которые вам нужно защищать.