08.05.2013 | Добавил: dmagic | Просмотров: 1487
Белый пояс, ящик с усами и тесты гипотез

Три месяца назад на сайте SixSigmaOnline.ru было проведено небольшое исследование успеваемости участников тренинге белый пояс бережливых шести сигм (Lean Six Sigma White Belt). В настоящей заметке мы проведем анализ результатов, которые были собраны в течение февраля-апреля 2013 года, и попытаемся их сравнить с полученными ранее для того, чтобы ответить на вопрос: стал ли белый пояс привлекать больше внимания наших посетителей?

Для чего нужен ответ на этот вопрос?

Во-первых, белый пояс предлагает всем нашим посетителям “простой старт” в изучении бережливого производства и шести сигм. Следовательно, это первая точка, которая помогает оценить, насколько этот старт успешен.

Во-вторых, белый пояс – это начальный тренинг в системе тренингов сайта SixSigmaOnline.ru. Таким образом, интерес к этому тренингу дает некую качественную оценку интереса ко всем остальным курсам, как и к изучению бережливого производства и шести сигм online.

В-третьих, с начала года мы запланировали и внедрили ряд действий, направленных на популяризацию бережливых шести сигм и, в частности, тренинга для белых поясов. Запланировать и внедрить – это только половина цикла PDCA. Следовательно, предстоит провести анализ и коррекцию.

Итак, за 3 месяца удалось зафиксировать 109 наблюдений (против 210 за 7 месяцев, которые подробно разобраны в заметке Что нам стоит пройти белый пояс?). Каждое наблюдение соответствует попытке пройти тест. Тест состоит из 25 вопросов; успешной считается попытка, в которой экзаменуемый дает верные ответы не менее чем на 20 вопросов – 80% и выше.

Чтобы оценить распределение результатов тестирования, мы можем использовать гистограмму. Мы также можем построить две гистограммы на одном графике, чтобы сравнить распределение двух выборок. Тем не менее, вторую задачу удобнее проводить с помощью ящичных диаграмм:

Визуально кажется, что “ящик” второй диаграммы находиться выше, но так ли это на самом деле? Действительно ли успеваемость в период с февраля по апрель 2013 года выше? Существует ли возможность достоверно узнать это?

Ответ получим, применив тест гипотез. Учитывая результаты проверки нормальности распределения, можем применить 2-Sample-t-тест в Minitab:

Первое предложение в поле Comments, утверждает о том, что средние арифметические значения двух выборок статистически отличаются. Иными словами, результаты действительно лучше.

210 результатов за 7 месяцев – это около 30 попыток в месяц. 109 результатов за 3 месяца – это более 36 попыток в месяц. Можно ли утверждать, что белый пояс стал более популярным?

Не уверен :-(

Однако уверен, вы посоветуете мне инструмент, с помощью которого можно ответить на этот вопрос и, возможно даже визуально представить результаты исследований.

Лин6Сигм / 08.05.2013 | Просмотров: 1487 | Добавил: dmagic | Всего комментариев: 7 / Теги: boxplot, шесть сигм, аналитика, тренинги, тесты гипотез, Minitab
Всего комментариев: 7
avatar
0
1 chadelina • 20:19, 08.05.2013
То есть как показатель популярности белого пояса Вы взяли - количество успешных попыток в месяц. Это показатель результата.
Как дополнительный показатель популярности может быть использовано и количество регистраций и количество просмотров материалов и количество попыток сдачи теста. И количество участников обучения, которые сдавали тест.
Было бы интересно посмотреть их все вместе. Кто-то приходит сам учится, кто-то материалы ищет - эти виды популярности разными показателями измерять можно, на мой взгляд.

Показатель успеваемости - среднее значение баллов сданного теста. Меня ещё очень бы интересовало - а с какой попытки :), сколько участников проходили и прошли или вообще не прошли тест. Интересно возможно такое - получить данные - попытка - балл. Чтобы увидеть - учимся на ошибках или сразу всё понятно.

Среднее значение прошедших тестирование в месяц получается. Наверное интересно было бы посмотреть в динамике, с разбивкой по месяцам. Может быть сделать такую гистограмму? Возможно, что размещённые рядом аналогичные гистограммы для жёлтых поясов (или по другим программам обучения) тоже могли бы дать интересную информацию.
Ещё интереснее сколько попыток в среднем делает каждый из получивших сертификат (вспоминаю свой опыт smile )

И, если есть такая возможность, сравнить, действительно ли белый пояс является первой ступенькой? Сколько человек после белого пояса прошли сертификацию на жёлтый или зелёный?

Жаль по тексту не ясно какие данные можно получить.
Ответ: В качестве показателя популярности, я взял общее количество попыток (успешных + не успешных). Согласен, количество просмотров может также служить показателем популярности тренинга. Кстати, материалы тренинга являются самыми просматриваемыми из всего, что я загрузил на SlideShare.net

Количество попыток посмотреть тоже можем. Вот:


ТАААК. Гистограмма с разбивкой по месяцам? Это как?

Белый пояс действительно стал первой ступенькой для большинства желтых поясов и участников тренинга “Устранение потерь”. Часто, однако. Наблюдается и такое: подается заявка на желтый пояс или устранение потерь и до начала тренинга штудируется белый пояс.

Данные вытяну любые или, по крайней мере, буду очень стараться. К вам просьба: нумеровать предложения, чтобы я не пропускал интересные идеи и мысли.
avatar
0
2 chadelina • 09:23, 09.05.2013
В обсуждении рождается истина smile
1. Если принять, что показатель популярности курса состоит из двух основных частей и одной дополнительной:
a - показателя для активных участников (тех, кто активно обучается и сдаёт тест)
b - и пассивных участников - кто ищет и использует информацию курса, но тесты на сдаёт.
c - число участников, которые после данного курса пошли на другой (или параллельно с данным)

Моя гипотеза заключается в том, что:
2. Интерес к курсу может изменяться во времени.
3. Интерес может зависеть от участия в других курсах, от посещаемости сайта вообще.
4. На интерес могут влиять другие события, такие как продвижение в соц. сетях, конец или начало квартала, года и т.д.
По месяцам - это сколько сделано попыток (успешных и не успешных) в первый месяц с запуска продукта (май), далее второй и т.д. Чтобы видеть не средние значение, а как изменяется по времени популярность курса. То же стоит сделать и с просмотрами.
Будет интересно посмотреть, есть ли связь между просмотрами и активным участием со сдачей теста - что растёт быстрее.
Если можно будет увидеть некую зависимость - то на интерес к курсу можно влиять.

Правильно я поняла, из Диаграммы Парето, что всего прошло тестирование 63 человека, а количество попыток - всего 108. Это за оба периода или за один? Как-то изменилось это число, если только за один?
5. Среднее количество попыток напрямую ничего не говорит о количестве участников. Насколько я поняла, количество попыток - это количество участников умноженное не некий коэффициент "среднего количества попыток". Величина этого коэффициента может быть от единицы и выше. Причём он тоже может изменяться во времени, т.к. зависит как от качества материалов и теста, так и от "качества привлечённых участников".
На мой взгляд, показатель популярности курса (для активных участников) - это количество участников которые сдавали тест хотя бы один раз. Для пассивных - количество просмотров.
Ответ: 1 (a и b). Эти показатели применимы для оценки популярности курса. Очень интересная идея смотреть их в связке и анализировать, что растет быстрее.

1с. Этот показатель называют конверсией. Он вряд ли подойдет для оценки популярности белого пояса – скорее, для оценки того, насколько белый пояс полезен в качестве “первой ступеньки”. К этому показателю стоило бы обратиться, если бы запуски желтого пояса и тренинга “Устранение потерь” осуществлялись регулярно. В настоящий момент набор на тренинги желтых поясов приостановлен, поэтому конверсия равна 0.

2, 3, 4 – согласен. Есть смысл анализировать, но не в плане “влияет – не влияет”, а искать рычаги наибольшего влияния. Пока это – книги в формате special report-ов. Возможно есть что-то еще… нужно смотреть – хорошая идея.

Все верно: всего 108 попыток/63 человека в период с февраля по апрель 2013. Особых изменений не вижу, хотя гипотезы не проверял. Пока не могу уловить вашу идею: что даст такой анализ?

5. 108 – это количество наблюдений в системе учета результатов тестирования. 63 – это количество уникальных пользователей, проходивших тестирование. Никаких коэффициентов – регистрация фактов.

Если я правильно понял вашу идею, то следует проверить насколько тренинг-материал “мотивирует проходить тест”. Да, это действительно интересно. Нужно подумать над тем, как собрать наблюдения по количеству просмотров уникальных посетителей. Возможно сбор данных не так прост.
avatar
0
3 chadelina • 08:10, 11.05.2013
Почему хотелось бы посмотреть изменение показателей во времени, я исхожу из того, что (это гипотеза):
1. Есть постоянные посетители сайта, которые просматривают новинки - это и так наши люди. Скорее всего они будут интересоваться любой новинкой, хотя бы как пассивные участники. Поток таких участников, по идее, должен сначала набирать количество, а затем постепенно убывать.
2. Есть новые лица, которых привлекли мероприятия по продвижению нового продукта - если мероприятия по продвижению окончены (или стали не эффективны) , то поток привлечённых новичков будет уменьшаться или вообще приостановится. Например разовые публикации на Leaninfo. Продвижение других продуктов или сайта вообще может тоже влиять на увеличение популярности.
3. Есть новички, которые пришли сами просто используя поисковик - это случайное событие. Хотя, я знаю,что есть технологии, позволяющие выводить в поиске сайты на первые строчки (мои клиенты пользовались) - это может несколько повысить посещаемость.
Именно исходя из этих предположений и было бы интересно посмотреть развёртку по времени. Именно для того, чтобы увидеть как изменялось популярность во времени, что ещё происходило, как это повлияло (или не повлияло) на популярность и что стоит делать, чтобы повышать популярность и дальше smile

4. Про уникальных посетителей: - а вот тут, в отличие от теста, я не уверена, что это необходимо, и вот почему - я сама несколько раз возвращалась к разным публикациям, то по работе нужно было, то понравилась метафора или логика подачи, или в связке с другими продуктами - на мой взгляд это совершенно не важно. Есть просмотры - есть популярность. Значит материал нужный, полезный и "долгоиграющий". Значит он имеет много смысловых связей с другими материалами и полезен.

5. Про то, чтобы тренинг материал, мотивировал проходить тест tongue Помню наши горячие обсуждения на первом курсе зелёных поясов. Нахально поделюсь идеями:
- 5.1 можно хотя бы список белых поясов? а в идеале и поздравительный сертификат (могу показать шефу) или галерею новичков (с фото - белая Сигма-галерея ) hands Может бегущая строка, как на некоторых сайтах - по желанию участника, естественно.
- 5.2 После теста рекомендации, что повторить (для неправильных ответов) - как более полезная обратная связь по результатам теста (если такой ещё нет - помнится я особенно выпрашивала такую biggrin )
- 5.3. Льготные условия участия в других обучающих курсах - приоритетное зачисление, например, или он-лайн консультация по устранению потерь с жёлтым или зелёным поясом, ну или с Вами, мастер.

Как Вам такие ма-а-а-аленькие инновации? unsure
Ответ: Посещаемость vs. попыток сдать экзамен белого пояса (за рассматриваемый в заметке период + НЕполный май):



Интересная картинка (особенно следующая), однако выборка недостаточна для заключения неких выводов:



Указанные предложения (5.1. – 5.3.) действуют, но для инноваций непаханое поле ;-)
avatar
0
4 dmagic • 20:46, 15.09.2013
Данные за лето + половина сентября:

avatar
0
5 chadelina • 21:17, 15.09.2013
Интересный расклад. biggrin
Особенно радует маленький разброс между попытками/экзаменуемыми и успешно сданными тестами. Практически сколько попыталось сдать - столько и сдали. Отличный результат. Ведение работает, ура! Будем надеяться, что к концу месяца и количественный результат будет радовать.
Как интересно ведёт себе посещаемость, связь есть, но не прямая. Май - это за счёт DFSS?
avatar
0
6 dmagic • 16:17, 02.11.2013
+ сентябрь и весь октябрь



Взаимосвязь с посещаемостью не линейная:



...и немножко анализа:

avatar
0
7 chadelina • 17:16, 02.11.2013
Тренд классный! медиана 21 - это просто замечательно.
Интересно как! А в феврале-апреле материалы менялись как-то?
За счёт чего тренд в начале года? За счёт повторных сдач и пересдач? smile
Ответ: Материалы не менялись. Массового движения "на пересдачу в следующем месяце" также не заметил.
avatar
SixSigmaOnline.ru © 2009-2017            Хостинг от uWeb