25.02.2021 | Автор: OleshkoV | 341 просмотров
Метрики в управлении знаниями

Тема измерения эффективности программы управления знаниями непростая. Знания – вещь неосязаемая, пощупать нельзя, взвесить сложно. И тем не менее, если мы вкладываем ресурсы организации в какое-то направление, мы хотим понимать, насколько эффективны наши вложения, все ли мы делаем правильно, а если это не так, то что нужно сделать по-другому. В общем, без системы метрик и показателей нам не обойтись.

В своей консалтинговой практике я настаиваю на том, чтобы команды, с которыми я работаю, формировали итоговое видение - чего они хотят от своей системы управления знаниями. Видение обычно без труда перекладывается на один-три ключевых показателя эффективности. Если речь идет о системе управления знаниями для всей компании, то чаще всего это метрики, относящиеся к основным бизнес-процессам. Например, уровень рекламаций или доля проектов, выполненных в срок, в рамках бюджета и с удовлетворением требований заказчика на 100%. Если это система управления знаниями в рамках одного подразделения крупной компании, там могут быть метрики вроде срока адаптации новичков, степени удовлетворенности внутренних заказчиков, уровня компетенций членов команды и т.п. Такие показатели мониторятся на уровне заказчика/спонсора проекта - они помогают ему понять, стоит ли игра свеч.

Когда команда спланировала, какие инструменты, как и когда она будет внедрять для реализации своего видения, помогаю сформулировать показатели, которые помогут отследить эффективность внедрения и работы инструментов. У этой категории показателей задача другая: понять, насколько успешно мы движемся по плану и насколько удачно мы подобрали инструменты, чтобы предпринять при необходимости корректирующие действия.

При разработке метрик я прошу участников команды заполнить «карточки КПЭ». Это простая таблица с колонками "Название метрики", "Где берем данные?", "Кто собирает данные?", "Как часто собирает?", "Кому отчитывается?". Проработка этих вопросов на старте очень помогает "заземлиться" и не строить воздушных замков, потому что в каждой компании своя система учета: что могут посчитать одни, совсем не могут другие. Поэтому итоговый набор выбранных показателей для каждого проекта будет свой.

Если вы впервые столкнулись с задачей оценки эффективности программы управления знаниями, вам может быть трудно придумать метрики. Для начала стоит изучить рекомендации специалистов и подумать, что из предложенного списка можно использовать в вашем проекте. Через 2-3 месяца мониторинга показателей вы поймете, насколько они для вас полезны, и сможете откорректировать свою систему оценки при необходимости. Ниже я приведу примеры из нескольких открытых публикаций ведущих мировых специалистов.

В блоге Энтони Рэма есть заметка «Измерение эффективности вашей программы управления знаниями». В ней автор сфокусировался на четырех ключевых инициативах управления знаниями: сообщества практиков, поиск, извлеченные уроки, целостность знаний (knowledge continuity). Для каждой из них он предлагает набор своих метрик.

Метрики для сообщества практиков

Типичные метрики: среднее количество постов в день, уникальные участники (люди, которые разместили хотя бы один пост), повторяющиеся участники (люди, которые разместили более одного поста) и основные участники (люди, в совокупности разместившие более 50% постов).

Моменты, на которые автор предлагает обратить внимание:

  1. Признавайте разнообразие интересов участников группы и то, что участие – дело добровольное.
  2. Разработайте классификацию стейкхолдеров и проведите оценку RACI для каждой группы.
  3. Совместно с участниками разработайте согласованные цели, задачи, принципы и стратегию сообщества.
  4. Разработайте план работы сообщества с согласованными критериями модерации и учетом влияния стейкхолдеров на поведение группы способами, соответствующими целям и задачам сообщества.

Метрики поиска

Здесь ключевое – настройка и оптимизация. Владельцы сайта/администраторы должны постоянно (раз в две недели) отслеживать и оценивать эффективность результатов поиска на основе отчетов о работе KMS (Knowledge management system – здесь это система управления знаниями как специализированное ПО). По этим отчетам необходимо анализировать типы ключевых слов, по которым осуществляется поиск, и с каких сайтов идет большая часть поисковых запросов. На основе этой информации можно определить необходимость добавления синонимов и метаданных, которые будут доступны в фильтрах расширенного поиска.

Собственно метрики:

  • Использование поисковика (что и как ищут).
  • Количество выполненных запросов на поиск (в территориальном разрезе).
  • Количество выполненных запросов с высоким рейтингом.
  • Оценки пользователей (провести опрос пользователей с просьбой оценить релевантность и качество полученной через поисковик информации).
  • Актуальность информации (information currency) – зависит от специфики опубликованной информации и способа ее использования. Может отслеживаться через средний «возраст» страниц; число страниц старше определенного «возраста»; число страниц, достигших даты пересмотра; перечень страниц, готовых к пересмотру; страницы, которые должны быть пересмотрены и проанализированы владельцем контента или сообществом.
  • Обратная связь пользователей – хороший способ отследить востребованность системы. Большое количество жалоб может говорить не только о плохом качестве информации, но и о том, что системой активно пользуются и нуждаются в ней настолько, что готовы потратить время на отправку сообщения с обратной связью.

Метрики извлеченных уроков

Базовый процесс извлечения уроков по версии Энтони Рэма1: Выявить – Задокументировать – Проанализировать – Сохранить – Извлечь. Извлеченные уроки можно разделить по типу: ресурсы, время, бюджет, система, контент и т.п. Извлеченные уроки фиксируются в кратком итоговом документе, включая описание выявленных проблем и рекомендации по их устранению. Для сбора метрик необходимо документировать и отслеживать выполнение этих рекомендаций. Иногда это может вылиться в целый проект с привлечением большого количества ресурсов.

Что можно отслеживать:

  • Анализ влияния (сокращение/увеличение времени на задачу).
  • Неправильное использование ресурсов.
  • Бюджетные ограничения.
  • Ограничения со стороны системы/ПО.
  • Нехватка доступного контента.
  • Процент проблем, решенных с помощью извлеченных уроков в целом и по категориям.

Метрики целостности знаний (по сути – сохранение/удержание знаний)

В центре целостности знаний находятся ответы на вопросы2:

  • Что является критически важными знаниями, которые необходимо сохранить?
  • Где находятся эти знания? Являются ли они доступными и отчуждаемыми?
  • Какие решения и действия необходимы, чтобы предотвратить потерю ценных и зачастую невосполнимых знаний?
  • Что нужно сделать, чтобы успешно извлечь, распространить и сохранить извлеченные уроки и лучшие практики от наиболее опытных и ценных работников до того, как они уволятся или выйдут на пенсию?

Возможные метрики:

  • Процент собранных и сохраненных знаний ключевых сотрудников.
  • Процент знаний, переданных сотрудникам, принимающим дела.
  • Затраты на предотвращение утечки критических организационных знаний.
  • Наличие структурированного процесса и системы сохранения, актуализации, обеспечения доступа, улучшения и переноса знаний, поддерживающих выполнение ежедневных рабочих задач сотрудников.
  • Время на адаптацию новичков.

В отчете APQC «Using Knowledge Sensitive Measures to Evaluate KM’s Impact in STEM Disciplines» также предлагается четыре группы показателей, но уже совсем других. Они адаптированы для компаний, насыщенных техническими знаниями: добыча полезных ископаемых, производство, научно-технические разработки, разработка программного обеспечения и т.д. Для каждой группы в отчете приводится несколько примеров показателей.

Инновации:

  • Количество идей, поданных на рассмотрение.
  • Количество комментариев/дополнений к предложенным новым идеям.
  • Полученные патенты.
  • Количество публикаций на внешних ресурсах3.

Цифровизация:

  • Качество аналитики.
  • Точность моделей машинного обучения.
  • Количество выполненных задач, реализованных функций, поставленных продуктов за один спринт Agile.
  • «Пропускная способность» Agile-команды.

Операционная деятельность:

  • Коэффициенты использования.
  • Повторное использование чертежей, конструкций и другой интеллектуальной собственности.
  • Безопасность и предотвращение несчастных случаев.
  • Процент выигранных тендеров.

Компетенции:

  • Рост наличия необходимых навыков.
  • Время достижения компетентности для ключевых ролей.
  • Кадровый резерв (сотрудники, обладающие критическими навыками, в сравнении с ожидаемыми вакансиями).
  • Количество сотрудников, обученных инновационным методикам.

Конечно, не все из этих показателей зависят только от усилий команды управления знаниями, но эффективно работающая система управления знаниями внесет в их рост существенный вклад. Показать это влияние может быть непросто. Для этого APQC предлагает применить следующий подход:

  1. Определите, влияние какого инструмента или подхода к управлению знаниями вы хотите определить (X).
  2. Определите, как вы будете измерять улучшения, которые произойдут благодаря использованию этого инструмента (Y).
  3. Определите, какой желаемый бизнес-результат вы хотите получить в итоге (Z).

Общая идея такая: «Если X успешно влияет на Y, то мы получим результат Z». Например, в инжиниринговой компании хотят повысить процент выигранных тендеров (бизнес-результат, Z) за счет того, что лучшие практики по составлению тендерных предложений сохраняются в базе на корпоративном портале и затем используются повторно (X), что позволяет составлять тендерные предложения быстрее и с меньшим количеством ошибок (Y). В развернутом виде это может выглядеть так:

С помощью такого подхода можно увязать «технические» метрики по использованию отдельных инструментов управления знаниями с влиянием этих инструментов на бизнес-результаты компании.

Говоря о бизнес-результатах, нельзя пройти мимо оценки экономического эффекта от инициатив по управлению знаниями. Проще всего, конечно же, рассчитывать суммы экономии/дополнительной прибыли, полученные в результате работы системы сбора идей сотрудников. Еще два инструмента, которые хорошо поддаются оцифровке «в деньгах» – это перенос лучших практик и повторное использование извлеченных уроков в новых проектах. Гораздо сложнее оценить экономию от предотвращения потери знаний. В блоге у Хелен Рассел есть небольшая заметка на эту тему. Автор предлагает оценить потенциальные потери от плохого управления знаниями с помощью нескольких вопросов:

  • Сколько стоит уволить кого-то?
  • Сколько стоит нанять нового сотрудника?
  • Какие потери вы понесете от того, что не сможете найти нужного человека и наймете плохо подходящего на должность кандидата?
  • Какова стоимость отношений с ключевым клиентом? Что, если следующий сотрудник не сможет поддерживать настолько же хорошо эти отношения?
  • Во сколько обойдется задержка проекта?
  • Во сколько обойдется слабое решение или ошибка, совершенная из-за неопытности?
  • Какова стоимость переделок или неэффективности в работе?
  • Какова стоимость потери уникальных знаний, имеющихся только у одного сотрудника?
  • Какова стоимость обучения нового сотрудника до уровня «адекватный» и до уровня «эксперт»?
  • Насколько сильно новые участники команды тормозят в работе старых участников? Как много участков работы или клиентов может от этого пострадать?
  • К каким задержкам и снижению эффективности работы приведет то, что имеющиеся сотрудники будут напуганы возможными сокращениями и начнут искать работу где-то еще или будут считать, что нет смысла начинать что-то новое, пока все не успокоится?
  • Какова стоимость новых личностных конфликтов?

Вряд ли этот список можно использовать как прямое руководство к действию, но как минимум он наталкивает на интересные размышления и может помочь выявить слабые места в вашей системе управления знаниями. А если система управленческого учета у вас поставлена очень хорошо, то, вполне возможно, с ее помощью вы сможете прикинуть объем годовых потерь компании из-за нехватки каких-то инструментов управления знаниями и обосновать перед руководством необходимость проекта по их внедрению.

Еще одно направление, которое любят оценивать «в деньгах» западные коллеги, – это экономия рабочего времени «знаниевых» сотрудников. Как правило, такие расчеты делаются через оценку экономии времени на поиск нужных для работы знаний и информации. Пример такой оценки, проведенной в одной из индийских ИТ-компаний, есть в ленте LinkedIn у Dr. Randhir Pushpa:

Вот так по-разному можно подходить к измерению эффективности программы управления знаниями. А какие метрики используете вы в своих проектах?

______________________________________
1 В цикле заметок Денниса Пирса вы можете познакомиться с другой версией жизненного цикла извлеченных уроков. Еще один вариант предлагает Кристофер Парсонс
2 Ответы на первые два вопроса призвана дать карта знаний. В нашем блоге есть несколько заметок на эту тему:

3 Скорее всего, имеются в виду научные публикации сотрудников компании.

Инструменты / 25.02.2021 | Просмотров: 341 | Добавил: OleshkoV | Всего комментариев: 0 / Теги: инструменты управления знаниями, Управление знаниями
ОБ АВТОРЕ
Виктория Олешко Олешко Виктория, бизнес-тренер, консультант, фасилитатор, главный редактор сайта SixSigmaOnline.ru.
Хотите узнать больше об управлении знаниями? Присоединяйтесь к группе на Facebook. Связаться с автором через Facebook или LinkedIn.

Поддержать автора на Patreon

ПОХОЖИЕ МАТЕРИАЛЫ


  Добавить комментарий
avatar
SixSigmaOnline.ru © 2009-2021            Хостинг от uWeb