Принципы выбора релевантных показателей

< Предыдущая

· Опубликовано 08 января 2013 г.

- 46 -

> Оглавление

Блог автора

Назовем показателями доступное для осознанного наблюдения и анализа представление оценочных критериев "успешности" производимых действий исследуемой системы. Они являются необходимым элементом обратной связи в жизнеспособной системе. Их назначение – объективно отображать, насколько успешно осуществляется движение системы к поставленным целям.

Для искусственных технических систем подбор необходимых показателей компетентными специалистами отработан неплохо, а вот для социально - экономических систем грамотный выбор показателей из множества возможных представляется почти искусством. И, похоже, владеют им немногие. Многие пытаются применять известные или надуманные критерии оценки эффективности, не понимая самой сути назначения показателей.

Рассмотрим конкретный пример: критерии оценки эффективности высших учебных заведений (далее используется сокращение ВУЗ) в Российской Федерации.

В настоящий момент определены следующие пять основных критериев:

- "в сфере образовательной деятельности – средний балл ЕГЭ зачисленных студентов, обучающихся на бюджетных и платных отделениях". Таким образом, оценка деятельности ВУЗа определяется по подготовке абитуриента (!), а не выпускника.

- "в сфере научной деятельности – объем НИОКР (научно-исследовательские, опытно-конструкторские и технологические работы) в расчете на одного педагогического работника". Объем, очевидно, определяется по размеру вложенных средств, а не по некоему результату от НИОКР. Да и сами научные работы (если в них вообще участвуют студенты) на качество процесса обучения в целом имеют лишь косвенное влияние.

- "международная деятельность — удельный вес численности иностранных студентов, завершивших изучение основной программы, не считая стран СНГ". Это откровенно позорный критерий, констатирующий сложившийся де-факто комплекс неполноценности для отечественного образования.

- "финансовая устойчивость будет характеризоваться количеством доходов из всех источников в расчете на одного педагогического работника". А как же и ВУЗ должен "зарабатывать" из всех доступных источников; коммерческая аренда помещений сюда входит?

- "хозяйственная деятельность — будет оцениваться по объему площадей помещений, находящихся в праве собственности или в оперативном управлении." И здесь не обошлось без пресловутого "квартирного вопроса".

Мы видим, что по факту нет ни одного показателя для основного назначения учебных заведений. Это печально, что оценка ВУЗов сейчас проводится настолько бездарно. Но это характерный пример общей деградации и профанации системы образования в РФ.

***

Попробуем вкратце набросать некоторые принципы теории выбора релевантных показателей для оценки деятельности сложных систем.

Принцип A. Каковы цели? Первый вопрос, ответ на который нужно осознать в полной мере: в чем, собственно говоря, заключается необходимая и реальная потребность использования показателей? Если цель оценки понять, насколько ВУЗ качественно проводит обучение выбранной специальности (это же вроде его основная задача?), то разумно представить систему ВУЗ в виде черного ящика: на входе "абитуриенты", на выходе "специалисты". Задача сводится к измерению соответствия компетенций подготовленных "специалистов" необходимым требованиям к выбранной профессии. Компетенции включают как знания, так и умения – то есть в целом способности решать необходимые профессиональные задачи. Реализовать такую оценку можно несколькими способами, например, по принципам контроля качества на современных промышленных предприятиях: случайной выборкой фокус группы студентов и оценкой компетенций по результатам централизованного прохождения ими необходимых экзаменов.

Принцип B. Текущее состояние и направление изменений. Для динамичных систем принципиально нет одного показателя, который бы однозначно показывал состояние дел. Как минимум их должно быть два: интегральная оценка текущего состояния и направление изменений. Не случайно в визуальных "дашбордах" принято отображать цифровое значение какого-либо показателя и стрелкой (или цветовым индикатором) - тренд изменения. Это разделение важно для понимания того, в верном ли направлении в некоторый момент времени направлены усилия по управлению системой или нужно изменить вектор приложения усилий.

Пример современной панели индикаторов (dashboard)

Принцип C. Необходимая достаточность. Количество показателей должно быть минимальным, но достаточным для понимания сути происходящих изменений в текущей ситуации. Прибыль предприятия не может являться единственным показателем качества корпоративного управления во времени, ибо основная ставка на решения, приносящие сиюминутную прибыль, обыкновенно противоречит стратегии долговременного развития предприятия.

Принцип D. Несвязность. Полезным приемом минимизации количества показателей является исключение связанных или зависимых критериев, т.е. таких, показатели которых однозначно зависят от изменения других. Если мы измеряем температуру воздуха в градусах по Цельсию, то нет нужды дублировать измерения по шкале Фаренгейта.

Принцип E. Управляемость. В любом случае количество показателей не может превышать возможности наблюдения в реальном масштабе времени и своевременного анализа для того, кто управляет системой. Типичная ошибка заключается в выборе множества показателей, на которые никто по факту не смотрит и/или не предпринимает действий. В массе данных посредственного значения могут потеряться действительно важные показатели. Эта ситуация внезапности наступления неожиданных событий финансового кризиса вследствие запутанности для анализа по структуре показателей сути происходящих явлений хорошо показана в художественном фильме "Margin Call" (в русском переводе "Предел риска").

Для управления сложными системами структура показателей может быть организована иерархическим образом. Это неплохо реализовано в некоторых современных "дашбордах" деятельности предприятия, где выбрав некоторый совокупный показатель, например размер выручки за период для торговой сети, можно проанализировать его составные части: выручку по регионам продаж, отдельным магазинам, форматам магазинов, выручку по дням недели и т.п.

Принцип F. Осторожность к историческим данным. Частая и трудно осознаваемая ошибка анализа показателей или “критериев эффективности” заключается в сравнении их текущих значений со значениями, сохранившимися в некоторой исторической перспективе. Такой анализ можно делать для ограниченных задач и лишь учитывая прошедшие изменения во внешней среде для анализируемой системы. Потребление каменного угля на душу населения в Советской России в первой половине XX века было выше, чем во второй, но это конечно не значит, что люди тогда жили лучше. Этот пример вполне очевиден по смыслу, но вот возвращаясь к оценке ВУЗов, недавние предложения оценивать учебные заведения по "историческому престижу" или по "доле хорошо устроившихся в жизни выпускников" также разумны, как решать путнику какую дорогу выбрать, основываясь на карте уже пройденного маршрута.

Для "престижных" ВУЗов такой единственный метод оценки позволит благополучно проспать их загнивание, а для "непрестижных" начисто отбивает мотивацию быть успешными. Кстати о мотивации и поговорим в следующей заметке.

Следующая >