Цейтлин Н.А. Из опыта аналитического статистика

Подождите немного. Документ загружается.

различные пристрастия. По этим соображениям в ЭС должны быть включены заинтересованные

стороны - заказчик и исполнитель работы (при МЭО ТР ) и члены бригады (при МЭО КТУ).

Заказчик обычно хорошо знает и сможет убедительно объяснить свои требования к

критериям качества, а исполнителю хорошо известны достоинства и недостатки его работы.

Будучи объективными, заказчик и исполнитель сумеют правильно расставить оценки качества.

Если оценки экспертов будут резко отличаться, то уже в первом цикле МЭО авторам крайних

оценок придется дать объяснение своим позициям. Наиболее правдоподобные объяснения

приведут к тому, что во втором цикле СВ СО качества изменятся в наиболее правдоподобном

направлении.

Если же заказчик или исполнитель необъективны, то их оценки уровня компетентности

противоположной стороны будут занижены, а оценки ЧКК работы будут резко отличаться от

оценок большинства экспертов. При возникновении конфликтных ситуаций следует собирать

специальный конфликтный ЭС. (О пользе производственных конфликтов и управлении ими

подробнее написано в литературе, например, [11]). Заказчику или исполнителю невыгодно быть

необъективными как из-за общественного резонанса, так и потому, что в следующий раз

исполнитель не предложит свои услуги необъективному заказчику, а заказчик откажется от услуг

необъективного исполнителя.

В качестве экспертов при МЭО КТУ членов бригады разумно также использовать самих

членов бригады, людей, вообще говоря, компетентных, но заинтересованных в результатах

экспертизы. В важных случаях для большей объективности результатов МЭО следует

дополнительно привлекать большее количество компетентных независимых экспертов.

Во многих случаях для оценки уровня компетентности экспертов

p достаточно собрать

мнение коллег. В особо важных случаях уровень компетентности

p можно представить как

обобщенную оценку компетентности по ряду ЧКК. Такими ЧКК могут быть, например, «уровень

подготовки», «квалификация в ВАК», «мнение коллег», а также способность эксперта дать оценку

по разным ЧКК работы.

10.16. Итерационная процедура в методике МЭО

Правило Рейберна. Хочешь жить в согласии – соглашайся! [1]

Принцип последовательных приближений (итераций) нашел широкое распространение при

решении СЛОЖНЫХ задач.

Используемый в процедуре МЭО итерационный метод Дельфы получил название от

греческого города, в котором жили мудрецы, славившиеся в древности предсказаниями будущего.

Метод Дельфы представляет собой ряд последовательно осуществляемых процедур,

направленных на формирование группового мнения экспертов о проблемах, по которым

ощущается недостаток информации [2, с. 100].

В основу метода Дельфы положены следующие предпосылки:

1) поставленные вопросы должны допускать возможность выражения ответа в виде числа;

2) эксперты должны быть компетентными (располагать достаточной информацией) для того,

чтобы дать оценку;

3) эксперты должны уметь обосновывать каждую свою оценку.

Процедуры, используемые в методе Дельфы, характеризуются тремя основными чертами:

анонимностью, регулируемой обратной связью и групповым ответом. Анонимность достигается

применением системы кодирования фамилий и контактом экспертов с ДЛ или с ПЭВМ.

Регулируемая обратная связь осуществляется за счет проведения нескольких этапов опроса.

Экспертов информируют о результатах предыдущих этапов. Тем экспертам, чьи оценки являются

«крайними» (наименьшими или наибольшими), предлагают обосновать свое мнение: это

позволяет уменьшить колебания оценок экспертов на следующих этапах. Если анонимность

опроса является способом ослабления влияния отдельных «доминирующих» экспертов, то

введение обратной связи вносит элемент объективности и делает оценки более надежными.

Имеющаяся практика [2, с. 109] показывает, что недостаточно компетентные эксперты могут

улучшить свои оценки за счет информации, получаемой от более компетентных специалистов. С

другой стороны, компетентные специалисты, как правило, не располагают той информацией,

которая находится в распоряжении у всех входящих в группу экспертов, что позволяет и им

улучшать свои оценки в процессе итераций.

Для участия в экспертизе члены ЭС не должны обязательно находиться в одном месте.

Раздача и сбор опросных листов могут быть растянуты во времени. Например, каждый цикл - в

течение часа, дня и более. В такой экспертизе могут принимать участие эксперты даже из разных

стран (посредством компьютерной почты). Подобная стратегия в наибольшей степени

способствует независимости оценок экспертов.

Итерационный метод МЭО дает лучшие результаты, чем использование суждений

отдельных экспертов или групп с личным общением их членов [2].

10.17. Внедрение методики МЭО

Принцип Шоу. Создайте систему, которой сможет пользоваться даже дурак,

и только дурак захочет ею пользоваться.

[1]

Одним из аспектов адекватности методики МЭО является её соответствие определенной

социально-культурной среде.

10.17.1. Трудности внедрения методики МЭО

Третий закон Чизхолма. Любое предложение люди понимают иначе,

чем тот, кто его вносит. [1]

Трудности внедрения методики МЭО в социально-производственную среду связаны в

первую очередь с сопротивлением бюрократических слоев. Администрация предприятий может

противопоставить методикам МЭО ТР и МЭО КТУ действующие инструкции.

Другой трудностью внедрения является несоответствие математического аппарата методики

МЭО образовательному уровню пользователя, что может вызвать у него непонимание

необходимости применения «такого сложного» математического аппарата. (Заметим, что

подобные возражения пользователя можно считать резонными, когда задача оценивания не стоит

времени и средств, затрачиваемых на экспертизу.)

Мотивация «сложности» математической модели МЭО сложностью объекта моделирования

может оказаться для неподготовленного пользователя «неубедительной». Наш опыт показывает,

что для адаптации пользователя к математическому аппарату методики МЭО необходима

постепенность внедрения.

10.I7.2. Этапы внедрения методики МЭО

Закон Букера. Даже маленькая практика стоит большой теории.

[1]

На первых этапах можно использовать упрощенный математический аппарат, а в

дальнейшем, по мере адаптации пользователя, более сложные процедуры.

На первом этапе рекомендуется: исключить ЧКК; считать уровни компетентности экспертов

одинаковыми [

(

)

MjP

,11 ==

]; использовать одну итерацию расчетов; каждому эксперту

давать сразу ЭО

(

)

Mjа

,1=

обобщенного критерия качества. Тогда обработка результатов

МЭО сведется к расчету среднего значения критерия качества Maa

∑

. Такая

примитивная процедура знакома пользователю, так как её применяют педагоги при оценивании

знании учащихся, спортивные судьи на соревнованиях по гимнастике и др. В методике МЭО ТР

дополнительно вычисляется ДЦР пo формулам (7) и (8); в методике МЭО КТУ придется

дополнительно определять среднее значение важности Z-й профессиональной группы по формуле

1 i

Mee

izz

∑

= , где e

- ЭО важности Z-й группы, данная i-м экспертом

(

)

KzMi ,1;,1

;

КТУ вычисляется по формуле (19).

На первом же этапе внедрения МЭО возможна неудовлетворенность экспертов результатами

экспертизы. Это позволяет сразу же перейти ко второму этапу путём включения в процедуру МЭО

метода Дельфы (использование итерационной процедуры оценивания). Для этого на каждом этапе

оценивания необходимо вычислять крайние ЭО a

(

min

{а

} и

max

{а

}) и давать соответствующие

пояснения (записки) ДЛ (см. п. 2. 8.).

На третьем этапе следует включать в рассмотрение уровни компетентности экспертов

(

)

MjP

,1= . Эта процедура приучит пользователя к пониманию СВ СО.

На четвертом этапе можно ввести ЧКК и оценки их важности b

(

)

WVMj ,1;,1

На пятом этапе хорошо включить эквивалентные денежные оценки ЧКК и уровней

компетентности экспертов. Возможно также использование приведенной обобщённой СВ СО ЧКК

А (см. формулу (30)).

При составлении программы для ПЭВМ рекомендуется ввести переключатель на пять

описанных уровней сложности алгоритма МЭО.

На каждом этапе внедрения методики МЭО бывает необходимо провести 1-2 экспертизы.

После освоения всех этапов пользователь методики МЭО получит возможность сокращать

время и сложность экспертизы за счет её качества по собственному усмотрению.

10.17.3. Процедура внедрения методики МЭО

Как только вы испробуете все возможные способы решения и не найдете подходящего,

тут же найдется решение простое и очевидное для всех других людей.

[1]

Внедрение методики МЭО происходит в рамках договора между исполнителем (лицом,

осуществляющим обучение действующих лиц экспертизы) и заказчиком, принимающем методику.

Возможен следующий порядок действий.

1. Заказчик выделяет ДЛ – «своего» специалиста в области предмета экспертизы.

2. Исполнитель знакомит ДЛ со сценарием экспертизы и алгоритмом обработки её результатов.

3. Исполнитель совместно с ДЛ составляет список всех ЧКК предмета экспертизы.

4. Исполнитель с ДЛ знакомит членов ЭС со сценарием и алгоритмом экспертизы.

5. Проводится сеанс экспертизы.

6. Заказчик совместно с ЭС принимает методику МЭО (или возвращается к п. 4).

10.18. «Узкие» места методики МЭО.

Подчас трагедия в том и состоит, что её никто не замечает. (АФ)

10.18.1. Взаимное доверие действующих лиц экспертизы

…Всегда пойдет навстречу ближнему, чтобы преградить ему путь. Из характеристики,

найденной при раскопках Трои. (Крокодил)

В требованиях к методике МЭО указывается, что она основана на взаимном доверии

действующих лиц экспертизы. Взаимное доверие является нравственной категорией и легко

разрушается при наличии злого умысла. Анализ нравственных категорий выходит за рамки

настоящей методики. Сделаем лишь одно замечание. История показывает, что перед злым

умыслом не может устоять никакая, в том числе и демократическая система. Тем не менее,

представляется, что демократический механизм все же способствует созданию

высоконравственной атмосферы в трудовом коллективе и подавлению злого умысла.

10.18.2. Социальная справедливость в МЭО оплаты труда

Заслуженный успех приходит к талантам, остальные довольствуются незаслуженным.

(АФ)

Методика МЭО оплаты творческого труда специалистов должна быть социально

справедливой. Понятие «справедливый» трактуется как «действующий беспристрастно, в

соответствии с истиной» [4]. Истина - это знание, отвечающее действительному положению

вещей. Носителями этого знания являются субъекты, в нашем случае - эксперты, которые

компетентны в вопросах, связанных с оценкой трудовой деятельности члена бригады. К

сожалению, субъективные ощущения экспертов весьма различны. Описанная методика МЭО

качества труда является попыткой формализации субъективных ощущений экспертов в виде

функций ЭО. Методика МЭО ТР может считаться социально справедливой настолько, насколько

справедливыми считаются рассмотренные ощущения экспертов, выраженные в их оценках, и

функции этих оценок. Возможно, что большинство участников экспертизы будут считать систему

МЭО справедливой. Вопрос же о том, могут ли эксперты, оценки которых резко отличаются от СВ

оценок, считать подобную систему справедливой, остается открытым.

10.18.3. Применение ПЭВМ для МЭО

Первый закон Джилба. Компьютеры ненадежны, но люди еще ненадежнее. [1]

Методика МЭО ориентирована на использование вычислительной техники. Применение

ПЭВМ позволяет обеспечить тайное голосование, правильность и быстроту расчета результатов

экспертизы. В противном случае обильное количество входящих и исходящих бумаг - опросных

листов и пояснительных записок с многократными повторами (в циклах МЭО) - может отпугнуть

пользователя от идей МЭО.

Автор будет признателен читателям и пользователям за конструктивные замечания и

предложения при обнаружении других «узких мест» и недостатков методики МЭО.

10.18.4. Необходимость использования МЭО.

В эксперты надо взять того, кто считает, что работа займет очень много времени и

обойдется очень дорого. (Из интернета)

Прежде, чем принять решение об использовании процедур МЭОК для производства

экспертизы, необходимо выяснить, какова важность (и срочность) задачи? То есть, настолько ли

важна задача, чтобы тратить время и средства на организацию экспертизы? Может быть, ЛПР

соберутся и без всякой «науки» полюбовно договорятся?

10.19. Определение места оцениваемого объекта в конкурсе.

Угадайте подряд три раза, и заработаете репутацию эксперта. (Из интернета)

В любом конкурсе однотипных объектов по обобщённому критериев качества

(определяемому по совокупности ЧКК) ставится задача расположить конкурирующие объекты по

ранжиру – от лучшего (первое место в конкурсе) до худшего (последнее место в конкурсе). В

методике МЭОК используются статистические ЭО, являющиеся по своей природе случайными

величинами. Поэтому расположение обобщённых ЭО по ранжиру является по существу

задачей проверки статистических гипотез. В настоящей книге эта задача неоднократно

обсуждалась [Р1.2]. Здесь необходимо лишь подчеркнуть, что любые места в конкурсе

совершенно объективно может занять не один, а несколько объектов! В частности, первое

место в конкурсе могут занять те объекты, для которых соответствующие обобщённые ЭОК

различаются статистически незначимо. В первом приближении задачу расположения

обобщённых ЭО по ранжиру можно решать из предположения о нормальном законе

распределения обобщённых ЭО [6, 18; Р1]. Более точное решение возможно непараметрическими

методами [19] и, в частности, методами Эфрона [13; Р1.3].

10.20. Сравнение предлагаемой методики МЭО с существующими

Не плыви по течению. Не плыви против течения. Плыви туда, куда тебе надо.

Названная в заголовке проблема является типичной задачей экспертного оценивания.

Сравнение различных методик МЭОК может понадобиться заказчику для выбора лучшей

методики из известных. В этом случае заказчику необходимо сформулировать частные критерии

качества (ЧКК) методик, организовать экспортный совет (ЭС) с включением в него специалистов в

области разработки и эксплуатации методов МЭОК, провести экспертизу.

Можно рекомендовать заказчику следующее ЧКК методов МЭОК: обстоятельность

изложения процедур МЭОК; степень адаптируемости методики к важности и сложности задач

экспертизы; быстрота проведения экспертизы.

Получаемые в результате обработки экспертных оценок (ЭО) средневзвешенные (СВ)

статистические оценки (СО) характеризуются следующими ЧКК:

-достаточность СВ СО (рассматриваемые СВ СО являются достаточными, если какие-то

другие СВ СО не содержат дополнительной информации об оцениваемых параметрах);

- состоятельность СВ СО (стремление СВ СО к истинным значениям параметров при

увеличении числа экспертов);

- эффективность СВ СО (характеризуется величиной погрешности. Чем погрешность СВ СО

меньше, тем СВ СО эффективнее);

- устойчивость СВ СО (характеризуется нечувствительностью СВ СО к выбросам, или

грубым ошибкам в исходных данных);

- простота СВ СО (характеризуется согласием закона распределения СВ CО с нормальным,

независимостью СВ СО, или некоррелируемостью с другими СО и отсутствием смещения);

- быстрота расчета СВ СО (важность этого ЧКК зависит от наличия у заказчика

вычислительной техники).

Используемые в методиках методы проверки статистических гипотез характеризуются

следующими ЧКК:

- полезность сформулированной гипотезы для решения задач экспертизы;

- мощность используемого критерия (способность критерия безошибочно определить

различающиеся параметры);

- состоятельность критерия (способность критерия к повышению мощности при увеличении

числа экспертов);

-устойчивость критерия (независимость закона распределения статистики критерия от вида

распределения СВ СО).

Программное обеспечение (ПО) ЭВМ в методе МЭОК характеризуется следующими ЧКК:

- простота и скорость обучаемости конечного пользователя (доверенного лица) работе с ПО;

- качество документов ПО (инструкция пользователю; описание контрольного примера,

аннотация ПО и др.);

- сервисные свойства ПО (возможность задавать категорию сложности алгоритма расчетов,

наличие меню, удобство считывания информации с дисплея или с твердого носителя и др.).

Другие ЧКК методик могут характеризовать также степень учета психологических

особенностей экспертов (соответствие возможностей человека как измерительного устройства

условиям получения информации от него), обоснованность математической модели экспертизы,

приспособляемость метода к структуре подразделений заказчика, стоимость экспертизы и др.

При экспертном сравнении разлитых методик МЭОК заказчик кроме обобщенных оценок

качества каждой методики получит наглядное представление о неформальных особенностях

сравниваемых методик.

10.21. Примеры использования методики МЭО

Закон Мескимена. Всегда не хватает времени, чтобы выполнить работу как надо,

но на то, чтобы её переделать, время находится. [1]

10.21.1. МЭО качества творческой работы и уточнение её договорной цены.

Приобретайте бесценные вещи по себестоимости. (АФ)

Заказчик в лице владельца фирмы Проглядова У.Х. и исполнитель в лице руководителя ВТК

Хрулева А.Б. заключили договор об объеме, стоимости и сроке выполнения работы по теме

«Электронное устройство для автоматической корректировки работы дозатора топлива.»

Составлено техническое задание на работу. Необходимо разработать электрическую схему

прибора, подготовить сопроводительные документы к прибору, осуществить монтаж опытного

образца и его наладку.

Установлен срок выполнения работы - четыре месяца. Задержка срока выполнения работы

на один месяц ведет к небольшим издержкам у заказчика; задержка на больший срок недопустима.

Оплата работы выполняется в соответствии с методикой МЭО.

При оформлении договора исполнитель привел ориентировочную смету затрат (табл.1), в

которую была включена ненормируемая часть заработка членов бригады, именуемая здесь

«договорная цена работ» (ДЦР), и определяемая с помощью формулы (7).

Таблица 1

Смета планируемого заработка исполнителей

№

Исполнитель Должность Профессиональ-

ная группа

Планируемое

время, ч

1 Хрулев А.Б. Старший научный сотрудник Творческая 200

2 Мокрецов В.Г. Научный сотрудник Творческая 30

3 Лымарев Д.Е. Лаборант Техническая 100

4 Хомутов Ж.3. Лаборант Техническая 100

№

Должностной

оклад

Поправочный

коэффициент

Итоговый

коэффициент

Планируемый заработок, €

€/ч K

члена бригады группы

1 1,52 1,2 1,2 1,3 1,26 2,36 718

2 1,50 1,2 1,2 1,0 1,26 1,81 82

800

3 0,70 1,0 1,2 1,1 2,13 2,81 197

4 0,70 1,0 1,2 1,1 2,13 2,81 197

394

Ориентировочная смета затрат €

Стоимость радиодеталей 200

Разработка схемы устройства и курирование монтажа 800

Монтаж радиодеталей 394

Ориентировочная ДЦР С

= 1194 € (без учета стоимости радиодеталей; накладные расходы

не учтены, так как пример условный).

Заказчик заявил, что в случае, если ЭС выставит исполнителю за работу среднюю

обобщенную оценку (4,5 баллов), то он заплатит по уточненной ДЦР С

, а за высшую оценку (9

баллов) - двойную цену.

Поэтому для корректировки уточненной ДЦР С

договорились использовать формулу (8) с

параметрами g = 2 и m = 1.

Прошло четыре месяца. В назначенный срок исполнитель представил прибор ЭС. Однако

защита работы была отложена. Эксперты установили, что по ЧКК «безопасность в эксплуатации»

прибор не заслуживает положительной оценки, так как лишен защитного кожуха. (Эксперты

обошлись без формальностей, связанных с установкой соответствия ЧКК работы ограничениям

(29)). Через две недели отмеченный дефект был устранен. Руководителем ВТК была составленная

уточненная смета заработка исполнителей (табл. 2) с учетом фактически отработанного времени.

Таблица 2

Уточненная смета заработка исполнителей

№ Исполнитель Затраченное время, Уточнённый заработок, €

ч исполнителя группы

1 Хрулев А.Б. 150 539 635

2 Мокрецов В.Г. 35 96

3 Лымарев Д.Е. 120 237 395

4 Хомутов Ж.3. 80 158

Уточненная ДЦР составила С

= 1030 €. С результатами работы были ознакомлены

оппоненты - Нихромов Э. Х., и Врядлюнд О. Х., которые представили письменное заключение о

работе. Был собран ЭС, который включал представителей заказчика - Проглядова У. Х.,

исполнителя - Хрулева А. Б. и двух независимых экспертов - оппонентов; избрано ДЛ - Цаплин И.

А. В порядке подготовки к защите работы был предложен, обсужден и дополнен список ЧКК

НИР: Ф

- технологичность (сложность изготовления); Ф

- масса прибора; Ф

- потребительские

свойства (простота пользования); Ф

- компактность прибора; Ф

- качество оформления (монтаж

схемы, внешний вид); Ф

- степень использования недефицитных материалов; Ф

- степень

унификации (количество комплектующих деталей); Ф

- надежность в эксплуатации; Ф

- точность

измерения (допустимая погрешность); Ф

- оригинальность схемных решений; Ф

- срок

выполнения; Ф

- универсальность; Ф

- безопасность в эксплуатации; Ф

- стоимость прибора.

Затем был заслушан доклад исполнителя, состоялась демонстрация работы прибора и

проведена дискуссия. Было решено соблюдать режим секретности оценок экспертов. Экспертизу

начали с оценки уровня компетентности экспертов. ДЛ Цаплин И.А. с помощью таблицы

случайных цифр закодировал фамилии экспертов: Проглядов - 1, Нихромов - 2, Хрулев - 3,

Врядлюнд - 4 (каждый эксперт знает лишь свой код) и раздал опросные листы эксперта по форме

МЭО - 1.

Опросный лист эксперта № 1. Форма МЭО - 1

Предлагается проставить оценки от 0 - никакой ценности до 9 - максимальная ценность

Оценка уровня профессиональной компетентности экспертов

Эксперт Оценка Эксперт Оценка

Проглядов У.Х.

Нихромов Э.Х.

Хрулев А.Б. 8 Врядлюнд 0.Х. 6

(Здесь и ниже приведены опросные листы, заполненные только одним экспертом). По

результатам этого опроса с помощью формулы (2) за три итерации (см. табл.3) получены СВ СО

уровня компетентности экспертов.

Таблица 3

Оценка уровня компетентности экспертов

Код оцениваю-

щего эксперта

Оценка уровня компетентности

оцениваемых экспертов, имеющих код

СВ СО уровня компетентности по

итерациям

1 2 3 4 0 1 2 3

1 9 8 8 6 1 7,75 8,08 8,09

2 6 9 5 3 1 7,00 7,13 7,14

3 7 6 9 6 1 7,50 7,50 7,51

4 9 5 8 7 1 5,25 5,42 5,43

Далее решено было сократить список ЧКК НИР. Для этого экспертам раздали опросные

листы по форме МЭО - 2.

Опросный лист эксперта № 4. Форма МЭО - 2

Предлагается проставить оценки от 0 - никакой важности до 9 - максимальная важность

Оценка важности частных критериев качества прибора

Список ЧКК

Важность 3 3 3

3 3

8 8

5 7

5 7 7

Здесь и в следующих таблицах знаками «-» и «+» отмечены минимальные и максимальные

значения ЭО соответственно.

По результатам этого опроса по формуле (4) вычислили СВ СО важности каждого ЧКК и его

ранг (табл.4) - от наиболее весомого ЧКК (Ф

) до наименее весомого (Ф

). Были определены крайние

значения ЭО важности ЧКК (они отмечены знаками «-» и «+» в табл. 4 и в опросных листах по форме

МЭО - 2, возвращенных экспертам).

Таблица 4

Оценка важности частных критериев качества прибора

Оценка экспертами важности b

каждого ЧКК

Код

эксперта

1 2

6 3

4 3

7 3

7 5

2 4 1

6 7 2- 1- 9

5 9

3 8

3 7

3- 6 5 5+ 3

6- 6

8 9

4 3 3 3

3 3

8 8

5 7

5 7 7

CВ СО

4,0 2,7 5,1 5,3 5,4 3,6 2,5 8,3 7,2 4,7 8,3 4,1 6,7 4,4

Ранг ЧКК 11 13 7 6 5 12 14 1 3 8 2 10 4 9

Итоги оценивания важности ЧКК не вызвали возражений членов ЭС; пояснений крайним

значениям опенок важности ЧКК решили не давать. Для дальнейшего оценивания оставили семь

наиболее весомых ЧКК, оценки важности которых не менее пяти баллов. При оценивании ЧКК

работы было решено определять все оставшиеся ЧКК (кроме Ф

и Ф

) в отношении к лучшим

мировым образцам, условно оцениваемым в восемь баллов.

Для оценки ЧКК работы эксперты заполнили опросные листы по форме МЭО - 3.

Опросный лист эксперта № 2. Форма МЭО - 3

Предлагается проставить оценки от 0 - никакой важности до 9 - максимальная важность

Оценка важности частных критериев качества прибора

ЧКК Ф

Оценка 4

4 6

6 5

По результатам этого опроса (табл.5) по формуле (5) вычислили СВ СО каждого ЧКК, а

затем по формуле (6) - СВ СО ЧКК

12,5a

; по формуле (8) - скорректированную ДЦР:

= 1030 (2·5,12/9)

= 1333 €.

Таблица 5

Оценка частных критериев качества прибора

Оценка экспертов каждого ЧКК

Код эксперта

1 5 2

8 6 3 4 1

2 4

4 6

6 5

3 8

4 5 3 8 4 1

CВ СО 5,5 4,6 7,8 5,1 2,9 4,5 4,6

Итоги оценивания ЧКК вызвали возражения экспертов, особенно тех, чьи оценки резко

отклонялись от СВ (см, табл.5). ДЛ были собраны пояснительные записки экспертов с

обоснованиями крайних оценок. Приведем их.

Эксперт 1 поставил низкую оценку 2 по ЧКК «срок выполнения» Ф

потому, что задержка

срока на две недели привела к сбою графика работ по внедрению прибора - пришлось отложить

командировку специалистов. Эксперт 3 дал высокую оценку 9 по ЧКК Ф

потому, что, по его

сведениям, объект, на который планируется установка прибора, еще не смонтирован. Эксперт 2

поставил низкую оценку 2 по ЧКК «безопасность в эксплуатации» Ф

потому, что обнаружил

плохую изоляцию проводов. Эксперт 3 дал высокую оценку 8 по ЧКК Ф

потому, что прибор

полностью выдержал тестирование на безопасность. Эксперт 2 поставил оценку 1 по ЧКК

«качество оформления» Ф

потому, что на приборе установлены дефицитные детали. Эксперт 3

дал оценку 6 по ЧКК Ф

потому, что в приборе установлены лучшие отечественные (а не

импортные) детали. Эксперт 1 поставил оценку 1 по ЧКК «потребительские свойства» Ф

за то,

что в приборе число ручек управления чрезмерно велико. Эксперт 3 дал оценку 7 по ЧКК Ф

потому, что прибор может точно настраиваться оператором без съёма задней стенки.

В повторном цикле экспертизы решили заново оценить ЧКК Ф

, Ф

, и Ф

. Экспертам

опять раздали опросные листы по форме МЭО - 3 с перечнем четырех ЧКК. По результатам

повторного опроса (табл.6) по формуле (5) уточнили значения четырех СВ СО ЧКК, а затем - по

формуле (6) нашли

07,5a

; по формуле (8) С

= 1307 €.

Таблица 6

Повторная оценка частных критериев качества прибора

Эксперт

1 5 3 3 1

2 7 2 3 2

3 8 7 6 5

4 4 3 2 3

СВ СО 6,1 3,8 3,6 2,7

Уместно отметить, что все максимальные оценки (табл.5) принадлежали эксперту 3,

представителю исполнителей работы, заинтересованному в высоких оценках; минимальные

оценки имелись у всех остальных экспертов. Повторная оценка ЧКК показала (табл. 6), что в двух

случаях эксперт 3 был прав (значения ЧКК Ф

и Ф

стали выше), а в двух – не прав (значения

ЧКК Ф

и Ф

стали ниже). ДЦР во второй итерации была уточнена всего на 2%, поэтому третьего

цикла оценивания решили не проводить.

Итак, СВ СО качества работы составила - 5,07 баллов; ДЦР (с учетом затраченного на

работу времени, должностного оклада работников, девальвации валюты, дефицитности

профессии, срочности и важности работ) была равна 1030 €; поскольку оценка качества работы

оказалась выше средней, уточненная ДЦР увеличилась до 1307 €.

10.21.2. Распределение заработка членов бригады по коэффициентам трудового участия

Уроки жизни даются бесплатно, но дорого обходятся. («Крокодил»)

Упомянутая в примере 1 бригада из четырех человек получила за свою работу С

= 1307 €.

Необходимо разделить эту сумму между членами бригады методом МЭО КТУ.

Действия в примере 2, которые аналогичны действиям, описанным в примере 1, будут

приведены в сокращенной записи.

Собрали ЭС, включающий членов бригады, выбрали ДЛ. Из состава бригады выделили две

однородные профессиональные группы (табл.1). Составили общий список ЧКК работы члена

бригады:

- профессиональная компетентность; Ф

- результативность; Ф

- творческий вклад; Ф

добросовестность; Ф

- инициативность; Ф

- эффективность использования рабочего времени;

- экономия ресурсов; Ф

- помощь товарищам; Ф

- бесперебойность в работе; Ф

обязательность; Ф

- деловитость; Ф

- оперативность.

После самоотчета членов бригады обсудили достоинства и недостатки их работы. Было

обращено внимание на недобросовестность работы Хомутова Ж.3. Доверенное лицо закодировало

фамилии экспертов (табл.3). Для оценки уровня компетентности экспертов были розданы

опросные листы по форме МЭО - 1; результаты оценивания обобщены (табл.7) по формуле (2).

Таблица 7

Оценка уровня компетентности экспертов

j 1 2 3 4

1 8 9

2 9

5 4

3 9

4 4

8,06

8,65

5,00

3,02

Для оценки важности профессиональных групп в бригаде членами ЭС были заполнены

опросные листы по форме МЭО - 4.

Опросный лист эксперта № 4. Форма МЭО - 4

Предлагается проставить оценки от 0 - никакой важности до 9 - максимальная важность

Оценка важности профессиональной группы

№ Группа Важность

1 Творческая 8

2 Техническая 9

По результатам этого опроса (табл.8) по формуле (15) вычислили СВ СО важности

профессиональных групп.

Таблица 8

Оценка важности профессиональных групп

оценки экспертов

группа

1 2 3 4

1 9

8,88

2 5 4

8 9

5,75

Для оценки важности ЧКК работы в каждой профессиональной группе были заполнены опросные

листы по форме МЭО - 5.

Опросный лист эксперта № 1. Форма МЭО - 5

Предлагается проставить оценки от 0 - никакой важности до 9 - максимальная важность

Оценка важности частных критериев качества работы в группах

Группа Ф

Творческая 9 9

8 7 6

3 2

8 3 5 3

Техническая 9

8 2 3 2 6

5 6 8

Результаты этого опроса (табл. 9) обобщены по формулам (16).

Таблица 9

Оценка важности частных критериев качества работы

эксперт Ф

Для творческой группы

1 9 9

8 7 6

3 2

8 3 5 3

2 9 9

8 1

3 9 7

8 7 6

4 9 9

1 1 9