Ехлаков Ю.П. Методы и технологии документационного обеспечения управленческих решений

Подождите немного. Документ загружается.

111

В таблицах 4.15–4.18 приведены расчетные значения ранговых оценок

показателей, характеризующих элементы «Задание» и «Исполнитель» для за-

вода и объединения, и численные значения коэффициентов конкордации.

Таблица 4.15 Таблица 4.16

Ранги экспертных оценок показателей

элемента «Задание» на заводе

Ранги экспертных оценок показателей

элемента «Задание» в объединении

Ранги оценок элементов Ранги оценок элементов

№ п/п 1 2 3 4 5 № п/п 1 2 3 4 5

1 5 2 1 3 4 1 3 3 3 3 3

2 4,5 2 1 3 4,5 2 4,5 1,5 4,5 3 1,5

3 2,5 4 1 5 2,5 3 4,5 2,5 1 2,5 4,5

4 2,5 2,5 4,5 1 4,5 4 4,5 3 1 2 4,5

5 4 4 2 1 4 5 3 1,5 4,5 4,5 1,5

6 4 4 1 2 4 6 4,5 2,5 1 2,5 4,5

7 5 2 2 2 4 7 5 3 3 1 3

8 4,5 4,5 1,5 1,5 3 8 4 2 1 5 3

9 4 4 1 2 4 9 4,5 2,5 1 2,5 4,5

10 5 3,5 1 2 3,5 10 3 2 1 5 4

11 4,5 2 1 3 4,5 11 4,5 2 1 4,5 3

Эксперты

12 4 4 1 2 4

Эксперты

12 4.5 2 1 3 4.5

Коэффициент конкордации: W = 0,546.

208,26487,9

табл

<=χ

Гипотеза принимается.

Коэффициент конкордации: W = 0,377.

096,18487,9

табл

<=χ

Гипотеза принимается.

Таблица 4.17 Таблица 4.18

Ранги экспертных оценок показателей

элемента «Исполнитель» на заводе

Ранги экспертных оценок показателей

элемента «Исполнитель» в объединении

Ранги оценок элементов Ранги оценок элементов

№ п/п 1 2 3 4 5 № п/п 1 2 3 4 5

1 3 4 1 5 2 1 4 4 1 2 4

2 1,5 4,5 1,5 4,5 3 2 4,5 2,5 4,5 1 2,5

3 3 3 3 5 1 3 4 4 1 2 4

4 2 3,5 3,5 1 5 4 4,5 1,5 3 1,5 4,5

5 3 4,5 2 1 4,5 5 4,5 3 4,5 1,5 1,5

6 1,5 4,5 1,5 4,5 3 6 4 2 1 4 4

7 1,5 3,5 3,5 5 1,5 7 3 1,5 1,5 4,5 4,5

8 1 4,5 2,5 2,5 4,5 8 2,5 2,5 1 4,5 4,5

9 3 1 3 3 5 9 4,5 1 2 3 4,5

10 1,5 4,5 1,5 4,5 3 10 3 3 3 5 1

11 2 4 1 4 4 11 2,5 2,5 1 4,5 4,5

Эксперты

12 2 4 4 4 1

Эксперты

12 3 1 2 4 5

Коэффициент конкордации W = 0,268.

864,12487,9

табл

<=χ

Гипотеза принимается.

Коэффициент конкордации W = 0,240.

52,11487,9

табл

<=χ

Гипотеза принимается.

112

Для краткости описания во всех таблицах не указаны содержательные

формулировки элементов «Задание», но оставлена та же нумерация столб-

цов, что и в исходных таблицах 4.11–4.14. То же касается и наименования

должностей персонала организаций, принимавших участие в экспертном

оценивании. Перевод коэффициентов конкордации из количественной оцен-

ки в качественную будет производиться в соответствии с рекомендациями

[4]: коэффициент конкордации ниже уровня 0,3 (связь слабая); от 0,3 до 0,5

(связь умеренная); от 0,5 до 0,7 (связь заметная); от 0,7 до 0,9 (связь высо-

кая); более 0,9 (связь очень высокая.

Анализ численных значений коэффициентов конкордации показывает,

что по элементу «Исполнитель», как по заводу, так и по объединению, связь

между экспертами слабая (

W = 0,268, W = 0,240), в то время как по элементу

«Задание» связь для завода заметная (W = 0,546), а для объединения умерен-

ная (

W = 0,377).

Полученные результаты позволяют сделать следующие предположения:

• предмет экспертизы непонятен, и оценки, проставленные элемен-

там, имеют непредсказуемый характер;

• предмет экспертизы понятен, но существует устойчивое расхожде-

ние во мнениях между различными группами персонала.

Для подтверждения либо опровержения одного из предположений

приведем числовые значения средних групповых оценок элементов «Испол-

нитель» и «Задание» на заводе и в объединении (рис. 4.22, 4.23).

Анализ гистограммы показывает, что для обоих случаев просматри-

ваются одинаковые закономерности вплоть до полного совпадения оценок

по четырем показателям элемента «Исполнитель» и пяти показателям эле-

мента «Задание». Расхождения же в оценках показателей «Точность в сро-

ках выполнения конкретного задания», «Категория исполнителя конкретно-

го задания» и «Уровень агрегированности задания», учитывая качественное

содержание этих показателей, можно интерпретировать как различие подхо-

дов коллективов завода и объединения к оценке значимости данных показа-

телей.

0,25

0,15

0,2

0,25

Оценки

завода

Оценки

объединения

1 2 3 4 5

Рис. 4.22. Гистограмма средних групповых оценок показателей, характеризующих

элемент «Исполнитель»: 1 — точность в сроках выполнения конкретного задания;

2 — категория исполнителя задания; 3 — качество выполнения задания;

4 – напряженность труда исполнителя; 5 — стабильность выполнения заданий

0,24

0,2

113

Вышеизложенное позволяет сделать вывод, что более верным являет-

ся второе предположение — предмет экспертизы понятен, но существует

устойчивое расхождение во мнениях между различными группами персонала.

Дальнейшие исследования направлены на выявление существующих

группировок экспертов и причин их формирования (появления). Для этого

выделим и экспериментально подтвердим (либо опровергнем) наличие сле-

дующих группировок:

• руководители высшего уровня (главный инженер, заместитель ди-

ректора);

• руководители среднего уровня (начальники цехов);

• руководители низшего уровня (мастера, начальники лабораторий,

специалисты).

В таблицах 4.19 и 4.20 приведены сводные ранговые коэффициенты

по заводу и объединению для элементов «Задание» и «Исполнитель» соот-

ветственно.

Таблица 4.19 Таблица 4.20

Ранги оценок сводной группы

руководителей по элементу «Задание»

Ранги оценок сводной группы

руководителей по элементу «Исполнитель»

Ранги оценок элементов

№ п/п 1 2 3 4 5

1 4,5 2,5 1 2,5 4,5

1 4 4 1 2 4

2 4,5 2,5 1 2,5 4,5

2 4 2 1 4 4

3 4 2 1 5 3

3 2.5 2.5 1 4.5 4.5

4 4,5 2 1 4,5 3

4 2.5 2.5 1 4.5 4.5

5 4,5 2 1 3 4,5

5 1.5 4.5 1.5 4.5 3

Эксперты

6 4,5 2 1 3 4,5

Эксперты

6 2 4 1 4 4

Коэффициент конкордации: W = 0,836.

064,20487,9

табл

<=χ

Гипотеза принимается.

Коэффициент конкордации: W = 0,663.

912,15487,9

табл

<=χ

Гипотеза принимается.

0,25

0,16

Оценки

завода

Оценки

объединения

1 2 3 4 5

Рис. 4.23. Гистограмма средних групповых оценок показателей, характеризующих

элемент «Задание»: 1 — уровень инновационности; 2 — источник инициирования;

3 — степень влияния результатов исполнения задания; 4 — ресурсоемкость

реализации задания; 5 — уровень агрегированности

0,23

0,34

0,35

0,1

0,2

114

Анализ результатов показывает, что в данном эксперименте получены

наиболее высокие коэффициенты конкордации, подтверждающие предпо-

ложение о высокой степени согласованности экспертов высших руководи-

телей завода и объединения на проблему исполнительской деятельности.

Наличие группировок подтверждают и результаты, полученные мето-

дами кластерного анализа (рис. 4.24, 4.25).

Спе

иалисты

Мастер

Начальник

лаборат

рии

Начальник

отдела

Главный

инжене

Рис. 4.24. Диаграмма группировок суждений экспертов завода по элементу «Задание»

Спе

иалисты

Начальник

смены

Начальник

отдела

Начальник

це

Заместитель

ди

екто

Начальник

отдела

Начальник

дела

Главный

инжене

Главный

механик

Главный

хгалте

Специалисты

Рис. 4.25. Диаграмма группировок суждений экспертов объединения

по элементу «Задание»

Главный

энергетик

Начальник

отдела

Специалисты

Заместител

генеральног

ди

екто

Начальник

ру

ппы

Начальник

отдела

Заместител

генеральног

ди

екто

115

Четко выделяются группы руководителей низшего уровня и специали-

стов, заместителей генерального директора. Существуют различия сужде-

ний между заместителями директоров и главным инженером, причем вокруг

главного инженера группируются его подчиненные: главный энергетик,

главный механик. Оценки начальников отделов не представляют отдельный

кластер, а как бы «перебегают» от одной группы к другой. Скорее всего, это

говорит о подчиненности разных отделов тому или иному руководителю и

наличии соответствующей этому позиции.

Но тем не менее на основе проведенных расчетов коэффициентов кон-

кордации и построенных диаграмм кластерного анализа можно утверждать,

что выдвинутая гипотеза не отвергается, то есть можно утверждать:

• суждения руководителей и специалистов любой организации о зна-

чимости того или иного элемента дерева исполнительской деятельности

имеют различия, которые связаны с положением члена коллектива органи-

зации в иерархии управления и соответствующим взглядом на проблему ис-

полнительской деятельности

;

• при экспертном оценивании элементов дерева исполнительской

деятельности мнения персонала имеют тенденцию к группировке согласно

уровням иерархии организационной системы. Наиболее наглядно проявля-

ются группировки персонала высших уровней иерархии и низших. Предста-

вители средних уровней иерархии не имеют ярко выраженных собственных

группировок и примыкают либо к первой, либо ко второй из четко обозна-

чивших себя группировок персонала

С одной стороны, можно утверждать, что оценки значимости показа-

телей и параметров исполнительской деятельности, полученные в результа-

те экспертизы, различаются и зависят от миссии организации, культуры

персонала, традиций организации и т.д., с другой стороны, можно предпо-

ложить существование общих тенденций в соотношениях значимости эле-

ментов исполнительской деятельности во всех организациях, принимавших

участие в экспертном оценивании.

Гипотеза 2. Отличия в оценках элементов дерева исполнительской

деятельности разных организаций зависят от области деятельности органи-

зации, миссии организации и других ее особенностей. В целом же сущест-

вует общая тенденция в определении соотношения элементов исполнитель-

ской деятельности по значимости между собой.

Для проверки второй гипотезы сведем экспертные оценки, получен-

ные от всех организаций (завода, объединения, администрации, ТУСУРа(1),

ТУСУРа(2), ТГУ), в две таблицы: по элементу «Задание» (табл. 4.21); по

элементу «Исполнитель» (табл. 4.22).

116

Таблица 4.21

Групповые экспертные оценки всех организаций по элементу «Задание»

Экспертные оценки показателей элемента «Задание»

1 2 3 4 5

Эксперты

Уровень

инноваци-

онности

Источник

иницииро-

вания

Степень

влияния

результатов

Ресурсоем-

кость реа-

лизации

Уровень

агрегиро-

ванности

1 Администрация 0,19 0,20 0,29 0,23 0,09

2 Завод 0,1 0,25 0,35 0,2 0,1

3 Объединение 0,1 0,23 0,34 0,17 0,16

4 ТУСУР(1) 0,21 0,24 0,20 0,22 0,13

5 ТГУ 0,24 0,17 0,27 0,21 0,11

6 ТУСУР(2) 0,21 0,19 0,30 0,15 0,15

Таблица 4.22

Групповые экспертные оценки всех организаций по элементу «Исполни-

тель»

Экспертные оценки показателей элемента «Исполнитель»

1 2 3 4 5

Эксперты

Точность

в сроках

выполнения

задания

Категория

исполните-

ля конкрет-

ного зада-

ния

Качество

выполнения

конкретного

задания

Напряжен-

ность тру-

да испол-

нителя

Стабильность

выполнения

заданий

1 Администрация 0,28 0,13 0,33 0,14 0,12

2 Завод 0,24 0,13 0,25 0,2 0,18

3 Объединение 0,15 0,2 0,25 0,2 0,2

4 ТУСУР(1) 0,16 0,14 0,28 0,19 0,23

5 ТГУ 0,19 0,11 0,33 0,17 0,2

6 ТУСУР(2) 0,23 0,17 0,32 0,12 0,16

В ходе сравнения групповых оценок различных организаций для под-

тверждения либо опровержения второй гипотезы вычислим коэффициенты

конкордации для следующих видов оценок:

• групповых оценок всех организаций по показателям элемента «Зада-

ние»;

• групповых оценок всех организаций по показателям элемента «Ис-

полнитель».

Кроме того, сформируем диаграммы:

• групповых оценок всех организаций по показателям элемента «Зада-

ние»;

• групповых оценок всех организаций по показателям элемента «Ис-

полнитель».

В таблицах 4.23 и 4.24 представлены ранговые оценки, рассчитанные

по сводной выборке всех организаций.

117

Таблица 4.23 Таблица 4.24

Ранги групповых оценок

организаций по элементу «Задание»

Ранги групповых оценок организаций

по элементу «Исполнитель»

Ранги групповых оценок

анги групповых оценок

Организация 1 2 3 4 5 Организация 1 2 3 4 5

Администрация 4 3 1 2 5 Администрация 2 4 1 3 5

Завод 4,5 2 1 3 4,5 Завод 2 5 1 3 4

Объединение 5 2 1 3 4 Объединение 5 3 1 3 2

ТУСУР(1) 3 1 4 2 5 ТУСУР(1) 4 5 1 3 2

ТГУ 2 4 1 3 5 ТГУ 3 5 1 4 2

ТУСУР(2) 2 3 1 4,5 4,5 ТУСУР(2) 2 3 1 5 1

Коэффициент конкордации: W = 0,555.

32,13487,9

табл

<=χ

Гипотеза принимается.

Коэффициент конкордации: W = 0,597.

328,14487,9

табл

<=χ

Гипотеза принимается.

Анализ коэффициентов конкордации показывает, что согласие груп-

повых оценок достаточно заметно и не зависит от того, что одни организа-

ции представляют производственную сферу, другие — органы территори-

ального управления, а учреждения образования представлены студентами.

Это позволяет сделать следующий вывод:

общее понимание пред-

метной области экспертного оценивания в различных организациях и

социальных группах существует.

В таблицах 4.25 и 4.26 представлены результаты обработки мнений

экспертов завода, объединения и администрации.

Таблица 4.25 Таблица 4.26

Ранги оценок по элементу «Задание»

(администрация, завод, объединение)

Ранги оценок по элементу «Исполнитель»

(администрация, завод, объединение)

Ранги оценок элементов Ранги оценок элементо

Организация 1 2 3 4 5 Организация 1 2 3 4 5

Администрация 4 3 1 2 5 Администрация 2 4 1 3 5

Завод 4,5 2 1 3 4,5 Завод 2 5 1 3 4

Объединение 5 2 1 3 4 Объединение 5 3 1 3 3

Коэффициент конкордации: W = 0,920.

04,11487,9

табл

<=χ

Гипотеза принимается.

Коэффициент конкордации: W = 0,642.

704,7487,9

табл

>=χ

Гипотеза не принимается (при уровне

значимости

05,0=α

Из таблицы 4.25 видно, что имеется, практически, полное согласие

экспертов всех указанных организаций. В таблице 4.26 по элементу «Испол-

нитель» коэффициент конкордации ниже, но тем не менее весьма заметен.

Хотя при статистической значимости расчетного коэффициента гипотеза о

согласии не принимается. Это можно объяснить следующим образом: во-

первых, значение 3=

критично при подтверждении гипотезы о согласии,

если результат расчета коэффициента не будет уверенно констатировать

118

связь, близкую к очень высокой; во-вторых, при проверке гипотезы выбран

достаточно высокий порог (05,0

) уровня значимости. Если ослабить

требования к уровню значимости, то гипотезу о согласии в ее практическом

понимании для целей данного исследования не имеет смысла отвергать.

Следовательно, для экспертов, представляющих реально работающие

организации, можно говорить не только об общем понимании предметной

области, но и о высокой степени схождения мнений по значимости того или

иного элемента дерева исполнительской деятельности.

На рис. 4.26 и 4.27 приведены результаты обработки экспертной ин-

формации методом кластерного анализа.

1,0

1,5

2,0

3,5

5,0

5,5

ТУСУР

(

)

Объединение

Завод

ТУСУР(1)

ТГУ

Администрация

Рис. 4.26. Диаграмма группировки организаций по элементу «Задание»

1,5

2,0

3,0

4,0

4,5

5,0

6,0

Объединение

ТГУ

ТУСУР(1)

Завод

ТУСУР

(

)

Администрация

Рис. 4.27. Диаграмма группировки организаций по элементу «Исполнитель»

119

Первая диаграмма (см. рис. 4.26) показывает наличие группировок по

области профессиональной деятельности: производственные предприятия

— четко сформировавшийся кластер; отдельно — администрация города и

два высших учебных заведения; только ТУСУР(2) «тяготеет к производст-

венникам».

Диаграмма группировки организаций по элементу «Исполнитель» (см.

рис. 4.27) несколько меняет акценты формирования кластеров, но, как и в

предыдущей диаграмме, имеются два четко различимых кластера: первый

— с присутствием завода и объединения, то есть производственных пред-

приятий; второй — с администрацией. Эксперты этих организаций доста-

точно опытны (большой трудовой стаж и высокий профессионализм). Экс-

перты-студенты высших учебных заведений демонстрируют понимание

предметной области экспертного оценивания, но неустойчивое в силу отсут-

ствия определенного практического опыта.

Полученные результаты позволяют сделать следующий вывод:

суж-

дения экспертов зависят от области деятельности организации, мис-

сии организации и других особенностей, что проявляется некоторым

отличием в предпочтениях и оценках экспертов различных по роду дея-

тельности организаций.

Наиболее сильно эти суждения расходятся по показателю «Уровень

инновационности» элемента «Задание». В столбцах гистограммы (рис. 4.28)

указаны средние групповые числовые значения этого показателя для раз-

личных организаций. Содержание гистограммы красноречиво говорит об

отношении к новациям в представленных организациях.

Понятно, что на заводе или в производственном объединении уделяют

недостаточное внимание важности научно-исследовательских и опытно-

кон-структорских разработок. Эти коллективы призваны обеспечивать вы-

пуск уже устоявшегося конечного продукта. Атмосфера высшего учебного

заведения «пропитана» готовностью воспринимать, генерировать новые

0,24

0,21 0,21

0,19

0,1

ТГУ

ТУСУР(1)

ТУСУР(2)

Админи-

страция

Объеди-

нение

Завод

Рис. 4.28. Гистограмма групповых оценок показателя «Уровень инновационности»

элемента «Задание» по организациям

0,1

120

знания и объекты научного творчества. Сотрудник аппарата территориаль-

ного управления должен не только поддерживать имеющееся состояние

объекта управления, но и принимать решения, соответствующие потребно-

стям развития территории, во многом связанного с быстро происходящими в

настоящее время изменениями в системе управления [64].

Вывод о наличии группировок по уровням иерархии управления тре-

бует экспериментальной проверки корректности предложенного метода

«директивного» задания весов экспертов в зависимости от занимаемой

должности [51]. Наивысший вес получает первый руководитель, руководи-

тели второго уровня иерархии имеют меньшие веса, третий уровень — еще

меньше и так далее.

Сравнение будем проводить методом апостериорного получения веса

эксперта, описанного в [48]. По идее авторов, в основе вычисления лежит

предположение, что вес эксперта должен оцениваться по степени согласо-

ванности его оценок с групповой оценкой объекта.

Введем следующие обозначения:

x — оценка объекта, где i — но-

мер объекта (

ni ,,3,2,1 Κ= ); j — номер эксперта ( mj ,,3,2,1 Κ

);

k —

весовой коэффициент (вес) эксперта j на итерации

( Κ,3,2,1

Определение веса производится по алгоритму, имеющему вид рекур-

рентной процедуры:

),,3,2,1(,

nikxx

jji

Κ==

∑

−

; (4.12)

),3,2,1(,

Κ==λ

∑∑

txx

iji

; (4.13)

∑∑

iji

mjkxxk

),,3,2,1(,1;

Κ . (4.14)

Вычисления на первой итерации начинаются с 1

. В формуле расче-

та групповой оценки объекта (4.12) начальные значения веса эксперта при-

нимаются одинаковыми и равными

= , при котором групповые оценки

первой итерации будут равны средним арифметическим значениям оценок

экспертов

∑

( ni ,,3,2,1

= ), затем по (4.13) вычисляется величи-

на

∑∑

=λ

iji

и значение весов экспертов по формуле (4.14)

∑

ijij

xxk

Используя веса экспертов, полученные на первой итерации, можно

повторить процесс вычисления по формулам (4.12)–(4.13) и получить значе-