Варжапетян А.Г. Квалиметрия: Учебное пособие

Подождите немного. Документ загружается.

На основании результатов, приведенных в табл. 4.5, можно опре

делить обобщенное мнение экспертов в виде вероятностей попадания

оцениваемой величины в заданный интервал с помощью выражения

jl j

(4.5)

В качестве результирующей оценки обычно принимается медиана

полученного распределения T

, определяемая из условия

£ T

) = 0,5. (4.6)

Статистическая значимость может быть оценена по величине диа

пазона квартилей Dq = q(0,75) – q(0,25), при этом оценка считается

значимой, если диапазон квартилей в 3,2 раза меньше всего интерва

ла допустимых значений показателя.

Пример 4.2. Рассмотрим оценку показателя качества внешнего

вида переносного транзисторного приемника. Для этого примем 100

балльную систему оценки от 0 до 100. Разобьем интервал на 10 рав

ных отрезков: 1 – 10; 11–20;…;91–100. Затем 7 выбранным экспер

там предложим высказать свое мнение путем оценки вероятности по

падания в один из интервалов при соблюдении обязательного усло

вия равенства суммарной вероятности единице.

Таблица 4.6

Результаты оценки внешнего вида приемника

01–102–1103–1204–1305–1406–1507–1608–1709–18001–19

10 0 50,050,01,02,03,03,000

20 0 0 0 1,02,04,02,01,00

31,01,01,01,01,01,01,01,01,01,0

40 0 0 0 2,03,03,0

2,0

50 0 50,050,01,01,05,01,050,050,0

600000 52,05,052,000

70 0 0 50,050,02,04,02,

01,00

410,0410,0820,0630,0390,0391,034,0391,050,0120,0

Результаты экспертизы представим в табл. 4.6, считая, что ком

петентность экспертов одинакова и равна единице. Используя вы

ражение (4.5), определим обобщенное значение вероятности, при

веденное в последней строке табл. 4.6. Медианой распределения

обобщенной оценки будет являться интервал 61–70. Таким обра

зом, в качестве результирующей оценки может быть принята оцен

ка 65 или в десятибалльной шкале оценка 7,25% всех наблюде

ний соответствует квартилю 0,45, а 75% всех наблюдений квар

тилю 0,7. Отсюда их разность 0,25, что указывает на значимость

полученных результатов.

Метод строгого ранжирования

1. Изменение рангов от 1 до 0.

Качество информации повышается, если результат измерения

представлен ранжированным рядом, имеющим смысл, если объекты

экспертизы имеют одинаковую природу.

Порядок действия при этом таков:

1. Объекты располагаются в порядке их предпочтения. Место, за

нятое объектом, называется рангом.

2. Наиболее важному объекту приписывается балл (весовой коэф

фициент), равный 1, всем остальным в порядке уменьшения от 1 до

0. При этом чаще всего используют обратную шкалу оценок Харрин

гтона (табл. 4.7).

Таблица 4.7

Обратная шкала Харрингтона

п.п№яицадарГеинечанзеоволсиЧ

1яакосывьнечО0,1–8,0

2яакосыВ8,0–46,0

3яяндерС46,0–73,0

4яакзиН73,0–2,0

5яакзиньнечО2,0–0,0

3. Сопоставляется первый объект с совокупностью всех осталь

ных, если он предпочтительнее, то результат измерения в баллах

корректируется в сторону увеличения и наоборот.

4. Сопоставляется второй объект и так далее до последнего

объекта.

5. Полученные результаты нормируют, они принимают значе

ния от 0 до 1, а их сумма равна 1.

Тогда

(4.7)

где G

– коэффициент весомости jго показателя в баллах, оценивае

мый iм экспертом; m – число объектов; N – количество экспертов.

Пример 4.3. Мнение пяти экспертов выражено следующим обра

зом (табл. 4.8).

Таблица 4.8

Расположение объектов

ызитрепскэткеъбО1234567

Построить ранжированный ряд и определить весомость членов

ряда.

Решение:

= 4 + 6 + 4 + 4 + 3 = 21

= 3 + 3 + 2 + 3 + 4 = 15

= 2 + 2 + 1 + 2 + 2 = 9

= 6 + 5 + 6 + 5 + 6 = 28

= 1 + 1 + 3 + 1 + 1 = 7

= 5 + 4 + 5 + 6 + 5 = 25

= 7 + 7 + 7 + 7 + 7 = 35

S 140

Результат многократного измерения приводит к ряду:

< Q

По формуле (4.7) рассчитаем конкретные значения коэффициен

тов:

= 21/140 = 0,15; q

= 15/140 = 0,11; q

= 9/140 = 0,06;

= 28/140 = 0,2; q

= 7/140 = 0,05; q

= 25/140 = 0,18;

= 35/140 = 0,25.

q 1

Мнение экспертов можно выразить в форме таблиц попарного со

ответствия. При попарном соответствии достаточно одной полови

ны таблицы вверх от диагонали. Предпочтение при этом выражается

номером предпочтительного объекта. Балл или весомость рассчиты

ваются по формуле (4.7), модифицированной в виде

, где G

–

коэффициент весомости jго показателя iм экспертом; F

– частота

предпочтения iм jго объекта; С – общее число суждений одного экс

перта, связанного с числом объектов:

(1)

Пример 4.4. Предположим для простоты, что 5 экспертов выска

зались о 6 объектах одинаково (табл. 4.9).

Таблица 4.9

Данные о мнениях экспертов

аткеъбо№123456

1–13111

2–3222

3–333

4–56

5–6

6–

Определить весомость и построить ряд.

1. Частоты предпочтений.

11 11 11

123

45 6

435

0,8; 0,6; 1;

555

01 2

0; 0,2; 0,4.

55 5

iii

ii i

FFF

FF F

2. Общее число суждений

6(6 1)

С 15.

3. Балл по общему мнению

22 3 4 5 6

0,8 0,8 0,8 0,8 0,8

0,27;

15 15 15 15 15

0,2; 0,33; 0; 0,07; 0,13;

tq q q q q

11 22221

11 1 1 1 1

(значения G

уже нормированы и поэтому могут использоваться как q

4. Ранжированный ряд

> Q

Опыт попарного сопоставления (табл. 4.9) показывает, что в силу

особенностей человеческой психики эксперты бессознательно отда

ют предпочтение не более важному в паре объекту, а первому. Чтобы

этого избежать используют свободную часть и сопоставляют через

некоторое время объекты в обратном порядке. При таком сопостав

лении, называемом полным или двойным, удается:

а) избежать случайных ошибок;

б) выявить экспертов, не имеющих собственного мнения или от

носящихся к обязанностям небрежно, порядок расчетов остается пре

жним за исключением того, что 1 1 2(1).mm

Уточнить результаты, полученные попарным сопоставлением,

можно методом последовательного приближения: первоначальные

результаты (см. п. 3 примера 4.4) рассматриваются как первое при

ближение. Во втором приближении они рассматриваются как коэф

фициенты G

(2) суждений экспертов, новые рассматриваются как

(3) и так далее. Согласно теореме Перрона – Фробениуса этот про

цесс практически всегда сходится и нормированные результаты из

мерений q

стремятся к постоянным величинам, строго отражающим

соотношение между объектами при заданных исходных данных.

Пример 4.5.

В табл. 4.10 представлены результаты полного попарного сопос

тавления одним экспертом 5 объектов экспертизы. Причем предпоч

тение jго объекта перед iм обозначается 2, равенство объектов 1,

предпочтение iго перед jм равно 0.

Найти результат 3го приближения. При числе экспертов m необ

ходимо переходить к методике многократного измерения.

Таблица 4.10

Попарное сопоставление одним экспертом

12345

)1( q

)1( G

)2( q

)2( G

)3( q

)3(

112 212 8 23,063593,0421534,0

20 1 222 7 82,072792,038192,0

30 0 100 1 40,01 110,0140,0

410 212 6 42,022242,007642,0

50 0 201 3 21,05 550,07420,0

1. В первом приближении

(1) = 1+2+2+1+2 = 8; G

(1) = 7, G

(1) = 1, G

= 6; G

= 3;

(1) = 0,32; q

(1) = 0,28; q

(1) = 0,04; q

(1) = 0,24; q

= 0,12;

(1) = 1.

2. Второе приближение (столбец G

(1) множится на строку).

(2) = 8·1+7·2+1·2+6·1+3·2 = 36,

(2) = 8·0+7·1+1·2+6·2+3·2 = 27,

(2) = 8·0+7·0+1·1+6·0+3·0 = 1,

(2) = 8·1+7·0+1·2+6·1+3·2 = 22,

(2) = 8·0+7·0+1·2+6·0+3·1 = 5,

(2) = 36/91 = 0,315; q

= 0,297; q

= 0,011; q

= 0,242;

= 0,055.

3. Третье приближение (столбец G

(2) множится на строку).

(3) = 36·1+27·2+1·2+22·1+5·2 = 124,

= 83; G

= 1; G

= 70; G

= 7.

4. Значения q

(табл. 4.10) отличаются в каждом приближении.

Первый объект подчеркивает свое превосходство, а 3й и 5й имеют

все меньшую значимость.

Метод последовательного приближения, позволяет получить стро

гие количественные измерения по шкале отношений, во сколько раз

лучший превосходит худший. В этом случае через это отношение a

предпочтение jго перед iм выражается числом 1+D, равноценность

1, а предпочтение iго перед jм числом 1–D, где

10,05

1 m

1 2

3 4 5

1 5

(4.8)

После этого попарное сопоставление производится методом пос

ледовательного приближения. Процесс уточнения q

продолжается,

пока точность не достигнет заданной

() ( 1) ,

qk qk1123

(4.9)

где обычно e принимают равным e = 0,001, если 1 < a £ 1,5 и e = 0,01,

если a > 5. При промежуточных значениях a выбирают промежуточ

ные значения e.

После окончания расчетов фактическое отношение значений по

казателей крайнего члена ранжированного ряда a

сравнивают с ис

ходным a, если

23 4

, задача решена, в противном – корректи

руется значение точности

10,05

1 m

3 4

567 8

9

3 8



и расчет повторяется.

2. Значения рангов от 0 до числа рассматриваемых объектов

При этом методе разным экспертам, независимо друг от друга, пре

доставляется ряд объектов. Эксперт определяет ранг объекта, в за

висимости от номера предпочтения. Так, лучшему объекту присваи

вается ранг, равный единице, следующему в ряду предпочтений ранг,

равный двум и т. д. Предположим, что в результате работы S экспер

тов получены результаты оценки N объектов, сведенные в табл. 4.11.

В последней строке таблицы выставляется сумма рангов, полу

ченная каждым объектом, определяемая из выражения

iij

Rr1

(4.10)

Упорядочивание объектов производится в соответствии с величи

ной R

, причем на первое место ставится объект, набравший мень

шую сумму R

Степень согласованности мнений экспертов определяется при по

мощи коэффициента конкордации V. При использовании метода стро

гого ранжирования, когда у объектов отсутствуют равные ранги, ве

личина коэффициента конкордации определится из выражения

12 ( 1/2 ( 1))

()

RSn

Sn n

1 2

(4.11)

Можно показать, что при полной согласованности мнений экспертов,

когда все ранжирования всех экспертов полностью совпадают, коэффици

ент конкордации равен единице. С другой стороны, при полном расхожде

нии, сумма рангов объектов будет стремиться к среднему значению:

(1)/2,RSn12

(4.12)

а коэффициент конкордации будет стремиться к нулю и при четном

S(n+1) равняться нулю. Считается, что согласованность достаточ

на, как только коэффициент конкордации превышает значение 0,5.

Пример 4.6. Экспертиза проведена для оценки композиции внеш

него вида переносных магнитофонов, подготовленных к выпуску тре

мя радиозаводами. Ввиду сложности количественной оценки был при

менен метод строгого ранжирования. Семи экспертам независимо друг

от друга были предъявлены 4 магнитофона, три вновь созданных и

один лучший из выпускаемых. С целью исключения влияния недо

бросовестности экспертов наилучшая и наихудшая оценки суммы

рангов в каждом столбце, не учитывались. При равенстве рангов ис

ключалось только по одной наилучшей и худшей оценке (данные взя

тые в скобки). Результаты экспертизы сведены в табл. 4.12.

В результате обработки данных экспертизы можно сделать вы

вод, что магнитофон Б имеет наилучшую композицию внешнего вида,

уже выпускаемый магнитофон А занимает последнее место. Чтобы

подтвердить этот вывод, определим коэффициент конкордации, ис

Таблица 4.11

Определение рангов объектов

ытрепскЭ

ыткеъбО

12…

…

…...………

…

вогнар

…

пользуя (4.11). Значение коэффициента V равно 0,62, что свидетель

ствует об удовлетворительной согласованности.

Рассмотренные методы обработки экспертной информации не ис

черпывают всех возможностей анализа. Методы постоянно совер

шенствуются, причем многие из них уже поддерживаются имеющим

ся программным обеспечением. В заключение параграфа повторим

некоторые полезные рекомендации. Единственное, что нужно иметь

в виду всегда, это то, что качество многомерно и модель качества иног

да приходится упрощать, что приводит к ошибкам. Кроме того, ис

точником ошибок является неверное использование шкал, при этом

необходимо иметь в виду два правила:

1. Если сравнение объектов проводится по некоторой измеритель

ной шкале, то использовать при анализе более информативную шка

лу не нужно.

2. Сравнение двух объектов по выбранной измерительной шкале

невозможно, если хотя бы один показатель определен по менее ин

формативной шкале.

Отсюда следует вывод: сравнение объектов и определение их по

казателей качества должно производиться по одной и той же изме

рительной шкале.

4.4. Выбор эталона при экспертном оценивании

Одним из важных этапов подготовки экспертизы вообще про

цесса квалиметрической оценки является установление и выбор

базового образца или эталона. Причем понятия базовый образец и

эталон не всегда могут совпадать. Порой нельзя выбирать в каче

Таблица 4.12

Результаты экспертизы

ытрепскЭ

ынофотингаМ

АБ ВГ

)4()1(

2312

)4(

)2()1(

44132

)1(

)4(

64132

7324

)1(

вогнар

817 51

100

стве эталона образец самого высокого уровня (лучший мировой

образец), что приведет к непомерным затратам и может не соответ

ствовать возможностям предприятия. С другой стороны, нельзя

принимать в качестве базового образца образец низкого качества,

так как это не будет стимулировать должных темпов роста. И то, и

другое не соответствует общественным потребностям. Поэтому

задача выбора эталонного или базового образца в квалиметрии

носит сложный характер и весьма ответственна. При этом необхо

димо следовать простым правилам:

– образец не может быть признан базовым, если при равенстве

единичных показателей качества, по сравнению с исследуемыми об

разцами, он обладает хотя бы одним показателем, худшим, чем у

сравниваемого.

– из нескольких образцов, в ряду сравниваемых, остаются те, ко

торые при равенстве единичных показателей имеют некоторые пока

затели лучше, чем у другого.

Выбор эталонного или базового образца включает следующие ос

новные этапы:

– сбор и анализ данных о наиболее известных и рыночно продви

нутых изделиях,

– выбор набора показателей для сопоставления,

– обоснование выбора базового образца из множества аналогов и

выбор метода оценки.

Естественно, при этом должны учитываться такие факторы, как

функциональное назначение, условия эксплуатации, принцип дей

ствия, группы потребителей и т.п. При этом должны использоваться

методы комплексной оценки (разд. 2).

Базовые образцы делятся на три группы:

1. Эталоны, отражающие достигнутый уровень (в отрасли, стра

не, мире). Их основное назначение выступать в роли базового образ

ца при оценке в процессе сертификации и присвоении категории.

2. Эталоны, отражающие перспективный уровень качества, но

сят опережающий характер и стимулируют прогресс (например зада

ние по предельной норме выхлопа СО автомобилей на 2006 г.). Эти

нормы используют при выдаче ТЗ, составлении технических проек

тов.

3. Специальные эталоны, предназначенные для решения частных

задач определения и анализа динамики качества, сопоставления по

казателей.

Нельзя брать лучшие показатели у разных образцов продукции и

стремиться создать чтото идеальное.