Азгальдов Г.Г. Разработка теоретических основ квалиметрии
Подождите немного. Документ загружается.
29
двух основных задач. Во-первых, она дает достаточно
строгое обоснование для многих применяющихся на
практике, но не базирующихся на каких-либо
теоретических предпосылках эмпирических процедур.
И, во-вторых, данная аксиоматика доказывает
необходимость введения ряда новых, не
применявшихся на практике процедур, направленных
на повышение эффективности экспертного метода
квалиметрии. В частности:
1. Показано, что при проведении экспертного
опроса целесообразно оперировать не с точечными
оценками, а с размытыми оценками, учитывающими
субъективную вероятность (т.е. уверенность эксперта в
правильности назначенной им оценки), и даны
формулы для использования таких оценок.
2. Обоснована система показателей,
характеризующих качество эксперта, и выявлены те
процедуры алгоритма экспертного метода
квалиметрии, в рамках которых должны учитываться
эти показатели.
3. Доказано, что задача нахождения требуемой
численности экспертной подгруппы есть
статистическая задача определения требуемого объема
выборки, - вывод, открывающий возможность для
использования в рамках экспертного метода некоторых
обоснованных в математической статистике подходов
и приемов.
4. Обоснованы рекомендации по определению
величины разрядов, на которые должна разбиваться
шкала оценок, даваемых экспертами.
5. Введено понятие «ситуация экспертной
30
оценки» и систематизированы факторы, совокупность
которых однозначно определяет эту ситуацию.
Выявлены условия, требующие учета каждого из этих
факторов.
6. Разработаны принципы, на основе которых в
общем случае должен производиться отбор экспертов.
7. Выведена формула, с помощью которой при
определении коллективной экспертной оценки
оказывается возможным учесть различия в
компетентности и объективности отдельных экспертов.
Формула имеет вид:
i
N
j
ijij
э
i
gqq
1
,
где
э
i
q
и
ij
q
-?коллективная и индивидуальная
экспертные оценки;
i
N
-?численность экспертной
подгруппы, высказывающей
суждение об
i
-ом показателе
оцениваемого объекта;
ij
g
-?коэффициент весомости
j
-го
эксперта, связанный с показателем
экспертной достоверности
ij
Q
)(
зависимостью:
i
ij
ij
N
j
ij
Q
Q
g
1
2
)(
2
)(
)1(
1
)1(
1
,
причем показатель
ij
Q
)(
есть монотонная фикция от
показателей компетентности и объективности
эксперта.
31
8. Введено понятие «эффективность тура опроса»
и обоснованы принципы использования
соответствующего показателя эффективности для
определения необходимого количества туров опроса.
9. Выявлены приемы, с помощью которых может
быть обеспечена достоверность массива
индивидуальных экспертных оценок.
Второй важной проблемой экспертного метода,
специально рассматриваемой в диссертации, является
проблема априорного определения оптимальной
численности экспертной группы.
В §?3.3 и посвящен ее анализу.
При рассмотрении этой проблемы прежде всего
проанализировано большое количестве литературных
источников и выявлено, что в подавляющем
большинстве данные о количестве участвовавших в
опросе экспертов не подкрепляются какими-либо
расчетными обоснованиями. Наряду с этим показано,
что в тех редких случаях, когда в опубликованных
работах не просто рекомендуется количество
экспертов, но и делается попытка дать его
обоснование, приводимые рекомендации не могут быть
эффективно использованы в большинстве ситуаций
экспертной оценки. Такое положение связано с
наличием недостатков, выявленных,
систематизированных и подробно разъясненных в
диссертации.
Этими недостатками являются: неконкретность
практических рекомендаций; чрезмерно большие
затраты на применение предлагаемого метода
32
определения числа экспертов; узость сферы
применения, вызываемая специфичностью
оцениваемого экспертами объекта, или
специфичностью процедуры опроса экспертов, или
специфичностью используемых экспертами шкал;
неучет доверительного интервала и (или)
доверительной вероятности коллективной экспертной
оценки; неучет разнообразия априорной информации
об индивидуальных экспертных оценках.
В качестве первого шага на пути к преодолению
этих недостатков дана классификация 11 факторов,
влияющих на численность экспертной подгруппы, и
подробно разобран каждый из этих факторов.
К числу таких факторов относятся: затраты
времени, допустимые для организации, выделяющей
экспертов; затраты труда экспертов с учетом их
квалификации и формы проведения их спроса; затраты
труда организаторов опроса на выявление
индивидуальных экспертных оценок и вычисление
коллективной экспертной оценки; заданная
погрешность и надежность коллективной экспертной
оценки; информация о кандидатах в экспертную
подгруппу и о выносимых экспертами оценках;
зависимость (которая может быть априори известна
или неизвестна) между характеризующими экспертизу
затратами и получаемыми при этом результатами.
Затем выявлены и систематизированы градации
априорной информации об экспертной подгруппе и об
особенностях экспертных оценок в этой подгруппе.
Например, такая информация может дать сведения: о
законе распределения экспертных оценок; о
33
параметрах распределения экспертных оценок – таких,
как генеральная или выборочная дисперсия экспертных
оценок в частной генеральной совокупности
специалистов; математическое ожидание; размах
вариации, коэффициент вариации и коэффициент
асимметрии Пирсона.
Одновременно обосновано утверждение, что, во
избежание указанных выше недостатков, при
предварительном (до начала опроса) определении
числа экспертов обязательно необходимо учитывать
максимально возможный объем такой априорной
информации. В заключение, выявлено около 100
вариантов сочетаний градаций априорной информации
и для каждого варианта рекомендованы обоснованные
диссертантом формулы для расчета необходимой и
достаточной численности экспертной подгруппы.
(Свыше 60 из этих формул - не повторяются, а 18
являются одинаковыми у двух или большего числа
вариантов).
Например, одна из таких сведенных в таблицу
формул имеет следующий вид (для случая, когда для
индивидуальных экспертных оценок закон их
распределения - неизвестен, но по результатам
предыдущих аналогичных опросов известна
выборочная дисперсия
S
; известна численность
частной генеральной совокупности специалистов
cn
N
и известно, что функция распределения коллективной
экспертной оценки - приближенно нормальная):
34
2
2
)(
11
1
)(
q
St
NN
q
St
N
cncn
,
где
N
- искомая численность экспертной группы;
- доверительная вероятность, с которой
определяется коллективная экспертная
оценка (задается ЛПР);
q
- допустимое значение абсолютной
погрешности определения коллективной
экспертной оценки (задается ЛП1Р);
t
- квантиль нормального распределения,
соответствующий доверительной
вероятности.
В Главе 4 (заключительной) исследуются пути
решения большинства из тех проблем квалиметрии,
которые были перечислены в §?2.4. При этом
рассматриваются отнюдь не все возможные подходы к
решению этих проблем, а только те, которые были
обоснованы или опровергнуты диссертантом. Вместе с
тем, часть проблем будет разбираться совместно, в
рамках одного параграфа, в то время как анализу
некоторых других проблем будут посвящены
отдельные параграфы. Критериями для отнесения к
этой группе проблем являются следующие факторы,
проявляющиеся одновременно: относительная
важность проблемы, относительная ее сложность и
сравнительно небольшой тираж тех публикаций
диссертанта, в которых она анализировалась.
В §?4.1 рассматривается очень важная
35
(фактически - ключевая для метода квалиметрии)
проблема определения и упорядочения в виде дерева
тех свойств, совокупность которых и определяет
качество (или интегральное качество) оцениваемого
объекта. В связи с этим показано, что сущность
рассматриваемой в данном параграфе проблемы
заключается в обосновании практически пригодных
правил декомпозиции (правил построения дерева
свойств) и что попытки подменить эту проблему
другой, гораздо более легкой (проблемой отбора
наиболее важных свойств) - являются
неправомерными.
В параграфе раскрыта глубокая обусловленность
использования в квалиметрии деревьев, как
проявления общей тенденции все более широкого
применения в современной науке различных видов
иерархических структур. Что касается собственно
правил построения деревьев свойств, то установлено,
что имеющиеся в литературе по квалиметрии
предложения по построению таких деревьев не могут
служить основой достаточно универсальной системы
правил их построения, пригодных для широкого класса
объектов. Установлено также, что подобная система
правил не может базироваться и на те приемы
декомпозиции, которые были разработаны для
решения некоторых частных практических задач в ряде
смежных с квалиметрией областей (в том числе - в
теории систем и в теории классификации). В связи с
этим показано, что решение проблемы об обосновании
системы правил построения деревьев свойств
целесообразно искать на пути использования
36
аксиоматически-дедуктивного метода, в рамках
которого сначала формулируются некоторые исходные
общие метатребования (играющие роль аксиом),
которым должно удовлетворять любое дерево. А затем
от этих исходных метатребований с помощью
декомпозиции переходят к конкретным требованиям,
выполняющим функцию искомых правил построения
деревьев. В порядке реализации этого подхода
разработана нормативная классификация общих и
частных требований, которым должно удовлетворять
любое используемое в квалиметрии дерево свойств. К
числу этих требований относятся 21 общее правило,
применяемое независимо от ситуации оценки, и 8
частных правил, применение которых должно
оправдываться конкретными особенностями ситуации
оценки.
Общими правилами являются следующие:
деление по равному основанию, исключительность,
корректируемость, учет взаимосвязей, в системе
"человек - среда - объект", жесткость структуры
начальных уровней дерева, аксиологическая,
потребительская и функциональная направленность
формулировок свойств, правильный учет субъекта
оценки, необходимость и достаточность числа свойств,
однозначность толкования формулировок свойств,
эталонное число свойств, полнота учета особенностей
потребления объекта, недопустимость зависимых
свойств, одновременность существования свойств,
максимальная высота дерева, исключение свойств
надежности, предпочтительность правостороннего
дерева, предпочтительность табличной формы дерева,
37
предпочтительность признаков деления меньшей
размерности, исключение маловажных свойств.
К частным правилам относятся: учет затрат и
результатов, ясность признака деления, случайный
характер расположения свойств, минимум свойств в
группе, возможность оценки других объектов с
помощью поддеревьев, исключение одинаково
выраженных свойств, неполное дерево при
упрощенной оценке, приближенная формулировка
показателей свойств.
Для каждого частного требования нормативной
классификации дано обоснование его необходимости и
правомерности использования как одного из искомых
практических правил построения деревьев свойств.
(Такое обоснование выводится или как следствие из
доказанных теорем, или как выводы, полученные в
результате численного эксперимента, или как
обобщение обширного опыта практического
построения и использования деревьев).
Таким образом, получена система из 21 общего и
8 частных правил, пригодных к использованию при
построении деревьев свойств для широкого класса
объектов.
§?4.2 содержит результаты исследования
проблемы определения коэффициентов весомости. Это
исследование проводилось в двух аспектах. Во-первых,
велись поиски аналитических (неэкспертных) методов
определения коэффициентов весомости, так как
экспертные методы такого рода (в подавляющем
большинстве случаев применяющиеся для этой цели на
практике), не всегда можно или целесообразно
38
использовать.
Во-вторых, проверялась корректность одного
сравнительно недавно предложенного и уже
вошедшего в нормативные документы аналитического
метода.
Что касается первого аспекта рассмотренной в
данном параграфе проблемы, то в результате
исследований оказалось возможным обосновать 3
новых аналитических метода, кратко излагаемых ниже:
1. Метод статистической обработки проектов.
Этот метод применим только при
одновременном существовании следующих условий:
а) информация об объекте оценки может быть
представлена в вида проекта или реально
существующего образца объекта определенного типа, у
которого могут быть найдены значения
i
q
для всех
i
-
ых свойств.;
б) имеется достаточно большая выборка
однородных образцов (проектов) отобранных
случайным образом;
в) есть основания предполагать, что лицам,
проектировавшим (разрабатывавшим,
конструировавшим) отобранные образцы (проекты),
были хотя бы приближенно известны значения
эт
i
q
;
г) можно полагать, что у разработчиков
каждого из
j
-ых отобранных образцов (проектов)
имелась возможность дня каждого
i
-го свойства
варьировать значения
ij
q
в диапазоне
minmax
,
ii
qq
,
где
max
i
q
и
min
i
q
- суть допустимые значения
доп
i
q
.