Власова Т.В., Сущинская М.Д. Социальная экспертиза

Подождите немного. Документ загружается.

101

ности и пр. Тестовые методы могут использоваться как в априор-

ном, так и апостериорном режиме.

В качестве априорного варианта рассмотрим тестовое оце-

нивание профессионализма эксперта. Степень профессионально-

го знакомства эксперта с объектами экспертизы проявляется в

«чувствительности» его оценок. Эксперт, глубоко знакомый с

объектами экспертизы, различает при их оценке больше тонко-

стей, нюансов, чем осведомленный более поверхностно. Для оп-

ределения степени профессионализма экспертов формируется тес-

товый набор объектов экспертизы, обладающих различной интен-

сивностью оцениваемого экспертами свойства (например, уровень

конфликтности или политической/электоральной активности со-

циальных групп и пр.). Эксперты ранжируют предложенный на-

бор объектов по интенсивности оцениваемого свойства, относя к

одному рангу (в одну группу) объекты с одинаковой интенсивно-

стью. Степень «чувствительности», осведомленности эксперта оп-

ределяется либо сопоставлением указанного им ранжирования с

эталонным, либо – с ранжированиями других участников тестиро-

вания. При этом значение имеет не только выделенное экспертом

количество рангов, но и упорядоченность объектов по интенсив-

ности оцениваемого свойства.

Тесты на воспроизводимость экспертных оценок основа-

ны на том, что стабильное воспроизведение одних и тех же оценок

говорит о профессиональной компетентности эксперта и его при-

годности к экспертной работе (например, числовые оценки срав-

ниваются их разностью, ранжирования или классификации – ме-

рой близости). Тестовые проверки, с помощью которых определя-

ется воспроизводимость оценок эксперта, должны отстоять друг

от друга на время, в течение которого эксперт забудет результаты

предшествующего тестирования.

С помощью психологических и интеллектуальных тестов мо-

гут быть установлены личностные характеристики эксперта.

Следует отметить, что не существует единой общепризнан-

ной методики оценки качества экспертов и их пригодности для

участия в конкретной экспертизе. Целесообразность применения

существующих методов зависит от условий и задач экспертного

оценивания. Эти же факторы определяют количество экспертов,

привлекаемых к работе.

102

4.3. Условия работы экспертов

Проведя отбор необходимых экспертов, Организатор оформ-

ляет с ними договорные отношения. В трудовом договоре должны

найти отражение стандартные вопросы:

- предмет договора (что именно поручает заказчик (в данном

случае – Организатор), а исполнитель (эксперт) обязуется выпол-

нить);

- права и обязанности сторон (например, заказчик обязуется

предоставить всю необходимую информацию, оборудование, по-

мещения и пр. для проведения экспертизы; исполнитель обязан

участвовать во всех экспертных процедурах и подготовке итого-

вых документов, не разглашать информацию, с которой он был

ознакомлен при проведении экспертизы, доработать экспертные

материалы по требованию заказчика и т. д.);

- порядок приемки и сдачи работы (сроки выполнения рабо-

ты, оформление актов приема-сдачи работ и т. д.);

- стоимость работ и порядок расчетов (общий объем, размер

аванса, порядок прочих выплат и пр.);

- ответственность сторон и порядок разрешения разногласий

(какую материальную и прочую ответственность несут стороны за

неисполнение или ненадлежащие исполнение возложенных на них

обязанностей в соответствии с действующим законодательством);

- прочие условия (например, указывается, чьей собственно-

стью являются полученные результаты, могут ли и как именно ис-

полнители (эксперты) в дальнейшем использовать полученную

информацию).

Кроме того, в договоре могут найти отражение организаци-

онные условия проведения экспертизы (предоставление транспор-

та, оргтехники, компьютеров, программного обеспечения, раз-

множение необходимых материалов, методическая поддержка), а

также информационное обеспечение работы (предоставление всей

необходимой информации организатором или оплата ее приобре-

тения, правила пользования информацией и пр.).

В число задач Организатора экспертизы входит создание

всех необходимых условий работы экспертов, учитывающих ее

специфику, в том числе:

• при недостаточной информированности экспертов необ-

ходимо подготовить для них дополнительные материалы об объ-

103

екте экспертизы (нормативные правовые, аналитические, стати-

стические, социологические материалы, обзоры зарубежного опы-

та и пр.), позволяющие быстро повысить уровень их информиро-

ванности в нужном аспекте; иногда необходима организация об-

мена информацией между экспертами, особенно при ее недоста-

точном объеме и отсутствии дополнительных материалов у

Организатора. Информационный обмен между экспертами необ-

ходим в экспертных процедурах, целью которых является выра-

ботка альтернативных вариантов решений в сложных ситуациях

принятия управленческих решений;

• для проведения экспертизы должна быть создана благо-

приятная творческая обстановка, необходимо избавлять экспер-

тов от разного рода «раздражающих» факторов, например, не сле-

дует принуждать эксперта сопоставлять критерии, которые он

считает несопоставимыми;

• трудоемкость экспертных процедур должна соизмеряться

с возможностями эксперта, например, число градаций в исполь-

зуемых оценочных шкалах не должно превосходить семи; если у

экспертов возникают трудности с количественными оценками,

можно перейти к качественным или к сочетанию тех и других;

• при использовании сложных методов экспертного оцени-

вания целесообразно проводить предварительную подготовку и

обучение экспертов методистом-организатором;

• психологический климат при проведении экспертизы дол-

жен способствовать получению адекватной экспертной информа-

ции, эта задача возлагается на психолога-организатора.

4.4. Особенности и проблемы экспертной деятельности

Мы выяснили, что эксперт – это носитель специальных зна-

ний и практического опыта, который:

- дает рекомендации о предпочтительных вариантах реше-

ний, касающихся данного объекта, и (или) объективные и по воз-

можности полные сведения об особенностях и свойствах предмета

экспертизы с точки зрения цели, поставленной перед экспертом;

- включен в процесс принятия решения косвенным образом;

104

- обладает правами и обязанностями, подтвержденными до-

кументально (приказ о назначении, трудовое соглашение, положе-

ние об экспертизе, о статусе эксперта);

- выполняет специальную ролевую функцию, детерминиро-

ванную ожидаемым результатом его деятельности

Эксперта нужно рассматривать как главного участника всего

процесса экспертизы, от которого зависит получение экспертной

информации и качество экспертных оценок. При этом следует

учитывать, что эксперт – это сложная и достаточно противоречи-

вая фигура, деятельность которой сопряжена со многими пробле-

мами. Эксперт как инструмент измерения, оценки, выработки су-

ждений предрасположен к «сбоям» и обладает рядом недостатков,

которые способны негативным образом повлиять на результаты

экспертизы и должны учитываться Организатором. Недостатки

экспертов и связанные с ними проблемы, как их основные свойст-

ва, рассмотренные ранее, можно разделить на имеющие профес-

сиональный и личностный характер (сводная характеристика про-

блемных сторон деятельности эксперта содержится в таблице 4.1).

В первую группу отнесем недостаточную компетентность и

информированность экспертов, субъективность, непоследователь-

ность, противоречивость их оценок.

Недостаточная компетентность экспертов является при-

чиной многих ошибочных решений. Иногда некомпетентность

эксперта проявляется в узкой специализации и недостаточной

ориентировке в смежных предметных областях. Если объект экс-

пертизы нуждается в многосторонней оценке, то необходимо,

чтобы в составе экспертной комиссии были представлены специа-

листы, способные дать оценку объекту с учетом всех основных

аспектов. Причины, приводящие к использованию недостаточно

компетентных экспертов, могут быть разными: нечетное понима-

ние целей экспертизы, недостаточная информация об экспертах,

их знании и опыте, отсутствие организационных механизмов,

обеспечивающих возможность привлечения высококвалифициро-

ванных специалистов. При регулярном проведении экспертиз це-

лесообразно создание и актуализация банков данных об экспертах,

расчета рейтингов с учетом их компетентности.

Сидельников Ю. Экспертиза: состояние и тенденции развития // Мировая эко-

номика и международные отношения.– 1997.– № 1.– С. 123.

105

Недостаточная информированность возможна, когда к

экспертизе привлекаются квалифицированные эксперты, однако

не обладающие достаточной информацией о конкретном объекте

экспертизы. Эта ситуация, если она не создана искусственно, ис-

правляется необходимой информационной поддержкой экспертов.

Оценки эксперта носят в значительной мере субъективный

характер, так как вырабатываются на основе разного социально-

го опыта, политических ориентаций, жизненных взглядов, что

может существенно влиять на позицию эксперта при проведении

социальной экспертизы. Отчасти субъективность сглаживается

методами коллективной работы экспертов.

Кроме субъективности эксперты часто проявляют непосле-

довательность, которая проявляется в существенных отклонени-

ях числовых оценок, данных одним и тем же экспертом. Ошибки

отклонения ответа могут достигать 20-40% среднего значения, что

составляет достаточно большую величину особенно, если срав-

нить с физическими измерениями, где ошибки не превышают 1%

от среднего значения

. Это характеризует эксперта как весьма не

точный «измерительный прибор». Противоречивость оценок

экспертов связана с нарушением принципа транзитивности

. На-

пример, эксперт может нарушить этот принцип и придти к нело-

гичному заключению, делая парные сравнения ряда объектов, ес-

ли он применяет к разным парам разные критерии сравнения. Эта

проблема устраняется с помощью контроля со стороны организа-

тора – аналитика.

В группу проблемных сторон экспертной деятельности, свя-

занных с личностными характеристиками экспертов, можно отне-

сти конформизм, конъюнктурность, синдром безопасности, не-

умение работать в группе.

Термином «конформист» определяют человека, у которого

отсутствует собственная позиция, который некритически следует

общим тенденциям и авторитетам. Конформизм экспертов про-

является в изменении оценок, мнений, высказываний в пользу

Льюс Р., Галантер Е. Психофизические шкалы // Психологические измерения.–

М., 1967.– С. 111-195.

Транзитивность – свойство величин, состоящее в том, что если первая величина

сравнима со второй, а вторая – с третьей, то и первая сравнима с третьей, напри-

мер, если a=b, b=c, то a=c.

106

общих или более распространенных в группе. В связи с этим при

очных коллективных экспертизах непоследовательность оценок

может быть вызвана конформизмом экспертов, попадающих под

влияние явных лидеров, авторитетов, мнение которых они будут

считать более правильным, чем свое, и изменят его.

Конъюнктурность эксперта проявляется, когда он по ка-

ким-то причинам заинтересован в определенном результате экс-

пертизы (например, он сотрудник компании, аффилированной ин-

ституту, который представил проект на конкурс). Такая ситуация

«конфликта интересов» чревата сознательным искажением экс-

пертной информации со стороны данного эксперта, и она должна

предотвращаться тщательной процедурой отбора. Если нельзя из-

бежать включения такого эксперта в состав группы, или его

конъюнктурность сразу была неочевидна, в технологии обработки

экспертной информации следует предусмотреть специальные спо-

собы снижения влияния фактора конъюнктурности. Например,

для этого проводится специальная тестовая проверка экспертов с

известным объективным результатом, в частности, это может быть

ранжирование альтернативных вариантов. На основе отклонений

ранжирований каждого эксперта от объективного результата рас-

считывается коэффициент конъюнктурности, который затем учи-

тывается при подготовке результатов экспертизы.

Синдром безопасности – это, с одной стороны, боязнь поте-

ри своего лица, авторитета, статуса эксперта в случае неудачного

прогноза, неточной оценки, неверного высказывания.

Эксперт, чтобы сохранить возможность маневра и в по-

следующем оказаться правым в своем заключении, стремится

как можно более расплывчато сформулировать собственное

мнение, зачастую указывая одновременно на возможность

реализации противоположных ситуаций. Когда в будущем

одна из них реализуется, это позволит эксперту сказать, что

его предсказание сбылось»

С другой стороны, очень часто над экспертами довлеет фи-

гура Заказчика. Поэтому при формулировке заключения эксперты

склонны сознательно или бессознательно включать в него боль-

шое число оговорок и условий, делая заключение более неопреде-

Кошовец О. Особенности экспертного знания в России // Вопросы экономики.–

2007.– № 11.– С. 37.

107

ленным. Такая профильтрованная версия содержит сглаженные

данные, оценки и выводы.

При групповой организации работы экспертов дополнитель-

ные проблемы могут создавать проявления авторитарного пове-

дения, пренебрежения чужим мнением и пр., что может привести

к одностороннему рассмотрению изучаемой проблемы. С другой

стороны, излишняя «робость» эксперта может проявиться в не-

убедительной аргументации его позиции и привести к потере по-

лезной информации.

Обязанностью Организатора является использование всех

доступных способов снижения привносимых экспертами субъек-

тивных факторов. Для этого допустимы следующие приемы:

• дублирование экспертизы путем создания для одной и то

же цели нескольких экспертных групп; это значительно

удорожит экспертизу, но существенно повысит ее обосно-

ванность;

• привлечение к экспертной работе разных экспертов

(представителей разных ведомств, научных школ, поли-

тических ориентаций, городов, стран и пр.) для избегания

клановости;

• использование других сопутствующих источников ин-

формации (исследования, научные доклады, публикации

СМИ и пр.);

• рассмотрение результатов других экспертиз, близких по

целям и объектам;

• использование коллективных форм и методов работы экс-

пертов, что значительно снижает субъективность оценок,

однако в этом случае надо помнить о возрастании влияния

фактора конформизма;

• повышение степени объективности экспертов достигается

с помощью учета коэффициента их конъюнктурности, ко-

торый устанавливается на основе специальной тестовой

проверки.

Вопросы для самопроверки

1. Дайте определение понятию «эксперт».

2. Перечислите основные профессиональные качества эксперта.

3. Укажите личностные качества, которыми должен обладать

эксперт.

108

4. В каких ситуациях экспертами могут быть целевые группы

населения?

5. Какие группы методов используются для отбора экспер-

тов? Чем они отличаются друг от друга?

6. Какие вопросы должны найти отражение в договоре меж-

ду организатором и экспертом?

7. В чем состоят условия эффективной работы экспертов?

8. Каковы основные проблемы экспертной работы?

9. Какими способами можно преодолевать субъективизм

экспертных оценок?

Вопросы для дискуссий и размышлений

1. Как Вы считаете, учет каких качеств более важен при вы-

боре эксперта – профессиональных или личностных?

2. Какой метод или комбинацию методов отбора экспертов

Вы считаете наиболее оптимальным?

3. Как Вы думаете, не являются ли известные проблемы и

недостатки работы экспертов основанием для отказа от использо-

вания экспертизы?

4. Видите ли Вы в себе какие-нибудь задатки эксперта? В

ком из студентов Вашей группы проявляется потенциал эксперта,

и как именно он проявляется?

Задание для выполнения самостоятельной работы

1. Определить количественный и качественный состав экс-

пертной группы, методы ее формирования; сформулировать ос-

новные подходы/условия работы организатора с данной эксперт-

ной группой (продолжение групповой работы по выбранному

объекту экспертизы – задание 2 модуля 3).

109

МОДУЛЬ 5. МЕТОДЫ СОЦИАЛЬНОЙ ЭКСПЕРТИЗЫ

5.1. Понятие метода экспертизы

Главное содержание экспертной деятельности – получение

качественной экспертной информации. Потребность в такого рода

информации у субъекта управления возникает в условиях неопре-

деленности или нестандартно развивающейся ситуации, что про-

является в недостатке информации об изучаемом объекте, неста-

ционарности его характеристик, трудностях определения его со-

стояния в перспективе и пр. Эти условия свидетельствуют о слож-

ности рассматриваемых экспертизой вопросов и предполагают

использование соответствующих нетривиальных методов решения.

Метод экспертизы – это инструмент получения информации

от экспертов. К настоящему времени сформирован достаточно

обширный арсенал методов экспертизы, часть из которого нахо-

дит применение в социальной сфере. Процесс получения эксперт-

ной информации, как правило, состоит из последовательного на-

бора определенных операций, к числу которых относятся эксперт-

ные оценки, т. е. действия по преобразованию имеющейся или

выработки новой информации. Кроме способов получения экс-

пертной информации методы экспертизы должны предусматри-

вать и способы ее обработки (согласования, обобщения, класси-

фикации, ранжирования и пр.).

Например, часто экспертиза применяется для выделения

существенных факторов какого-то процесса и их ранжирова-

ния. При этом может быть использован метод опроса экспер-

тов, основанный на непосредственном ранжировании, а по-

лученные субъективные мнения обрабатываются методом

ранговой корреляции

. В данном примере методом экспер-

тизы является опрос (анкетирование, интервьюирование),

одной из экспертных оценок – ранжирование, методом обра-

ботки результатов – ранговая корреляция.

Шмерлинг Д.С., Дубровский С.А. и пр. Экспертные оценки. Методы и приме-

нение // Статистические методы анализа экспертных оценок.– М.: Наука, 1977.–

С. 292.

110

Таким образом, под методом экспертизы понимается спо-

соб получения экспертной информации как совокупность

взаимосвязанных экспертных операций, которые осуществ-

ляют эксперт/экспертная группа и Организатор экспертизы.

Те экспертные операции, на основе которых вырабаты-

ваются мнения и суждения экспертов относительно разных

сторон объекта/предмета экспертизы, называются эксперт-

ными оценками.

Выбор метода и используемых экспертных оценок определя-

ется конкретными условиями и задачами проведения экспертизы.

Иногда они таковы, что требуют разработки нового или сущест-

венной модернизации имеющегося метода. Для практического при-

менения методов экспертизы следует разрабатывать методики –

руководства к действиям как совокупность правил и приемов по

реализации того или иного метода.

Любая методика экспертизы, описывающая выбранный ме-

тод, должна отвечать следующим общим требованиям:

• результат может быть воспроизведен другими исследова-

телями;

• исходные данные, допущения и оценки должны представ-

ляться в наглядной форме и быть доступны для проверки;

• выбранные правила и процедуры должны быть достаточно

надежны и с большой вероятностью обеспечивать получе-

ние искомого результата;

• метод должен быть экономичным, способным давать ре-

зультат с наименьшими затратами средств и времени.

Виды экспертных оценок, которые могут быть включены в

алгоритм метода, достаточно многообразны. К числу основных

видов экспертных оценок могут быть отнесены:

1. Вербальные оценки – мнения и суждения, сформулиро-

ванные словесно.

2. Группировки – представление совокупности (объектов,

признаков) в виде непересекающихся классов, (?) или клас-

сификации (разбиения), в том числе возможна свободная

классификация, когда число классов, на которые эксперт

должен разбить множество, заранее не определено.

3. Парные сравнения – выбор более предпочтительного

объекта в каждой предъявленной паре (можно также ут-

верждать, что они не сравнимы или равноценны).