
11
(М. Жванецкий)
Нами разработана методика многокритериального экспертного оценивания (ММЭО), и её
программное сопровождение «ЭКСПЕРТ» для персональной ЭВМ (ПЭВМ). Программа
«ЭКСПЕРТ» позволяет пользоваться этой методикой человеку, не знакомому ни с математикой,
ни с программированием. Необходимы лишь минимальные навыки пользования ПЭВМ.
Вообще методика МЭО предназначена для определения оценки качества какого-либо
объекта по результатам оценивания его отдельных характеристик несколькими экспертами.
Использование методики целесообразно в том случае, когда объективные критерии качества
определить трудно или невозможно, и оценка производится субъективно, то есть сообразно опыту,
знаниям и вкусам каждого члена экспертного совета (жюри).
Оценивание конкурсов в том виде, в котором оно сейчас практикуется, является
тривиальным вариантом МЭО. Чтобы уйти от простой, но неточной системы оценок членов жюри,
мы предлагаем внести в эту систему минимально необходимые изменения, которые позволят
существенно повысить качество оценок. Мы предлагаем Вам воспользоваться нашей методикой и
программным продуктом. Методика легко адаптируется к конкретным задачам! Программу можно
установить и отладить на Вашей ПЭВМ. Ваше доверенной лицо будет обучено пользованию
методикой и автоматизированной системой.
Наши предложения
Ставьте задачи, решения которых есть только у вас. (Из интернета)
Чтобы повысить точность и объективность оценок, мы предлагаем ввести два новшества.
Во-первых, надо отказаться от одинакового уровня компетентности членов жюри. Тем
самым вводится оценка весомости голоса каждого члена жюри.
Во-вторых, необходимо определить уровень важности каждого конкурса. Например, на
действующих в настоящее время конкурсах клуба веселых и находчивых (КВН) сделана попытка
ввести оценку уровня важности: для разных конкурсов установлены разные шкалы оценок (от 0 до
5 или от 0 до 7 баллов и т. п.). Это неудобно ни для членов жюри, ни для болельщиков. Членам
жюри приходится каждый раз перестраивать свою внутреннюю шкалу оценок. Избежать этого
можно, оценив предварительно уровень важности каждого конкурса, который будет
автоматически учитываться системой «ЭКСПЕРТ», а члены жюри будут ставить оценки все время
в одной и той же шкале, например, от 0 до 9 баллов.
Рассмотрим конкретный пример работы жюри в конкурсе команд КВН и действия
доверенного лица (человека, обученного работе с программой и организующего опрос жюри).
Пусть жюри состоит из четырёх человек: Хазанова Г., Абдулова А., Гусмана Ю. и Иванова
А., а конкурс - из трех актов: приветствие, домашнее задание и импровизация.
Допустим, что вся предварительная работа проводится за 15-20 минут до начала конкурса то
есть, когда все члены жюри находятся в зале. Доверенное лицо, выполнив несколько действий по
запуску программы, приглашает каждого члена жюри к компьютеру и просит проставить (или
продиктовать) оценки уровня компетентности всех членов жюри, включая и себя самого.
Изображение на дисплее выглядит примерно так:
Опросный лист эксперта Гусмана Ю.
Предлагается поставить оценки уровня компетентности в диапазоне от 0 до 9 баллов
следующим членам жюри:
Хазанову Г. …… Абдулову А. …... Гусману Ю. …… Иванову А. …….
После ввода этих данных оценки исчезают с экрана, что позволяет сохранить их в тайне, и
приглашается следующий член жюри.
Чтобы члены жюри не ходили по залу, можно перед каждым поставить свой дисплей, или,
ещё проще, проводить предварительный опрос членов жюри с помощью бланков, которые
формируются и выдаются на печать с помощью системы «ЭКСПЕРТ».
Доверенное лицо раздает бланки, собирает результаты и вводит их в программу.
Затем программа рассчитывает так называемые средневзвешенные статистические оценки
уровня компетентности членов жюри. В зависимости от соотношения этих оценок для всех членов
жюри определяется весовой коэффициент на который будут умножаться все оценки конкурсов,
поставленные данным членом жюри при оценивании конкурса. Если окажется, что все члены
жюри имеют одинаковый уровень компетентности, то весовые коэффициенты у всех будут равны
единице, и мы приходим к тому варианту, который мы видим сейчас.