Гузеев В.В. Преподавание. От теории к мастерству

Подождите немного. Документ загружается.

модели, например, полосовой код на заграничных товарах или

нашивки за выслугу лет на рукавах некоторых категорий воен#

нослужащих. Оценки с помощью дескриптивных шкал давно

уже дискутируются, у них есть горячие сторонники, а кое#где

такие системы уже применяются.

Вам знакомы, конечно, многочисленные призывы к безоценоч#

ному обучению. Но с точки зрения науки управления никакой

кибернетический процесс не может быть регулируемым без об#

ратной связи и оценки. Все призывающие к «безоценочному

обучению» немного лукавят. Если разобраться, то окажется,

что в действительности они ратуют за переход от количествен#

ных шкал к дескриптивным — и только!

Посмотрите следующий текст: «Ученик А имеет словарный за#

пас около сорока тысяч слов. Может заменять слова и выраже#

ния их синонимами. Тонко различает оттенки в близких по

смыслу предложениях. Знает типовые грамматические конст#

рукции и грамотно применяет их в устной речи. Умеет заменять

предложения сложной структуры несколькими предложениями

простой структуры и наоборот. В устной речи уверенно исполь#

зует распространённые идиомы...». Примерно такие оценки со#

общают родителям своих учеников американские учителя. (За#

метьте, речь идёт только о достоинствах и достижениях, — чи#

тать между строк об ошибках и недостатках — «А#а, писать#то

не умеет!» — там никому и в голову не приходит. Это один из

постулатов воспитания свободной личности. И работу потом

ему будут подбирать исходя из умений и достижений. Мало ли

чего мы не умеем!). Как видим, типичная языковая дескриптив#

ная оценка — это некоторая характеристика. М.В. Кларин заме#

чает: «... оценочным может, по сути дела, являться любое суж#

дение, выражающее отношение учителя, — например, похвала,

одобрение, сомнение или же прямое неодобрение. Оценочный

характер могут иметь и невербальные реакции учителя — его

одобрительные или неодобрительные, скептические или насме#

шливые интонации, взгляды, жесты» [78; 37].

Нельзя не согласиться с Д.А. Ивановым, утверждающим: «Дей#

ствие всегда может быть оценено относительно какой#либо

нормы, в то время как чувство в принципе не нормируемо.

Каждый чувствует по#своему» [181; 230]. А мы, между тем,

Глава 9. Оценочные шкалы и инструменты обратной связи

211

всё ещё нередко пытаемся измерить «тройками — пятёрками»

эстетический вкус или понимание музыки.

В последнее время всё чаще за рубежом обсуждается другой

способ, который многим представляется наиболее адекватным

для замеров личностного развития. Сюда относится идея так

называемой папки достижений (portfolio assessmen

). Она роди#

лась в США как компромисс между принятой в этой стране жё#

сткой системой тестового контроля и значительно более мягкой

европейской системой: «Идея применения портфолио в школе

пришла к нам из Соединённых Штатов, где она возникла в 80#х

годах, а в конце 80#х — начале 90#х годов начался настоящий

бум. Использование портфолио в школах с середины 80#х годов

принимает лавинообразный характер. Число публикаций

и книг, посвящённых идее портфолио в обучении, за короткий

срок резко возросло, достигло к 1995 г. своего пика и стало

в настоящее время практически необозримым» [64; 118]. Глав#

ное в этих публикациях состоит в том, что «педагогическая фи#

лософия портфолио предполагает:

• смещение акцента с того, что учащийся не знает и не умеет,

на то, что он знает и умеет по данной теме, разделу, предмету;

• интеграцию количественной и качественной оценок;

• перенос педагогического ударения с оценки на самооценку»

[119; 145].

Внешне эта техника оценки схожа с теми папками детских ри#

сунков и стишков, которые собирают любящие родители.

В «папку» (собственно папку, коробку, шкафчик и т.д.) собира#

ются лучшие, наиболее значимые работы учеников по предме#

ту или группе предметов. Сравнение однотипных работ, выпол#

ненных в разное время или при различных обстоятельствах,

и является оценкой. Например, сравнивая два рисунка девочки,

говорят: «Так она рисовала год назад, а так рисует сегодня».

Или, рассматривая два автографа мальчика, заключают: «Вот

такой у него почерк, когда пишет раздумчиво, не спеша, а та#

кой — когда надо что#то записать срочно, в реальном масшта#

бе времени».

В.В. Гузеев. Преподавание

Точно перевести на русский язык это словосочетание довольно трудно. Йост Кок

утверждает со ссылкой на латинский словарь, что assessment означает «оценка

человека, выполняющего определённые действия» (см. Кок Й. Тот, кто присутст#

вует и судит // Директор школы. 1996. №1.).

212

Такая «папка» может формироваться с участием самих оцени#

ваемых учеников, помогающих учителю при обсуждении вы#

брать лучшие, наиболее адекватные достижения. Впрочем,

предоставим слово очевидцу: «...всё больше преподавателей

обращаются к оценке знаний студентов на основе соблюдения

ими нескольких требований: выполнения творческих проектов,

написания эссе или сочинения, проведения критического ана#

лиза статей, разделов книг, участия в дискуссиях на занятиях.

Такой подход называется «портфель» (portfolio), т.е. преподава#

тель как бы накапливает портфель с работами студента за се#

местр, который показывает его рост и степень усвоения им

учебного материала. Некоторые преподаватели разрешают

студентам переделывать «портфели» и совершенствовать свои

работы, за которые они уже поставили оценки, с целью их улуч#

шения и, естественно, повышения оценки. Конечно, это требу#

ет дополнительной работы от преподавателя» [55; 146–147].

В отечественной педагогике аналогичная оценочная шкала (так

называемый пакет) используется в опыте работы начальной

школы Ш.А. Амонашвили. Это примеры использования дес#

криптивных аналоговых шкал. Рассмотрим это на конкретном

примере обучения иностранным языкам.

Винченцо Монда предлагает для обобщения и систематизации

знаний по каждой изученной теме давать ученикам задание из#

готовить по этой теме рекламный плакат, буклет, афишу с тек#

стами, рисунками, открытками, фото. Очевидно, что степень

усвоения материала также хорошо проявится в такой работе.

Если изучена тема «Италия», то ведь ученикам придётся для

рекламного буклета в короткие тексты отобрать всё самое су#

щественное и изложить это хорошим языком. Даже если тема

маленькая — «Моя семья», например, — то сделать рекламный

плакатик «Приглашаем в гости» не очень просто. Собирая все

эти буклеты, афиши и плакаты в папку в течение всего курса,

мы и получим в первом приближении «папку достижений». По#

добную систему отслеживания успехов детей использует вели#

кий педагог современности Ш.А. Амонашвили: Каждый ребё$

нок начнёт составлять также «том» произведений собственного

творчества, в который войдут: листки с записью первых слов

и предложений, первое «сочинение», решения математиче$

ских задач и примеров, чертежи, рисунки, аппликации...

Глава 9. Оценочные шкалы и инструменты обратной связи

213

Конечно, в отличие от «родительских» папок «папка достиже#

ний» как оценочная шкала в образовательной технологии име#

ет свои правила и принципы.

Но прежде, чем окончательно расстаться с «портфолио» на

этих страницах, давайте посмотрим ещё один вариант. «Под#

черкнём, что в предлагаемой нами версии под «портфолио» по#

нимается совокупность сертифицированных индивидуальных

учебных достижений. Эти достижения должны быть подтверж#

дены сертификатами, имеющими достаточную степень объек#

тивности. К сожалению, в настоящее время выглядит пробле#

матичной идея включения в «портфолио» результатов, достиг#

нутых внутри «своей школы», в силу крайней необъективности

самой системы школьного оценивания» [174; 40]. Все возмож#

ные сертификаты ранжируются и оцениваются соответствую#

щим числом баллов. В школе остаётся только подсчитать для

каждого ученика все его сертификаты и указать суммарный

«рейтинг». Замечу, что при таком подходе у большинства уче#

ников никаких сертификатов не будет вовсе. Таким образом,

мы имеем «портфолио по#русски»: слово заграничное есть,

а содержание и смысл его утрачены и подменены чем#то сво#

им — обычно не очень даже и близким. К сожалению, такая

картина переноса иностранного опыта для нашего Отечества

типична.

Более удачный вариант предлагают разработчики «портфо#

лио» для организации предпрофильной подготовки и профиль#

ного обучения в качестве основания для отбора учащихся

в профильные классы. В этой версии [119; 145] «портфолио»

может состоять из трёх разделов:

• «Портфель документов» — имеющие официальное призна#

ние сертификаты конкурсов, документы об участии в грантах,

окончании школ дополнительного образования, прохождении

независимого тестирования (например, TOEFL);

• «Портфель работ», где ученик представляет работы, проекты,

исследования, за которые не дано официального подтвержда#

ющего документа; сертификаты конкурсов, обучения и т.д.,

не имеющих официального признания, а также собственные

произведения или изделия;

В.В. Гузеев. Преподавание

214

• «Портфель отзывов» на творческие работы, исследования,

проекты, социальные практики, участие в конференциях и т.д.

Здесь же размещается при необходимости самооценка учени#

ка, его рефлексия собственной деятельности.

Преимущество количественных шкал — их простота и опреде#

лённость. Плата за это — заметная потеря внутренней инфор#

мативности. Порядковые шкалы, особенно дескриптивные,

очень информативны и содержательны. Но за это мы тоже рас#

плачиваемся: высокой мерой неопределённости, необходимос#

тью иметь сложные и дорогие измерительные инструменты —

экспертов, компьютерные экспертные системы или толстые ин#

струкции, а также сомнением в их объективности. Развитие ря#

да областей математики (математика нечётких множеств, тео#

рия некорректно поставленных задач, математическая статис#

тика и другие), возможно, продвинет очерченные проблемы

к решению.

Оценка — это акт, являющийся частью процесса построения мо#

дели обучаемого. В фундаменте оценочной деятельности для

социальных систем практически всегда лежат статистические

критерии. Например, кого мы считаем сильным учеником? Вот

один условный пример: ученик занимается на продвинутом

уровне, если он с вероятностью, не меньшей 80%, справляется

с заданиями, доступными не более чем 10% учащихся в классе.

Чаще всего модели обучаемых являются многопараметричес#

кими. Самый простой образец — обычный аттестат о среднем

образовании.

Следовательно, приходится вести речь о многокритериальной

задаче оценки. Это достаточно сложное явление, поскольку оно

ещё и связано с тем, что разные параметры в разных ситуаци#

ях могут иметь значительно различающиеся важность, значе#

ние. Сравните требования к математической подготовке буду#

щих абитуриентов математического и филологического фа#

культетов. Это приводит к тому, что возникает трудный вопрос

об определении весовых характеристик разных параметров мо#

дели. Один из тривиальных случаев нами уже упоминался —

назначение числа очков за те или иные виды деятельности

при построении рейтинговой шкалы.

Глава 9. Оценочные шкалы и инструменты обратной связи

215

9.2. Как построить рейтинговую шкалу оценок

Ранее была дана краткая характеристика рейтинговой системы

и указано, что она пользуется всё большей популярностью.

Для этого есть основания в ряде преимуществ, предоставляе#

мых рейтинговой системой. В частности, может выясниться, что

развитие предприимчивости связано, например, с развитием

духа соперничества, а для этого необходим другой учебно#ме#

тодический инструментарий, например, введение рейтинговых

систем оценок наряду с традиционными [164; 90–91]. Кроме то#

го, скажем, если разные виды школьных достижений ранжиро#

ваны, то дальнейшее оперирование рейтингами можно считать

объективным — хотя бы относительно.

Рейтинговая шкала значительно более чувствительна, чем

балльная, а это позволяет использовать её для организацион#

ных и управленческих решений. Например, в одной из негосу#

дарственных школ было принято решение о дифференциации

оплаты за обучение детей в зависимости от их успехов, выра#

жаемых рейтингами. В результате родители наиболее способ#

ных детей были освобождены от платы совсем, а родителям де#

тей, создающих наибольшие проблемы и требующих особого

усиленного внимания, пришлось за дополнительный труд педа#

гогов раскошелиться. В другой негосударственной школе, поль#

зующейся большой популярностью, а потому имеющей кон#

курсный набор, приняли решение ежегодно отчислять десять

учащихся из трёхсот, составляющих весь контингент школы, за#

нимающих нижние строки рейтингового списка, а на их места

принимать десять новичков «с улицы», предоставляя послед#

ним счастливый шанс.

Рейтинговая система обладает ни с чем не сравнимой гибкос#

тью. Можно, например, иметь её отдельно по каждому предме#

ту, а можно общую. В список оцениваемых достижений могут

быть включены и неучебные — важные на данный период для

статуса или развития школы. Варьирование позиций в ранжи#

рованном списке достижений даёт в руки школьной админист#

рации инструмент, во многом схожий с механизмом экономиче#

ского управления (через налоговые льготы, акцизы, госзаказы,

преференции и так далее) в государстве. Если, скажем,

в школе обнаружился пробел в успехах по химии, то, за#

В.В. Гузеев. Преподавание

216

метно подняв ранги достижений по химии, можно рассчиты#

вать, что многие учащиеся обратят большее внимание на этот

предмет и общие результаты школы по химии повысятся. Ос#

новные принципы рейтинговой системы можно сформулиро#

вать так [151; 69–70]:

• оценка не зависит от характера межличностных отношений

учителя и ученика;

• незнание не наказывается, стимулируется прогресс познания;

• ученик волен сам выбирать стратегию своей деятельности,

так как оценки предлагаемых видов деятельности определены

заранее.

Чтобы эти примеры были понятнее, займёмся более детальным

рассмотрением того, как строится рейтинговая система. А по#

скольку она, как отмечалось, является частным случаем ранго#

вой, то рассмотрим сначала технику построения ранговых

шкал.

Пусть требуется ранжировать m объектов E

, E

, ...., E

и для это#

го привлечены n экспертов. Это значит, что каждый эксперт дол#

жен выдать упорядоченную последовательность данных объек#

тов по степени выраженности оцениваемого свойства, присвоить

каждому их объектов ранг от 1 до m. Обозначим r

ранг, который

присваивает первому объекту k#тый эксперт, r

— ранг, который

этот же k#тый эксперт присваивает второму объекту, и так далее.

Например, запись r

= 1 означает, что третьему объекту второй

эксперт присвоил ранг 1. В результате опроса экспертов получа#

ется матрица из m строк и n столбцов.

«Вспомним, что суждения носят оценочный характер и отражают

ценностные установки самого эксперта. Здесь велик соблазн

для эксперта принять (самому) и представить (другим) свои вну#

тренние критерии в качестве объективных» [79; 6]. «На оценки

и суждения экспертов обычно оказывают влияние факторы, ко#

торые нельзя отнести к числу научных аргументов: авторитет

и заслуги коллег, ранее высказавших суждение; инерция, прису#

щая человеку при публичном отказе от своего мнения; эмоцио#

нальная окраска утверждений оппонента и т.п.» [155; 155].

Поэтому прежде, чем работать с матрицей дальше, следует

провести проверку на согласованность экспертных оценок

Глава 9. Оценочные шкалы и инструменты обратной связи

217

внутри рабочей группы. Для этого найдём суммы Ri по каждой

строке:

= Σr

= r

+ ri

+ ... + r

k = 1

Выберем среди этих сумм наибольшую R

max

и наименьшую R

min

Вычислим размах

ΔR = R

max

— R

min

Согласованность экспертных оценок считается достаточно вы#

сокой, если

ΔR > m √2n.

В противном случае требуется более точная и трудоёмкая до#

полнительная проверка по дисперсии. С вероятностью 90%

между экспертными оценками имеется достаточная согласо#

ванность, если

D > (0,22m + 0,50)R

–

, где R

–

= — ΣRi — среднее арифметическое,

а D = ——— Σ (Ri – R

–

)

— дисперсия.

m – 1

Формула применима для количества оцениваемых объектов от

3 до 20.

Если согласованность экспертов достигнута, то дальнейшая

процедура проста: объекту с наименьшей суммой рангов при#

сваивается ранг 1, следующему — ранг 2 и так далее. Объект

с наибольшей суммой рангов получает итоговый ранг m.

Рассмотрим это в конкретных числах. Предположим, что

в конкурсе чтецов претендуют на победу четыре ученика: А,

Б, В, Г. Жюри из пяти учителей#словесников должно расста#

вить их по местам и присудить награды. Для этого каждый

член жюри указывает место, которое он считает нужным при#

судить каждому из победителей. В итоге получены следующие

оценки:

В.В. Гузеев. Преподавание

218

Находим теперь

max

= R

= 18;

min

= R

= 8;

Δ R = R

max

– R

min

= 10.

Условие ΔR > √2n в нашем случае имеет вид 10 > √2 × 5 и не

выполняется. Значит, нужна более точная оценка, для чего вы#

числим нужные значения параметров:

15 + 18 + 8 + 9

–

= — ΣRi = ———————— = 12,5.

Условие согласованности

D = —— Σ (Ri – R

–

)

= — (6,25 + 30,25 + 20,25+ 12,25 = 23

4 –1

D > (0,22m + 0,50)R

–

в числах имеет вид

23 > (0,22 × 4 + 0,50) × 12,5

Глава 9. Оценочные шкалы и инструменты обратной связи

219

12345

Член жюри

Ученик

А 3333315

Б 4424418

В 21122 8

Г 12411 9

Ученик Ri – R

–

(Ri – R

–

)

А 2,5 6,25

Б 5,5 30,25

В #4,5 20,25

Г #3,5 12,25

и выполняется (23>17,25). Следовательно, согласованность

оценок нашего жюри обеспечена. Поэтому можно ранжировать

победителей по суммарным рангам:

Таким образом, первое место при#

суждено ученику В, второе — учени#

ку Г и так далее.

Если экспертные оценки в группе не

согласованы (не выполняется крите#

рий по дисперсии), то следует пере#

формировать группу экспертов и повторить процедуру.

При этом может меняться число экспертов. Заметим, что крите#

рий по размаху очень жёсткий. Например, если три эксперта по

четырём объектам дали одинаковые оценки, то R

max

= 12,

min

= 3, ΔR = 9 и условие 9 > 4 √2 × 3 не выполняется , то есть

оценки не согласованы. Но если то же самое сделали четыре

эксперта, то R

max

= 16, R

min

= 4, ΔR = 12 и 12 > 4 √2 × 4, следова#

тельно, их оценки согласованы.

Необходимое число экспертов может существенно меняться

в зависимости от того, что они оценивают: «…исследованиями

было установлено, что для получения коэффициента надёжно#

сти 0,9 при оценке школьных знаний нужно четверо «судей»,

а для оценки такого личностного качества, как импульсив#

ность, — уже восемнадцать» [134; 96].

Вернёмся к рейтинговой системе для школы.

Независимо от того, какой вариант выбран — общая шкала или

попредметная, необходимо составить список всех оценивае#

мых учебных действий, т.е. того, за счёт чего ученик сможет на#

бирать очки. Задача составления такого списка не так проста,

как кажется на первый взгляд. Её можно совместить с процеду#

рой ранжирования, когда каждый эксперт приводит оценивае#

мые действия уже упорядоченным списком, но такой вариант

повлечёт большое количество элементов списка, не имеющих

полного комплекта оценок. В результате невозможно приме#

нить процедуры проверки на согласованность. Поэтому первым

делом надо получить максимально полный список путём опро#

са учителей и добавления всех новых предложений к набору

уже имеющихся. Затем следует ранжировать полученный

В.В. Гузеев. Преподавание

220

Ранг Ученик

1В

2Г

3А

4Б