Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

конечном результате даёт возможность представить

систематизированный перечень умственных действий,

обеспечивающих его выполнение» [75, с. 75].

В методологии критериального оценивания главное

— определить опытно-экспериментальным путём, какое

из умственных действий (выполняемых учащцмся при

тестировании) является доминирующим, а возможно, и

структурообразующим [75, с. 78].

Сложности критериального тестирования в

образовании связаны с тем, что «несформированность у

учащихся отдельных умственных действий ещё не

предопределяет роковым образом их неуспешность в

выполнении учебных заданий. Всё зависит от того,

удаётся ли ученику на основе наличествующих в его

опыте умственных действий (или даже одного действия)

найти способы компенсации, позволяющие справиться с

заданием» [75, с. 79]. По.этому почти всегда при

критериальном тестировании в педагогике мы имеем

дело с гетерогенными тестами, со сложными

структурными критериями. Соответственно задача

разработчика или адаптора переводного теста —

иерархивизировать критерии, придать каждому из них

(или каждой составляющей сложного критерия) ту или

иную степень значимости для общей итоговой оценки

результатов тестирования.

Хотя термины «нормативный» и «критериальный»

общеприняты в психодиагностике и переходят оттуда в

педагогическую диагностику, далеко не всех они удовле-

творяют. Так, например, К. Ингенкамп (Германия) счита-

ет неудачными термины «тесты, относящиеся к норме»

или «ориентированные на норму», так как результаты

тестов, ориентированных на критерии, также

предполагает наличие нормы. Например, предметную

соотносительную норму. Более удачен, по его мнению,

термин «тесты школьной успеваемости,

ориентированные на соотносительную группу» или

«ориентированные на группу». Вместо «тестов,

ориентированных на критерии», он предлагает термин

Ч А С Т Ь П Е Р В А Я

«тесты-критерии» [69, с. 127]. На наш взгляд, мнение К.

Ингенкампа методологически верно, но обозначение

нормативного теста слишком громоздко.

Заметим, что термины «нормативные» (нормативно-

ориентированные), «критериальные» (критериально-ори-

ентированные) тесты не являются строго корректными.

В основе каждого нормативного теста лежат опреде-

лённые критерии оценивания правильности ответа и, в

свою очередь, каждый критериальный тест должен отве-

чать на вопрос о том, достигнуты ли при тех или иных

его показателях минимально требуемые цели (на данном

этапе обучения, в данных конкретных условиях).

Однако эта терминология в современной зарубежной

и отечественной педагогике и психологии уже является

общепринятой и отвечает целям тестирования.

Термины «тест достижений» и «нормативный тест»

также часто используются как аналогичные. Но это уже

методологическая ошибка, поскольку критериальные

тесты ничуть не меньше, чем привычные нормативные

характеризуют уровень достижения учащихся.

Критериальные тесты обычно требуют не только ди-

дактических знаний педагога-составителя, но и его опре-

делённой психологической квалификации (по крайней

мере, чёткой ориентации и обоснованной позиции в трак-

товке структуры и компонентов диагностируемого уме-

ния, навыка, качества личности).

В нормативных тестах оценивание достижений про-

водится на основе подсчёта количества верных ответов.

Это просто и понятно как диагностам, так и испытуемым.

В критериальных тестах ситуация сложнее. Отмеча-

ется, что «все задания теста повышенного уровня

должны соответствовать требованиям базового уровня

программы, но быть нестандартными, творческими.

Очевидно, нет оснований устанавливать какое-либо

обязательное количество выполненных заданий для

получения оценки «отлично».

Такая оценка должна быть показателем успешного

освоения базового образования и применения знаний по

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

данному предмету в нестандартных условиях. Способ-

ность к творческому мышлению может быть убедительно

продемонстрирована учащимися при разрешении одной

лишь проблемной задачи» [55, с. 29].

Мы считаем подобную позицию принципиально не-

верной. Поскольку творчество всегда многогранно по

своим характеристикам, вряд ли качественная

диагностика возможна без серии соответствующим

образом подобранных диагностических заданий.

Характеризуя разработку критериально-ориентиро-

ванных тестов, А. Анастази отмечает, что главным

требованием при их составлении является чёткое

определение области знаний и умений, к которой тест

относится: «чтобы показатели такого теста имели

коммуникативное значение, необходимо выбрать

содержательную область, признаваемую всеми как

важную. Выбранная область Подразделяется на

небольшие единицы, описываемые в терминах

«деятельность» [7, с.93].

Интерес к критериально-ориентированным тестам в

последние десятилетия возрастает. В значительной

степени это связано с увеличивающейся концептуальной

психологизацией учебного процесса, со всё более чётким

пониманием ограниченности эмпирического перебора

методов и формальной математизацией процедур

тестирования. Одновременно углубляется понимание

диалектической сложности проблем качественного и

количественного измерения таких «тонких» феноменов,

как знания, умения, способности и другие психолого-

педагогические аспекты учения и обучающей

деятельности. Такое отношение к критериальному

тестированию связано с идеями гуманизации,

индивидуализации обучения, стремлением педагогов к

отказу от шаблона там, где это допустимо и помогает

развитию личности. Как отмечает Г. Витцлак,

психодиагностика должна стремиться к разработке

таких методов измерения, при которых характеристика

человека, отдельных его сторон или свойств не зависела

Ч А С Т Ь П Е Р В А Я

бы от того, в какой мере эти свойства развиты у других

людей [136, с. 42]. Сказанное можно полностью отнести

и к дидактической диагностике.

По нашему мнению, при разработке в России

системы тестового дидактического контроля следует

отдавать предпочтение критериально-ориентированным

тестам, синтетическим методикам и комплексным

диагностическим программам с включёнными в них

коррекционными мерами.

Критериальные тесты, применяемые в школе для

массовой диагностики, всегда ориентированы на опреде-

лённые нормативы — минимально допустимый уровень

развития того или иного качества (знаний, умений, навы-

ка), при наличии которого можно далее продолжать обу-

чение.

Но как определить этот уровень?

Обычно психологи для установления норматива-

стандарта овладения навыком в критериальном тесте

тест проверют не только на учениках того класса, на

который он рассчитан (например, седьмой), но и на

школьниках предыдущего (шестого) и последующего

(восьмого) классов. Для большей обоснованности

вырабатываемых таким образом норм проводится

экспертный опрос мнений педагогов, работавших с

этими классами.

По мнению А. Анастази, некоторые критериально-

ориентированные тесты, разработанные для изучения

достижения в чтении и арифметике, могут

использоваться для измерения учебных навыков, но пока

на уровне начальных классов школы. «Задания в таких

тестах слишком соотнесены с конкретными целями

обучения, а число последних колеблется от 30 до 200. В

критериальном тестировании постоянно ведётся оценка

владения навыком, а выполнение теста индивидом

рассматривается только лишь с этой точки зрения. Эти

тесты являются диагностическими и

рекомендательными, показатели их выполнения

рассматриваются в свете того учебного материала, как

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

основного, так и дополнительного, которым должен

овладеть учащийся. Обычно подобные методики пред-

ставляют собой непрерывно действующую программу те-

стирования, благодаря чему ученики могут проверяться

после обучения конкретному навыку» [8, с. 58].

Ни нормативные, ни критериальные тесты не идеаль-

ны. Нормативные тесты десятилетия безраздельно гос-

подствовали в практике дидактической диагностики и

определяли стратегию отсева из школ, дифференциации

учащихся по потокам.

Нормативные тесты критикуют в основном за недо-

статочную репрезентативность выборок их валидизации

и социокультурные аспекты формулировки заданий тес-

та. Зачастую эта критика справедлива, однако сейчас

при решении многих диагностических задач в

педагогике без нормативных тестов не обойтись.

Развитие способностей учащегося в чтении

(скорость чтения, количество ошибок), в письме, счёте и

прочих навыках учебного труда можно определить с

помощью нормативного и критериального тестирования.

Причём чем больше мы переходим от массового или

группового обучения к индивидуальному (в том числе

компьютерному в диалоговых режимах), тем более

возрастает роль критериального тестирования и

снижается роль нормативов. Последние постоянно

должны обновляться и разрабатываться для новых

контингентов обследуемых, особенно при адаптации

стандартного теста на другом языке, в другой стране с

другой культурой.

Серьёзным недостатком критериальных тестов явля-

ется то, что их труднее разрабатывать, так как в

психолого-педагогических науках имеется обычно

несколько конкурирующих, порою — трудносовместимых

концепций того или иного явления, процесса развития

какого-либо умения или навыка. Поэтому бывает трудно

установить достаточно приемлемые со всех точек

зрения, единые, универсальные критерии оценки

результатов работы учащегося с тестом.

Ч А С Т Ь П Е Р В А Я

Сложность оценки результатов критериального

теста заключается в том, что обычно это тест

гетерогенный, включающий много диагностических

целей и задач. Так как в объёме и времени тестирования

он всё же ограничен, на некоторые (а порою — и многие)

задачи приходится слишком мало заданий. На основе 3-5

заданий трудно, а то и бессмысленно выводить какую-

либо статистику. Поэтому следует использовать данные

результатов тестирования, проведённого ранее с теми

же учащимися, но более специализированного, и

учитывать результаты тестирования других учеников.

Д ид акты США считают, что надо скорее

переходить от нормативного к критериальному

тестированию как более гуманному и ориентированному

на оптимистическую концепцию развития.

Суть.последней в том, что «большинство детей способно

научиться почти всему, что им даётся в благоразумных и

необходимых пределах, особенно когда целесообразно

используются такие методики обучения, как

индивидуализация, обучение в малых группах и

домашнее обучение» [146, с. 213]. Выступая против

нормативно-ориентированного тестирования, Кеннет А.

Сиротник и И. Гуадаэд справедливо отмечают, что

нельзя ограничить диагностические функции одним

только выставлением баллов. Они пишут: «Тестирование

только часть оценивания, оценить — значит описать и

вынести суждение» [146, с. 215],

Большинство российских педагогов придерживается

аналогичной точки зрения — с той лишь разницей, что

американцев «перекормили» тестами, а у нас до сих пор

нет стандартизированных (даже нормативных) тестов ни

по одному учебному предмету.'

Разработка психодиагностического сопровождения

нормативных тестов, особенно компьютерных, =— пер-

спективная сфера исследований, связанная с созданием

целостных диагностико-коррекционных комплексов,

взаимоконтролем методик и поэтапным углублением

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

диагностирования в ходе педагогического процесса (для

своевременного распознавания отклонений).

Профессиональные и дилетантские тесты

По профессиональному признаку тесты разделяются

на стандартизированные (профессионально составлен-

ные) и неформальные (не прошедшие минимально необ-

ходимые методологические процедуры обоснования на-

дёжности и валидности, не имеющие нормативов

стандартизации), то есть любительские, дилетантские.

Пока тест не прошёл стандартизацию, пользоваться

им следует весьма осторожно. В.П. Битинас и Л.И. Ката-

ева правы в том, что стандартизация диагностических

средств снимет многие вопросы, которые обсуждаются

сегодня на дискуссии о преимуществах или недостатках

различных дидактических систем, новаторских поисков

[24, с. 13].

Действительно, без объективного, насколько это

возможно, сопоставления эффективности различных

методик и педагогических технологий все рассуждения

об их преимуществах и недостатках дальше «общей

говорильни» ни к чему не приведут.

В любом случае при создании дидактических тестов

Необходимо стремиться к высокому уровню

профессионализма, к серьёзной методологической и

технологической разработке батареи тестов, к их

обязательной эмпирической проверке.

Только предварительно определив диагностические

возможности тестов (какими бы простыми они ни были),

можно говорить о них как о средствах измерения знаний,

умений и профессиональных качеств.

В остальных случаях имеется только «проект» теста,

его черновой вариант. И подобно тому, как на основе на-

бросанного от руки эскиза уважающий себя прораб не

возьмётся строить многоэтажный дом, нельзя серьёзно

ссылаться на результаты тестирования, если тест не

Ч А С Т Ь П Е Р В А Я

прошёл стадии эмпирического анализа и

стандартизации.

В подобной ситуации можно говорить лишь о

приблизительных результатах, о замеченных педагогом-

диагностом тенденциях, но не о достоверности данных

(дающих основание для объективной оценки). Особенно

если не известен принцип диагностического

распознавания ошибок, не определены диагностические

возможности методики.

Результат изготовления (или адаптации

переводного) теста зависит от профессионализма.

Разумеется, абсолютно чётких границ внутри группы

стандартизированных тестов нет; но можно выделить

минимально и максимально (более подробно, детально)

стандартизированные тесты. Надёжность,

содержательная, прогностическая, критериальная

валидность и нормативы — его неотъемлемые

характеристики. Кроме того, чем больше процедур

проведено с тестом, тем легче определить

целесообразность его использования в какой-либо

ситуации.

По мнению А.А. Реана, следует дифференцировать

методики с профессиональными ограничениями (П-мето-

дики) и открытые методики (О-методики) [127]. Выступая

против открытой публикации П-методик, А.А. Реан

приводит такие аргументы:

— неподготовленность пользователя-

непрофессионала к правильной интерпретации

полученных данных из-за теоретической

неподготовленности;

—неумение дилетантов обеспечить взаимоконтролем

методик достоверность данных;

—ознакомление неспециалистов с принципами по-

строения психодиагностических методик приводит к по-

тере диагностической ценности методики, так как в этом

случае «её валидность вызывает сомнения» [127, с. 187].

Хотя последний аргумент довольно спорный, к нему

тем не менее следует прислушаться.

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

Такую же позицию занимают и российские психоди-

агносты, предложившие еще в 1987 г. проект норматив-

ных требований к разработке и пользованию диагности-

ческих методик [117].

За рубежом профессионализм, подтверждённый

соответствующим документом, даёт право пользования

методиками, предназначенными для специалистов. В

противном случае даже продавец методик подвергнется

всевозможным негативным санкциям со стороны,

например, Американской психологической ассоциации.

Кроме того, потеряет и доброе имя, и клиентов.

Отечественные психодиагносты предлагали

публиковать методики под грифами «для служебных

библиотек». А.А. Реан справедливо считает, что издание

полной информации по П-методикам в книгах с грифами

«для научных библиотек» — не выход, методики всё

равно несанкционированно распространяться. И более

того, актуален вопрос о том, кто должен относить

методики к какой-либо категории, ибо «Общество

психологов» (и его центральный совет) не является

директивным органом и ему подотчётны только его

члены.

Можно согласиться с мнением А. А. Реана, что

только «ответственный и сознательный подход к

психодиагностике должен стать залогом того, что в

психологии не повторится 1936 год, не появится новое

постановление «О Педологических извращениях», иначе

говоря, не произойдёт дискредитация чрезвычайно

важных практических вопросов, к решению которых

приступила современная психология» [127, с. 188].

Всё сказанное выше можно отнести и к педагогичес-

кой диагностике, в частности — к дидактическому тести-

рованию. Аналогичные решения, подкреплённые автор-

ским правом и авторитетом профессиональных союзов,

должны быть приняты и осуществляться также в области

педагогической диагностики — особенно при разработке

и распространении профессионально составленных стан-

дартизированных дидактических тестов.

Ч А С Т Ь П Е Р В А Я

Типология тестов по доминирующей деятельности

испытуемого

В соответствии с доминирующей деятельностью ис-

пытуемого выделяют тесты действия, тесты письменные

и устные. Обычно весь тест ориентирован на определён-

ный вид деятельности обследуемого и довольно редко (в

некоторых тестах для поступающих в школу, в отдель-

ных тестах профотбора) сочетается несколько видов

деятельности. Но и тогда они чаще всего выступают в

виде субтестов, сохраняющих свою автономность и

возможность изолированного использования в других

батареях тестов и субтестах.

Каждая группа тестов, выделяемых на этом основа-

нии, имеет свою специфику. Вербальные (устные) тесты,

по мнению исследователей проблемы, обычно включают

задачи выбора подходящего слова для завершения пред-

ложения, задания на классификацию (подбор) слов по

определённым критериям, сравнение и

противопоставление с использованием глаголов и

прилагательных и т.д. Сюда же относятся тесты по

контролю навыков счёта.

Рассмотрение отдельных заданий вербальных

тестов показывает, что все они требуют

сформированное™ навыков и наличия определённых

знаний. Поэтому именно те дети, которые хорошо

успевают в школе, как правило, набирают большее

количество баллов при прохождении этих тестов.

Например, даётся задание выбрать неподходящее

слово из серии слов: «морковь, репа, бугор, свёкла, капу-

ста» или «долина, лощина, брюква, ущелье, расселина» и

т.д. Для выполнения задания требуются не только

умение сравнивать, но и определённые знания по

ботанике, географии, грамматике. Обычно в более

выгодном положении находятся дети, получившие в

семье хорошую подготовку к школе, имеющие богатый

словарный запас и хорошо читающие.