Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 411

б) аналогичная операция выполняется для не выпол-

нивших задание;

в) подсчёт: а — б.

В литературе этот индекс обозначается по-разному:

VLT, VLD, D. По мнению А. Анастази и других исследо-

вателей, данный индекс хорошо согласуется с более

сложными мерами валидности и может принимать любое

значение между ± 100, прямо пропорционален индексу

различений, выявляемому тестовым заданием. Чем выше

среднее D, тем выше надёжность теста. Намного

значительнее D изменяется при среднем уровне

трудности заданий, что отмечает А. Анастази [7, с. 192].

Разработано около 50 различных коэффициентов ва-

лидности, вычисляемых для разных ситуаций в виде ко-

эффициентов корреляции между заданием и критерием.

Имеются и традиционные бланковые, и машинные (ком-

пьютерные) варианты подсчёта (некоторые примеры при-

водит B.C. Аванесов в свой книге «Тестыв социологичес-

ком исследовании»).

Бисериальная корреляция находится на основе сред-

него значения критериального показателя выполнявших и

не выполнявших задание, процента справившихся и

осиливших с задание по всей выборке и стандартного от-

клонения показателей критерия. Для этого используются

специальные таблицы, с помощью которых можно полу-

чить коэффициент бисериальной корреляции (Rdis), зная

процент справившихся и не осиливших задание в группах,

соответствующих верхним показателям внутренней

согласованности.

Возможна ситуация, когда для окончательного вари-

анта теста при отборе заданий методом внутренней

согласованности произойдёт перекос. Причина — из

нескольких групп заданий (в соответствии с типичными

рекомендациями тестологов) отобраны те задания,

которые между собой более согласованы. Тогда выпадут

из нового варианта теста другие, которые отражают

отдельные, относительно «автономные» характеристики

конструкта базового учебного материала и мало

Ч А С Т Ь В Т О Р А Я

включённые во внутри-предметные и (или)

межпредметные связи. Произойдёт повышение

однородности заданий теста.

При этом если у нас сохранятся задания, измеряю-

щие одно и то же свойство, хорошо представленное в

структурно несложном критерии, повысится валидность

теста. Если же критерий структурно сложен, то при отсе-

ве заданий с низкой внутренней согласованностью мы

рискуем снизить валидность теста. Особенно если

вычисленный экспертами уде^р>ный вес, значимость

заданий, удалённых нами из-за недостаточной

согласованности с остальными, была высокой. В

результате произойдёт резкий перекос в

содержательной валидности и, возможно, критериальной

и педагогической.

Слишком высокая внутренняя согласованность зада-

ний показывает, что при высокой внешней валидности

они очень близки друг другу. Это просто разные формы

одного задания (как множество классических задач из

учебников физики о бассейне, в который вода по одной

трубе втекает, а по другой вытекает). Для структуры тес-

та, ориентированного на сложный критерий, лучше ис-

пользовать задания с высокой внешней валидностью и

низкой внутренней согласованностью. Тогда тест больше

будет диагностировать эрудицию учащихся, их общую

ориентировку в проблеме в целом, в теме, в разделе, в от-

расли знаний, что особенно важно для тестов итогового

контроля.

В доводке теста разработчикам может пригодиться

рекомендация психодиагностов: при корректировке теста

важно обратить внимание на верхние и нижние 27% рас-

пределения значения критерия (на тех учащихся, которые

при ранжировании по результатам выполнения кри-

териальных заданий оказались в этих зонах). Именно они

составляют основу контингента для применения метода

полярных групп, позволяющего более точно рассчитать

надёжность и валидность теста (равно как и любой

другой методики).

412

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 413

АНАЛИЗ ВНУТРЕННЕЙ СОГЛАСОВАННОСТИ ЗАДАНИЙ

ДИДАКТИЧЕСКОГО ТЕСТА

В тестах учебных достижений внешним критерием

часто становится суммарный результат теста, особенно

если другие обоснованные внешние критерии трудно

определить. Например, тест проверяет знания и умения

учебного характера, непосредственно не связанные с

какой-либо профессиональной деятельностью, но

необходимые для успешного продолжения учёбы по

другим предметам.

Получается в результате не реальная внешняя валид-

ность по, критерию, а мера внутренней согласованности

заданий теста в тесте как целостности. Эта мера позволя-

ет уточнить содержательную валидность (насколько взаи-

мосвязь заданий отличается от взаимосвязи внутри диа-

гностируемого учебного материала — глав, разделов, тем

— в структуре рабочей или типовой программы).

Для этого экспертным путём или факторным анали-

зом уточняются данные о взаимосвязи элементов базового

конструкта содержания этого учебного материала (или

качества, умения, если нами адаптируется и перепрове-

ряется тест обучаемости).

Психодиагносты отмечают встречающиеся противо-

речия такого типа: задания, выбираемые только по при-

знаку внешней валидности, могут быть неудовлетвори-

тельны с точки зрения суммарного показателя теста.

Для такой ситуации используется термин «чистая

эффективность задания теста», характеризующий чистый

прирост валидности теста при добавлении к нему ещё

одного конкретного задания. Если это нововведённое при

корректировке теста задание тесно коррелирует с внеш-

ним критерием, но относительно слабо с суммарным по-

казателем теста, то оно предпочтительнее другого зада-

ния на этот же учебный элемент (или какой-то аспект ди-

агностируемого качества), которое имеет высокую корре-

ляцию и с критерием, и с тестом в целом.

Ч А С Т Ь В Т О Р А Я

Подобная позиция тестологов кажется странной

только на первый взгляд: при описанной ситуации с но-

вым заданием, слабо коррелирующим с суммарным пока-

зателем теста, измеряется некоторый неизвестный диа-

гносту аспект внешнего критерия, не учитываемый долж-

ным образом остальными заданиями.

Подбор заданий теста по признаку их чистой эффек-

тивности ориентирован на максимально широкий охват

критерия. Такой подход диаметрально противоположен

ориентации теста на внутреннюю согласованность зада-

ний (целью которого является обычно повышение одно-

родности теста).

Среди заданий следует выбрать то, которое больше

работает на внешний критерий.

Выявление чистой эффективности заданий теста наи-

более целесообразно в сложных батареях тестов, входя-

щих в монографические диагностико-коррекционные

программы или комплексы методик биографического ха-

рактера, охватывающие широкий спектр разделов про-

граммы. Необходимо это и при разработке, выверке тес-

тов на общую эрудицию.

Применительно к дидактическим тестам разных эта-

пов контроля знаний можно отметить следующее:

а) анализ внутренней согласованности заданий

всегда

целесообразен;

б) на его основе имеет смысл составлять и корректи-

ровать тесты текущего контроля знаний по темам и

разде-

лам, материал которых имеет многогранные и прочные

внутрипредметные и межпредметные связи;

в) в тестах текущего и тем более рубежного контроля,

охватывающих разнородный по содержанию материал

или знания из ряда смежных, но относительно самостоя-

тельных разделов, или же сложные структурные качест-

ва, анализ чистой эффективности задания будет не

только

более целесообразен, но и скорее всего более

414

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 415

продуктивен

в дидактическом «входном» тесте и тестах итогового кон-

троля (например, за весь курс физики или естественнона-

учный цикл — как на приёмных экзаменах в вузы).

Лучше всего — сочетание обоих подходов. В психо-

логическом тестировании, особенно при создании много-

факторных личностных опросников (для изучения ха-

рактера, интересов), практикуется распределение срав-

нительно однородных заданий по отдельным тестам или

субтестам, каждый из которых диагностирует какой-то

аспект критерия. Таким образом, можно сохранять за-

дания с низкой внутренней согласованностью. Это поз-

воляет устранить чрезмерную концентрацию однородных

заданий в одном тесте или субтесте. (Напомним, что

излишняя гомогенность теста, особенно по форме* пост-

роения заданий, делает его просто скучным для сильных

учащихся.)

Описанный подход при дидактическом тестировании

вряд ли оправдан, если иметь в виду, что подобный раз-,

брос заданий по тесту может привести к таким последст-

виям, как:

а) снижение «врабатываемости» учащегося в тест из.?

за слишком частых переключений внимания с одной те-

мы (раздела) на другой и снижение индивидуальных по-

казателей темпа работы (хотя это пока что только гипоте-

за, которую надо проверить);

б) ухудшение отношения ряда обследуемых к тести-

рованию как процедуре, которая тогда может восприни-

маться как сознательное усложнение важной и ответст-

венной для учащегося работы, желание его «поймать».

Это приведёт только к более частым попыткам списыва-

ния, подсказкам;

в) усложнение ряда процедур валидизации, особенно

факторной валидности, столь необходимой для дальней-

шей работы по доводке теста.

Итак, то, что пригодно для больших личностных оп-

росников, которые используют социопсихологи, мало

Ч А С Т Ь В Т О Р А Я

подходит для педагогической диагностики, построенной

на более сложных конструктах.

Рисковать снижением валидности методики из-за то-

го, чтобы лучше «подловить» учащегося на незнании, со-

здавая ему дополнительные трудности в работе с тестом,

не стоит. Особенно в ближайшие годы, имея дело с непри-

вычными к тестам учащимися — ведь тестирование ещё

недостаточно прочно вошло в современную дидактичес-

кую систему.

Вряд ли описанная социопсихологами система рас-

пределения гомогенных заданий может использоваться в

текущем контроле по относительно гомогенному учебно-

му материалу. Если её и применять, то на входном и ито-

говом контроле, предварительно проверив в репрезента-

тивных методологических экспериментах гипотезы в

пунктах а) и б).

ВАЛИДИЙАЦИЯ И АНАЛИЗ ЗАДАНИЙ ТЕСТОВ НА СКОРОСТЬ

Подавляющее большинство практикуемых дидакти-

ческих тестов имеет значимый для результатов тестиро-

вания скоростной фактор. Время их выполнения обычно

ясёстко лимитируется и входит в норматив. Особенно это

проявляется в компьютерном дидактическом тестирова-

нии, где программа автоматически выставляет штрафные

или поощрительные баллы.

Такая позиция разработчиков теста по отношению к

«временному фактору» исходит из традиций технологии

тестового отбора, сложившихся ещё в начале века.

Действительно, в психодиагностических тестах проф-

отбора скорость реакции являлась во многих случаях су-

щественным фактором, равноправным с правильностью

(точностью) выполнения задания. Такая значимость её

сохраняется и сейчас при профотборе на операторские

профессии (водитель, оператор ТЭЦ, лётчики, машинисты

электровозов и т.п.). Это понятно и обоснованно.

Но механическое заимствование такой оценки вре-

менного фактора в дидактическом тестировании оправда-

но только в тех случаях, когда диагностируется професси-

416

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 417

ональный навык или навык учебного труда, имеющий свои

возрастные нормативы. Например, к числу последних

можно отнести скорость чтения вслух и «про себя»,

скорость письма (в сочетании с грамотностью и каллигра-

фией), скорость вычислений (обычно — элементарных, по

таблице умножения или аналогичным схемам).

Но даже в этих случаях пересмотр нормативов целе-

сообразен лишь в ходе специально организованных мето-

дологических репрезентативных исследований, прове-

дённых с учётом возрастных факторов и доминирующего

Характера диагностируемого предметного материала. В

качестве последнего могут быть использованы

литературное произведение (текст из хрестоматии или

рассказ И.С. Тургенева), материал из учебника по химии

или технологии машиностроения. Эти тексты должны,

на» наш взгляд, иметь свои скоростные нормативы, со

своими дополнительными, выработанными в

эксперименте поправочными коэффициентами на

сложность текста, соотношение текстовой, графической,

математической и другой иллюстративной наглядности,

терминологией и т.д.

При разработке новых дидактических тестов особо

следует учесть, что прежние нормативы складывались

ещё Е «докомпьютерную», а то и в «дотелевизионную»

эпоху.

Новые информационные потоки (например, мульти-

медиа) и новые психолого-педагогические требования к

скорости их восприятия учащимися различных возрастов

и классов обучения в средней школе ещё недостаточно

чётко и научно сформулированы. Источником получения

расчётных формул для поправочных коэффициентов мо-

гут быть многолетние исследования по проблемам школь-

ного и вузовского учебника, а также работы социологов и

социопсихологов по контент-анализу.

Современная дидактика развивающего обучения,

ориентированная на гуманистический подход к личности

учащегося, на создание возможности учиться в соответст-

вии с его индивидуальным стилем, в принципе выступает

Ч А С Т Ь В Т О Р А Я

против ограничений во времени жёсткими нормативами

учебной деятельности. Особенно там, где в этом нет

функциональной необходимости (которая есть, например,

в обучении операторским профессиям).

Индивидуализация обучения в случае такого нео-

правданного ограничения во времени сроков усвоения

материала на уровне изучения вопроса, темы становится

общей фразой очередного педагогического призыва,

который растает в воздухе, как только и холерика, и

флегматика будет связывать один ц тот же норматив

времени на усвоение материала при изучении

общеобразовательных, гуманитарных, общенаучных

дисциплин.

Жёсткий норматив на уровне текущего усвоения (и

контроля) знаний негативно скажется на их индивиду

альном стиле учебной деятельности, на формирование и

закрепление которого нацелена личностно-ориентирован-

ная педагогика. Иное дело — итоговое усвоение учебного

материала и проектируемое учебными планами и про-

граммами (заложенное в государственном образователь-

ном стандарте) развитие личностных и индивидуально-

своеобразных познавательных возможностей учащихся.

Н.Ф. Талызина, некоторые ведущие психодиагносты

России (З.И. Калмыкова и др.) считают, что при програм-

мированном обучении и контроле знаний с помощью ди-

дактических тестов время выполнения заданий учащихся

не надо ограничивать.

Как практически решить возникающие противоречия

между современным гуманистическим подходом к

индивидуализации обучения (признанной всеми ведущи-

ми дидактами главным фактором, обуславливающим его

качество) и реально существующими в нагни дни в живом

педагогическом процессе ограничениями учебной дея-

тельности временем, отводимым государственными стан-

дартами для изучения учебного предмета и его составля-

ющих— параграфа, темы, правила?

418

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 419

Самый простой выход — это возврат к индивидуаль-

ному обучению (или микрогрупповому) репетиторско-гу-

вернёрского типа.

Однако его трудно использовать (а в массовой школе

при нынешнем уровне компьютеризации невозможно) да-

же при невысокой наполняемости класса или при работе в

лингафонном кабинете.

Другой вариант — переход к индивидуальному ком-

пьютерному обучению в сочетании с максимальным ис-

пользованием мультимедиа в учебном процессе. Но и он в

ближайшие годы в России не может стать массовым. Из-за

того, что невозможно обеспечить всех учащихся ПЭВМ и

дидактическими средствами как в учебном заведении, так

и на дому.

Психодиагностическое сопровождение теста теорети-

чески позволяет в этом случае определить индивидуаль-

но-психологические характеристики учащегося и предо-

ставить ему возможность работать в своём темпе, без

давления фактора времени, нервирующего и не

позволяющего реализовать индивидуальный стиль

деятельности

Значит ли это, что надо отказаться в компьютерном

дидактическом тестировании (как, впрочем, и в традици-

онном бланковом) от временного фактора? На наш взгляд

— нет.

Есть компромиссные варианты решения проблемы.

Выход из положения подсказан практикой. Это предва-

рительная (перед тестированием, а лучше в начале учеб-

ного года) «входная» психодиагностика основных харак-

теристик индивидуального стиля деятельности учащихся

(типа темперамента, интеллектуальных, хронобиологи-

ческих и других особенностей личности) и введение в ди-

дактические стандартизированные тесты специально раз-

работанных поправочных коэффициентов к темпам опти-

мального выполнения по времени тестов такого уровня и

степени сложности (на основе таксономического распоз-

навания компьютерной психодиагностической програм-

мой типов учащихся).

Ч А С Т Ь В Т О Р А Я

По сути, тем самым мы реализуем адаптивный подход

к работе учащегося с дидактическим тестом (а в других

случаях — с диагностической обучающе-коррекцион-ной

программой). В результате в дополнение к дидактиче-

скому тестовому показателю будет даваться поправочный

коэффициент индивидуальной валидности выполненных

заданий тестов или их субтестов.

Конечно, без компьютерной техники это всё нереаль-

но, но в ряде школ она есть.

Проблема в основном не в том, сколько средств

потребуется на компьютерный класс, а в отсутствии

специальных методологических исследований по

созданию:

а) достаточно обоснованной модели-конструкта пси-

хологически-значимых факторов, влияющих на качество

дидактического тестирования (в этом направлении мы

только начали работать);

б) иерархизации системы эмпирических индикаторов

к такой модели;

в) оптимального психодиагностического комплекса,

достаточно универсального для большинства компьютер-

ных психодиагностических тестов.

Психодиагностами отмечаются ситуации, возникаю-

щие при введении в тест скоростного фактора.

Скоростные индексы, «если не считать заданий, при

выполнении которых никто или почти никто из

обследуемых не испытывает недостатка времени,

отражают не столько действительную трудность или

валидность заданий, сколько их положение в тесте.

Задания, выполняемые в тесте позднее, будут выполнены

сравнительно малым числом испытуемых, поскольку лишь

немногие из них успевают до них добраться. Каким бы

лёгким ни было задание, если оно расположено в конце

теста на скорость, оно будет казаться трудным. Если,

скажем, вопрос об имени испытуемого поместить в конце

скоростного теста, то процент лиц, ответивших на него,

будет весьма низким» [7, с. 196].

420