Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 401

валидности теста для двух и более групп обследуемых

(систематическая ошибка наклона) и соотношением

между групповыми значениями по тесту и критерию —

систематической ошибкой интерцепта [7, с. 175-179].

Приведённые выше понятия используются для ак-

центирования того, что заложено в тесте, — в противопо-

ложность возможной случайной ошибке. Это в значи-

тельной степени связано со спецификой выборки, на ко-

торой адаптируется тест. Рассмотрим эти понятия более

подробно.

Систематическая ошибка наклона теста. Различие

коэффициента валидности теста для двух групп

обследуемых может быть связано с использованием в

роли критерия субъективных оценок. Систематическая

ошибка наклона теста может возникать и при сравнении

выводов об эффективности его применения ца

представителях разных этнокультурных, социальных и

профессиональных групп. Зависит она и от величины их

выборки.

Исследователям, проверяющим тест, необходимо по-

пытаться установить различия между коэффициентами

валидности для разных выборов (или для двух-трех час-

тей данной выборки по отдельности). Если такие разли-

чия окажутся достаточно существенными (например, в

тесте по химии в русскоязычных и национальных груп-

пах), то лучше всего проверить тест ещё раз на двух неза-

висимых выборках* для того чтобы выяснить, действи-

тельно ли эти различия столь существенны. Если откло-

нения вызваны спецификой данного контингента обсле-

дуемых, то следует, просчитав эту систематическую

ошибку наклона, учитывать её при анализе полученных

тестовых данных и при принятии педагогами решений об

отсеве, распределении учащихся.

Систематическая ошибка интерцепта означает, что

тест систематически завышает или занижает значения

критерия для части группы обследуемых. Обнаружить её

можно в том случае, когда результаты тестирования мы

анализируем по различным подгруппам обследованного

Ч А С Т Ь В Т О Р А Я

контингента, что особенно необходимо на стадии выверки

нового теста. Возможно, что она будет обнаружена даже

при одинаковой валидности теста для двух групп.

Следствием бывают разные прогностические значе-

ния теста для этих групп (например, этнического боль-

шинства и меньшинства). Если к этим группам мы начнём

применять единый нормальный показатель, одна из них

может оказаться в более, а другая в менее благоприятных

условиях.

Требуется расчёт систематической ошибки интерцеп-

та для тестов, ориентированных на обследование групп с

существенными различиями по образовательному и со-

циоэкономическому уровням. В дидактической диагнос-

тике необходимость проведения таких расчётов может ос-

лабляться введением адаптированных программ индиви-

дуального обучения [7, с. 177-179].

Причиной систематической ошибки интерцепта мо-

жет быть не только содержание знаний и умений,

заложенных в заданиях теста, но и семантика теста —

степень привычности или сложности формулировки его

заданий. Для различий в национальных группах могут

быть существенны этнопсихологические факторы,

особенно в тестах, связанных с гуманитарными

ценностями и знаниями.

Могут здесь сработать и демографические, биогра-

фические различия учащихся. Так, для выпускников

городских школ, в которых тестирование применялось в

старших классах, сама форма предъявления теста при

вступительных экзаменах в вуз привычна. Это делает те-

стирование для них операцией знакомой, рутинной. В то

же время для абитуриентов из отдалённого села, кото-

рые тесты ранее не видели никогда, уже сама ситуация

тестирования связана со стрессовыми дополнительными

факторами.

Возможна и другая, семантическая ситуация: нечётко

сформулированное задание во вступительном тесте. Не

исключено, что в худшем положении окажутся как раз

лучшие выпускники престижных школ, привыкшие к

402

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 403

более строгим и точным формулировкам задания. Поду-

мав, что за «простотой» в задании скрываются ловушки,

они могут начать искать в нём его «второй смысл», осо-

бенно в ситуации отбора при высоком конкурсе. Потратив

на выполнение задания много времени и сил, не найдя яв-

ного подвоха, эти хорошо подготовленные выпускники в

ситуации, когда задания построены с выборочным вари-

антом ответа (а так строится большинство

стандартизированных тестов), могут остановиться не на

более очевидном и правильном варианте, а на том, что

«похитрее», — и ошибиться. А троечники думать не будут

— выберут более очевидный вариант и получат свой балл.

6.13. ДИФФЕРЕНЦИАЛЬНАЯ ВАЛИДНОСТЬ

ДИДАКТИЧЕСКОГО ТЕСТА

Применение дидактических тестов для классифика-

ционных задач распределения учащихся по категориям —

от отсева до направления в подгруппы с различной

специализацией — требует определения дифференциаль-

ной валидности теста по отдельным критериям, на основе

которых осуществляется распределение.

Предположим, что 2-й курс в технологическом вузе

заканчивает на двух специальностях 5 групп студентов

(100 чел.). Все они проходили итоговый контроль знаний

по физике, химии и математике с помощью

дидактических тестов. После окончания первой ступени

обучения (базовой общенаучной подготовки)

администрация вуза должна их распределить для

дальнейшей специализированной подготовки к

следующим будущим рабочим местам:

а) 5 лучших студентов начинать готовить по

программам повышенного типа для последующего (через

три года, после окончания вуза) поступления в

аспирантуру при кафедрах химии и физики (в

соответствии с перспективным планом развития кафедр,

ориентированным на предварительную подготовку к

Ч А С Т Ь В Т О Р А Я

научно-исследовательской и преподавательской работе

лучших выпускников);

б) 5 человек надо отобрать для пополнения контин-

гента старших лаборантов проблемных лабораторий (им

через три года предстоит исследовательская работа и

обес-

печение стабильности работы научного и учебного обору-

дования лабораторий. Оборудование дорогостоящее, без

него невозможна научная, в том числе и хоздоговорная

работа кафедр, оно должно быть в надёжных руках хоро-

шо знакомых с техникой людей);

в) 10 человек по договорам с базовыми предприятия-

ми надо будет потом направить в научно-исследователь-

ские прикладные лаборатории крупных базовых пред-

приятий (местный химкомбинат, производящий удобре-

ния, стиральные порошки, и текстильный комбинат, ра-

ботающий по импортной технологии);

г) остальные предположительно пойдут работать ин-

женерами-технологами в линейные подразделения базо-

вых предприятий.

В описанной ситуации даже при таком ограничении

вариантов мы имеем несколько критериев для отбора

студентов для профильного обучения в последующие три

года:

1)пригодность к исследовательской работе (которая

может ещё подразделяться на теоретическую и приклад-

ную) — варианты (а), (б), (в);

2)пригодность к преподавательской работе — вари-

ант (а) и отчасти (б);

3)умение решать прикладные технологические про-

блемы — вариант (г) и отчасти (а) и (в).

Можно экспертным методом (ведущие педагоги вуза

Плюс производственники) взвесить удельные веса и опре-

делить иерархию этих критериев для каждого варианта

трудоустройства.

Более сложно это будет для последнего варианта —

(г), поскольку технологические спецдисциплины студенты

ещё не изучали и мы можем только прогнозировать

404

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 405

критериальную валидность тестов с успешностью изуче-

ния этих дисциплин.

Здесь нам очень помогут (если они имеются) данные

конкурентной валидности тестов итогового контроля ре-

зультатов обучения за первые два года и тестов

диагностики тех технологических знаний, которые

студенты только должны будут получить при

последующем обучении.

Правда, в процессе прогностической (или, что одно и

то же, проспективной) валидизации (проведённой по

оценкам непосредственными начальниками и коллегами

продуктивности работы выпускников, ранее окончивших

вуз и трудоустроенных на этих же рабочих местах по спе-

циальности) мы могли бы получить корреляции с тестом.

Однако выпускники, которые учились 5-10 лет назад,

чьи трудовые успехи сегодня будут оценивать их на-

чальники-эксперты, не проходили такого тестирования. В

те времена были менее совершенные программы дис-

циплин, менее квалифицированные педагоги, более при-

митивное учебное оборудование и т.д. Так что эти два по-

коления выпускников просто нельзя сравнивать между

собой по многим показателям.

В этих условиях дифференциальная валидизация те-

стов по нескольким критериям поможет выяснить, кого из

студентов лучше направить в аспирантуру, кого — тех-

нологом в цех и т.д. А кого — вообще отчислить и пореко-

мендовать доучиваться в техникуме.

При этом мы должны будем получить данные диффе-

ренциальной валидности по каждому из трёх тестов (фи-

зика, химия, математика), а также желательно данные

психодиагностического сопровождения, которые будут

иметь различное значение для принятия решений по

каждому варианту.

Представим, что все обследуемые прошли вместе с

дидактическим тестированием:

а) тест креативности (творческой сЦособности) мыш-

ления;

Ч А С Т Ь В Т О Р А Я

б) тест организаторских и коммуникативных способ-

ностей;

в) тест на предпочтительный тип профессиональной

деятельности (с людьми, техникой, символами и т.д.).

В результате мы получим как минимум (если не учи-

тывать подгруппы внутри контингента) четыре рейтинга

по всем тестам. Пятым может быть итоговый рейтинг,

суммирующий (или интегрирующий с помощью дополни-

тельных «весовых» коэффициентов) все результаты об-

следований по каждому из студентов.

При одинаково высоких данных по всем трём дидак-

тическим тестам для аспирантуры лучше будет подбирать

тех, кто даёт наиболее высокие показатели креативности

мышления, даже если им будут сопутствовать сравни-

тельно невысокие баллы по другим психодиагностичес-

ким тестам.

Для линейных же подразделений обычных предприя-

тий будут более пригодны студенты, имеющие высокие

баллы организаторских и коммуникативных способностей

при одновременной, как минимум на уровне средних

значений, выявленной тестами склонности к работе с тех-

никой и людьми (даже при том, что они едва перешли

нормативный порог дидактического теста, то есть показа-

ли себя «троечниками»).

Лаборанта нельзя будет принимать на работу, если у

него нет склонности к работе с техникой, а вузовского ла-

боранта хотя бы ещё среднего уровня организаторских

способностей можно (при обязательном уровне достиже-

ний выше среднего по тому дидактическому тесту, кото-

рый связан с профилем оснащённости предполагаемой

лаборатории,— вычислительной техники, органической

химии и т.д.).

При этом, анализируя полученные результаты, место

каждого из обследуемых надо определить на ранговой

шкале по каждому критерию и осуществлять многофак-

торный разносторонний отбор, взвешивая различные со-

четания вариантов.

406

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 407

Если при этом будут учтены все указанные выше по-

правки коэффициентов валидности — на локально-груп-

повые факторы, специфику модераторов, хронологичес-

кие факторы, специфику зависимости теста и критериев,

объяснение величины коэффициента валидности и стан-

дартные ошибки оценки — наш прогноз может оказаться

достаточно точным.

В результате, согласно данным педагогической ва-

лидности тестов, можно будет обоснованно провести се-

лекцию студентов по наиболее целесообразным

профилям дальнейшей профессиональной подготовки.

Как видим, дифференциальная валидность теста

очень тесно связана с его конкурентной валидностью. В

более сложной и ответственной ситуации отбора диагнос-

ту лучше использовать и другие тесты, имеющие прове-

ренные нормативы и хорошо зарекомендовавшие себя.

На Западе проводятся специальные исследования по

выявлению конкурентной валидности тестов. В США ди-

апазон корреляций теста ABLE («Проверка уровня гра-

мотности взрослых») и соответствующих субтестов SAT,

полученных на репрезентативной выборке учащихся на-

чальных и старших классов, составил от 0,60 до 0,80. Те

же значения дали и выборки взрослых.

Корреляция между тестами ABLE и данными теста ,

общеобразовательного уровня развития GED колебалась

по субтестам в диапазоне 0,50-0,70. А множественные

корреляции для прогноза показателей по GED на основе

показателей ABLE были в диапазоне 0,67-0,75 [8, с. 47]. У

теста готовности к обучению в школе (MRT) корреляции с

групповыми тестами интеллекта составляли около 0,70.

Модифицированный вариант тестов развития Ги-зелла на

дошкольниках получил валидность 0,64 по сравнению с

данными SAT, полученными через год после окончания

этими же детьми 1-го класса [9, с. 64].

В Германии при стандартизации Гейдельбергского

теста речевого развития детей анализ разработчиками

X. Гриммом и X. Шелером оригинала теста показал кон-

Ч А С Т Ь В Т О Р А Я

курентную валидность с тестом Равена в среднем 0,29, а

с коэффициентом интеллекта по тесту Еммета 0,58.

Российские исследователи при адаптации этого

теста по большинству шкал получили близкие

коэффициенты корреляции средних нормативных оценок

оригинального и адаптированного варианта теста (с

различиями не более 0,05), что позволяет делать вывод о

полной пригодности адаптированного варианта для

обследований в нашей стране.

Важное значение для отбора в вузы и решения про-

блем выбора оптимального профиля специализации сту-

дента после окончания первой и второй ступени обучения

имеет сопоставление на одном и том же контингенте ре-

зультатов применения тестов по смежным отраслям зна-

ний. Особенно когда эти отрасли высоко коррелируют с

параметрами (факторами) внешнего критерия, по которо-

му проводится диагностический отбор.

Как считает А. Анастази, «получение сравнимых по-

казателей тестов достижений по различным областям

знаний желательно по многим причинам». Особенно по-

тому, что такие показатели помогают различить популя-

ции, обследуемые по разным областям знаний [8, с. 48].

Необходимы данные о дифференциальной валидности

в типичной на Западе (а в ближайшее время и в СНГ)

ситуации, когда создается новый тест для тех же целей

(или близких целей), для которых уже имеется приме-

нявшийся ранее тест.

При сопоставлении данных конкурентной и диффе-

ренциальной валидности можно будет определить, какой

из тестов — новый, нормируемый, или прежний (в данном

случае — «эталонный») — целесообразно применять для

тех или иных подгрупп контингента в тех или иных

ситуациях.

По мнению А. Анастази, «полная сравнимость пока-

зателей может быть получена только в том случае, когда

нормируемый и эталонный тесты высоко коррелируют

Друг с другом. Недопустимо, чтобы относительный статус

различных групп по тестам способности к обучению или

408

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 409

общего интеллекта оказался тем же самым, что и их

относительный статус по другим тестам. Например, если

результаты двух групп испытуемых по тесту способности

к обучению распределены одинаково, но это не значит,

что точно таким же будет распределение их результатов

в тестах достижений по всем дисциплинам [8, с. 49].

Если корреляция двух тестов близка к единице*, зна-

чит, это просто либо две формы одного и того же теста,

либо его модификации, либо мы ошиблись в подсчётах.

ВАЛИДНОСТЬ ОТДЕЛЬНЫХ ЗАДАНИЙ ТЕСТА

Валидность теста или субтеста в конечном счёте

определяется валидностью заданий, их составляющих, по

тем же критериям. Анализ валидности заданий обычно ис-

пользуется для повышения конвергентной и дискрими-

нантной валидности теста.

Задания нужно подбирать (и заменять при адаптации

теста) на основе содержательной валидности. Они также

должны вписываться в конструкт психологической ва-

лидности теста. Но главное — обязательно быть критери-

ально валидными по тем критериям, на основе которых

осуществляется валидизация теста в целом и субтестов.

Анализ заданий с позиций их валидности позволяет

отбирать (и включать в тест в процессе корректировки)

именно те, что высоко коррелируют с критериями и низко

— с не относящимися к тесту факторами.

Обычно нормативное тестовое задание имеет дихото-

мическую оценку (по принципу: выполнено—не выпол-

нено), а критериальное оценивается как бы точкой, поло-

жением на шкале (например, достижение нормы выра-

ботки при выполнении какой-то работы, экспертным об-

разом оцененный уровень достижений при решении опре-

делённого типа задач).

Возможен и дихотомический критерий (в школе или в

вузе перевести на следующий курс либо отчислить). Это

тот случай, когда критериальность теста снижается с его

нормативностью.

Ч А С Т Ь В Т О Р А Я

Критериальная валидность задания — это всегда его

корреляция с критерием (аналогично корреляции всего

теста или субтеста). Но она может оказаться случайной

или слишком детерминированной какими-то другими

факторами (не обязательно учитываемыми в тесте и, воз-

можно, вообще не бравшимися в расчёт при его составле-

нии).

Валидизация заданий теста основана на статистичес-

ких методах множественного регрессивного и корреляци-

онного анализа. Сравнение заданий возможно графичес-

ким путём в виде кривых, иллюстрирующих взаимосвязи

между процентом справившихся с заданием и критерием.

А. Анастази приводит пример такого рода, заимствован-

ный из работ Ф. Лорда [7, с. 187].

Критериальный показатель как способ представления

данных весьма нагляден, он показывает, что наименее ва-

лидно задание 1, ибо оно почти не зависит от критерия.

Учащиеся, имеющие и высокие, и низкие критериаль-

ные показатели, справляются с ним одинаково. Наиболее

валидным будет третье задание. Те, кто имеет низкие

критериальные показатели, с ним не справляются

вообще, а у достигших определённой критериальной

нормы процент выполнивших резко растёт и затем

стабилизируется.

Похожую ситуацию мы могли бы наблюдать, если бы

третье задание было связано со способностью понимать

инструкцию со специальной терминологией (для выпол-

нения на оборудовании технологических операций).

Только при освоении терминологии сразу же достигается

определённый уровень выполнения необходимых опера-

ций и далее терминология уже перестаёт влиять на каче-

ство и темп выполнения работы.

Большинство исследователей предпочитает, чтобы

валидность заданий выражалась числом — индексом.

Индекс валидности (индекс различения) тестового за-

дания определяется следующим образом:

а) в процентах выражается число справившихся с за-

данием обследуемых с высоким значением критерия;

410