Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 381

аналогичных тестов на подкурсах или с репетиторами

перед приёмными экзаменами, в школе перед ответст-

венной проверкой качества знаний чиновниками отдела

стандартов городского (областного) управления образо-

вания.

На подкурсы ходили не все абитуриенты, а для тех,

кто их посещал, различные преподаватели акцентировали

внимание на тестах то одного, то другого вида.

При валидизации отборочных тестов для абитуриен-

тов вузов без учёта этого фактора сдвиг информации га-

рантирован. Разброс данных тестирования особенно зна-

чителен будет между теми, кто посещал или нет подкур-

сы, попавшими к хорошим и недобросовестным репетито-

рам, к тем, кто готовил по разным методикам (например,

по традиционной репродуктивной, по закрепляющей

опорные сигналы «шаталовской» и по методикам про-

блемного, эвристического обучения). Экспериментаторам

не позавидуешь: они долго будут искать объяснения

непонятным тенденциям (если этот фактор не был

заложен в эксперимент). *

Второй вариант — когда тест имеет хорошее методи-

ческое (в руководстве к пользованию тест-буком) или пси-

ходиагностическое сопровождение, настраивающее об-

следуемого на успешную работу с основным дидактичес-

ким тестом (например, с тестом итогового контроля по

физике, химии, математике за весь объёмный курс, изу-

чавшийся несколько семестров, а в школе — полугодий).

В первом случае реактивный эффект неустраним —

возможно лишь частично взять его под контроль, если:

а) предварительно опросить учащихся о занятиях на

подкурсах или с репетиторами (причём только по умело

составленной профессионалами анкете с косвенной тех-

никой формулировки вопросов для получения более до-

стоверной информации. Ответы будут более искренними

при анкетировании с ловушками-вопросами, что при

уточнении внешней валидности теста даст возможность

учесть поправочные коэффициенты);

Ч А С Т Ь В Т О Р А Я

б) параллельно проводить визуальное наблюдение за

поведением опрашиваемых абитуриентов (уверенно — не-

уверенно отвечали на тест) и сопоставлять данные, соби-

раемые по строгой программе такого формализованного

наблюдения, с данными анкетирования. Подобную прак-

тику используют американцы при тестировании по

TOEFL, но для устранения списывания и других негатив-

ных форм поведения обследуемых. Это позволит повы-

сить точность поправочных коэффициентов. При этом не

исключено использование скрытой камеры при условии,

что она будет достаточно хорошо замаскирована (иначе

получим дополнительный «визит-эффект» с непредсказу-

емыми последствиями — от жалоб до истерик).

Во втором случае в контрольных группах возможен

отказ от применения психодиагностического сопровожде-

ния (при условии максимального выравнивания групп —

экспериментальных и контрольных по демографическим

показателям и по внешнему критерию). Вариант сделать

такое сопровождение для учащихся привычным — сам по

себе заманчив. Но в эксперименте не следует его исполь-

зовать, так как валидизируется именно данный конкрет-

ный дидактический тест и здесь необходима чистота ин-

формации.

После же стандартизации теста — его валидизации,

строгой проверки надёжности, когда будут просчитаны

все основные поправочные коэффициенты (в том числе на

реактивность к психодиагностическому сопровождению

по данным контрольных групп или ретеста, параллельной

формы теста), психодиагностику можно будет спокойно

подключать к дидактическому тесту как в целом, так и к

его субтестам (применяемым для рубежного контроля,

если это возможно) и использовать как формирующие

стимулирующие средства обучения. Ведь с позиции

гуманистической педагогики главная диагностическая

задача — не поймать учащегося на незнании, а помочь

ему лучше и глубже усвоить материал, развить мышление

и способности.

382

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 383

Опасность взаимодействия перекосов выборки и

экспериментальных воздействий

Диагностам, адаптирующим новый дидактический

тест, следует обратить особое внимание на эффекты

взаимодействия фактора отбора и экспериментального

воздействия.

Как отмечает Д. Кэмпбелл, здесь самая большая опас-

ность заключена в том, что экспериментальная и кон-

трольная группы, на которых валидизируется тест, суще-

ственно отличаются от выборочной совокупности, для ко-

торой он предназначен.

Суть проблемы — в репрезентативности выборки.

Особенно если выборка состоит из добровольцев. Их

демографические характеристики, успеваемость,

психологические особенности можно просчитать и

учесть. А как быть с теми, кто отказался быть

добровольцем при адаптации теста? Насколько их

личностные характеристики адекватны участникам

эксперимента?

Это первый и достаточно существенный аспект, кото-

рый надо иметь в виду.

Для понимания второго аспекта рассмотрим реаль-

ную ситуацию. Тест по химии (физике, философии и др.) в

вузе проходит адаптацию на контингенте четырёх групп с

двух факультетов, в то время как на этих факультетах

имеются лишь по 4 группы на том же курсе, а всего фа-

культетов в вузе 5 или 8; вузов же аналогичного профиля

10. Вопрос о результативности и обоснованности мотива-

ции отбора групп для участия в эксперименте поэтому не-

однозначен.

Все смещения выборки будут сказываться на резуль-

татах валидизации, и исследователь после огромного

объёма проведённой работы рискует получить только

данные о локальной валидности теста именно для тех

групп, которые участвовали в эксперименте. Такая

ситуация уже не раз встречалась в педагогической науке.

Д. Кэмпбелл отмечает, что большинство педагогических

Ч А С Т Ь В Т О Р А Я

исследований осуществляется в школах, где учится

непропорционально большой процент детей

университетских преподавателей [115, с. 78].

Он же подчёркивает, что одним из эффективных пу-

тей повышения репрезентативности является уменьше-

ние числа испытуемых или классов из одной школы или

класса и увеличение числа школ и классов в выборке. По

его мнению, можно лишь шаг за шагом, путём проб и

ошибок узнавать, сколь далеко можно экстраполировать

и как широко обобщать внутренние валидные результаты.

Но такая работа будет более успешной, если уже в ис-

ходном эксперименте будут наблюдаться явления в широ-

ком диапазоне условий [115, с. 78].

Возвращаясь к примеру, отметим: при валидизации

Дидактического теста в вузе необходимо либо

стремиться не к подбору удобных для экспериментаторов

послушных

Ураторских групп, в которых работает сам

разработчик

Те

ста, а к возможно более репрезентативной

выборке, либо проводить массовый эксперимент на всём

контингенте курса, изучающего в это время данную

дисциплину (математику, философию) по данной

программе.

Если по этой же программе работают в других вузах

(что обычно и бывает), то на репрезентативных выборках

желательно организовать выверку теста, строго соблюдая

внешние условия процедуры, а затем учесть эти данные

при сопоставлении результатов и подсчёте валидности.

Третьим аспектом данного фактора отбора является

возможный по ходу эксперимента отсев обследуемых из

экспериментальной и контрольной групп. Но если экспе-

римент тщательно подготовлен и сбор данных проходит

быстро, то такая опасность для валидизации практически

ничтожна (разве что выпадут или будут расформированы

целые группы при ретесте или начнутся массовые эпиде-

мии и т.п. маловероятные ситуации).

Опасность негативной реакции обследуемых

на эксперимент

384

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 385

Реакция испытуемых на эксперимент может быть

вызвана любым аспектом экспериментальной процедуры

(равно как и самим фактором приглашения к участию в

эксперименте, которого многие сокурсники не получили).

В педагогических экспериментах, естественно, будет

действовать сам факт неучастия половины группы.

У оставшихся и не вошедших в состав выборки возни-

кает вопрос: «Для чего?» Таинственное появление в шко-

ле или вузе незнакомых экспериментаторов возбуждает

учащихся и повышает вероятность стрессовых ситуаций,

негативных для естественного хода методологического

эксперимента внутри нормального педагогического про-

цесса [11].

В таком случае рекомендуется по возможности

замаскировать эксперимент различными средствами:

например, не оповещать о нём, если он внешне похож на

привычные мероприятия.

Возможно проведение теста под видом текущих кон-

трольных работ, как советует Д. Кэмпбелл [115, с. 81].

Наиболее сложная проблема — обеспечение случайного

отбора обследуемых для получения репрезентативной (по

отношению к контингенту, для которого предназначен

тест) выборки.

Рандомизация — технология случайного отбора, ко-

торая имеет возбуждающий фактор. Если эксперимент

предусматривает индивидуальное обучение (парную

работу диагноста с испытуемым), то в разведении класса,

учебных групп по аудиториям (экспериментальная — на-

лево, остальные — направо) необходимости нет. При

бланковом варианте дидактического тестирования этого

избежать можно > но затраты времени возрастут во

столько раз, сколько будет участников эксперимента.

В принципе возможно постепенно сократить необхо-

димое количество самих экспериментаторов — они станут

быстро инструктировать и оперативнее реагировать на

обратную связь с испытуемыми. Но это может стать

побочным фактором: так, первого испытуемого

Ч А С Т Ь В Т О Р А Я

инструктировали 10 мин, а пятидесятого — 2 мин,

семнадцати всё подробно разъясняли неспешно и просто,

а последнему — скороговоркой, заученными

стандартными фразами.

В США для смягчения воздействия фактора рандоми-

зации предоставляют учащимся записываться в вузе на

различные факультативы, читаемые в разных помещени-

ях в одни и те же часы. Контроль за записью позволяет

составлять по этим данным эквивалентные эксперимен-

тальные группы и нетрадиционно использовать процесс

естественной рандомизации. Но среди профессионалов

наилучшим решением считается использование в качест-

ве единицы рандомизации целых классов — чтобы и экс-

периментальная, и контрольная группы состояли только

из случайным образом отобранных. Сам Д. Кэмпбелл от-

мечает* что подобных исследований пока немного, жела-

тельно, чтобы они скорее стали нормой. Его замечание

принципиально важно: в этом случае при проверке значи-

мости эффекта нельзя объединять данные по всем уча-

щимся, поскольку не они подлежат рандомизации [115, с.

82].

Следует также обращать внимание на то, как испыту-

емые принимают саму ситуацию тестирования и задачи

разного типа, дидактического теста.

Социопсихологи отмечают, что «игнорирование отно-

шения»испытуемых к ситуации эксперимента и степени

«принятия» ими задачи, обычно формулируемой в инст-

рукции, ведёт, с одной стороны, к ошибочной интерпрета-

ции результатов экспериментов и, с другой — к низкой

толерантности разрабатываемых методик (их податливо-

сти искажающим воздействиям факторов, влияющих на

протекание изучаемого процесса)» [49, с. 51].

С этой точки зрения вполне вероятно, что учащиеся,

привыкшие к закрытым тестовым заданиям, будут хуже

отвечать на них, чем те, кто раньше вообще не имел дела

с тестами. Поэтому надо знать свою аудиторию.

386

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 387

Опасность взаимной интерференции

экспериментальных воздействий

Напомним, что под интерференцией (от лат. inter —

между, ferens (ferentis) — несущий) в психологии пони-

мается ухудшение сохранения в памяти материала, кото-

рым оперирует субъект. В контексте экспериментальной

терминологии под интерференцией имеются в виду неза-

фиксированные в эксперименте наложения других фак-

торов [120].

Взаимная интерференция экспериментальных воз-

действий должна учитываться при анализе результатов

выборки (рандомизации) учебных групп, участвующих в

методологическом эксперименте по адаптации дидакти-

ческого теста.

Абсолютно исключить это явление невозможно, но

провести анализ реальной ситуации жизнедеятельности

групп, отобранных для эксперимента, нужно.

Например, проведение эксперимента в одном из вы-

бранных для этого трёх вузов может совпасть с

внедрением именно в этом вузе новой системы

стимулирования успеваемости студентов. Это

существенно повысит их интерес к тесту как средству

диагностики и корректировки собственных знаний. Или

же среди групп одного из факультетов, отобранных для

апробации теста (например, по органической химии),

будет активно распространяться информация, что

созданное в городе совместное предприятие с участием

крупной иностранной фирмы собирается оплатить учёбу

за границей победителям химической олимпиады, или же

что ректорат решил резко сократить (в два раза)

контингент студентов факультетов в связи с отсутствием

заказов на специалистов, а неудачники в тестировании

могут быть отчислены.

Естественно, в первых случаях неожиданный пози-

тивный интерес к тесту экспериментаторов вызовет недо-

умение, а последний будет способствовать росту стрессо-

Ч А С Т Ь В Т О Р А Я

вых негативных ожиданий, что отразится в первую оче-

редь на экспериментаторах.

В любом случае предварительный опрос кураторов,

доброжелательная ориентировочная беседа для выясне-

ния возможности влияния таких факторов абсолютно не-

обходимы, равно как и гарантия того, что никаких нега-

тивных селекции для неудачников не будет и т.д. И ко-

нечно же, обязательна фиксация всех «подозрительных»

внешних факторов в отчёте с выдвижением и последую-

щей проверкой гипотез об этом воздействии, его причи-

нах и возможных последствиях.

Учитывая взаимосвязь этих угроз внешней валидности

со столь же реальными (и потенциальными) угрозами

внутренней валидности, можно эффективно использовать

некоторые приёмы профилактики. Но абсолютной внеш-

ней валидности полностью не добиться, хотя надо стре-

миться к ней как к идеалу.

На практике исследователи нередко идут и другим

путём. Характеризуя тенденции развития методологии

^оциально-психологических исследований в Западной

Европе, П.Н. Шихарев отмечает попытки несколько сни-

зить требования к внешней валидности лабораторного

эксперимента, близкого по своему содержанию к техно-

логии апробации дидактических тестов [166, с. 144].

То же самое наблюдается и у нас, где данные об апро-

бации дидактических тестов вообще не публикуются. По-

чему? Скорее всего потому, что одни этого не делали и не

желают терять на длительную апробацию теста время —

и так «расхватывают» педагоги всё, что касается диагно-

стики. Или же потому, что выборки апробации были сла-

бенькие и нерепрезентативные, эксперимент проходил

поспешно, описывался плохо и представлять такие дан-

ные не стоит. Есть и другие причины, но о них можно

только догадываться. Пока что единственным фактом яв-

ляется отсутствие публикаций по этой проблематике.

6.9. ВЫБОР ТИПА ВАЛИДИЗАЦИИ

ДИДАКТИЧЕСКОГО ТЕСТА

388

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 389

Психодиагност Г. Витцлак считает, что вопрос о том,

какие формы валидизации могут и должны применяться,

в значительной мере зависит от цели диагностирования и

характера психодиагностического метода. При этом он

отмечает, что в практике разработки психодиагностичес-

ких методов в настоящее время всё больше проявляются

тенденции к применению многоступенчатой валидизации,

когда разные формы и методы валидизации объеди-

няются в теоретически хорошо обоснованную и иерархи-

чески организованную систему тестов [119, с. 134].

С таким подходом вполне можно согласиться, но сле-

дует отметить, что, вероятно, существует ещё малоизу-

ченная взаимосвязь между типом теста и наиболее опти-

мальными для него формами валидизации как много-

этапного процесса, включающего определённую последо-

вательность операций.

Только накопление информации об опыте и результа-

тах валидизации тестов во многолетних методологичес-

ких экспериментах позволит внести обоснованные реко-

мендации, как это лучше делать в тех или иных конкрет-

ных условиях. Пока же многоступенчатая валидизация

тестов — это скорее всего не готовая технология, а на-

правление поиска — удачное по замыслу, перспективное

и проблематичное.

6.10. ОПРЕДЕЛЕНИЕ ВЕЛИЧИНЫ КОЭФФИЦИЕНТА

ВАЛИДНОСТИ

Для педагога, проводящего стандартизацию перевод-

ного теста, для разработчика, для пользователя, выбира-

ющего один из предлагаемых тестов, стоит одна задача

—-получить тест с наиболее высокими коэффициентами

валидности. Какой должна быть величина коэффициента

валидности?

У психодиагностов единого ответа на этот вопрос нет.

При интерпретации и научном обосновании коэффициен-

та валидности всегда нужно учитывать ряд побочных об-

стоятельств. В любом случае корреляция должна быть

Ч А С Т Ь В Т О Р А Я

статистически значимой на некотором достаточном уров-

не (от 0,01 или 0,05). Нужно всегда быть уверенным, что

полученный коэффициент валидности не является ре-

зультатом случайных выборочных отклонений от нулевого

уровня. Когда мы уже установили корреляцию между

тестовыми показателями и критерием, появляется оче-

редная задача.

Надо оценить величину корреляции с точки зрения

целесообразности использования теста в конкретной си-

туации. Особенно это необходимо при адаптации разрабо-

танного или переводного теста в новых социокультурных

условиях и на ином контингенте. Рядовой пользователь-

диагност должен получить в инструктивно-методических

материалах к тесту обоснованное объяснение величины

коэффициента валидности (каким бы он ни был — высо-

ким или низким). Причём в научно-корректной и одно-

временно доступной форме изложения, с пояснениями

сложных или редко встречающихся профессиональных

терминов.

А. Анастази считает, что «тест может повысить эф-

фективность прогноза, если для него будет установлена

любая, даже низкая, значимая корреляция с критерием. В

ряде случаев валидность 0,20 или 0,30 оправдывает

включение теста в программу отбора» [7, с. 153]. йо ее

мнению, «судить о тесте следует, принимая во внимание

иные (чем ошибка оценки) способы оценки теста, — в

первую очередь те, которые бы учитывали типы решений,

осуществляемых на основе результатов теста, — отсев,

отбор, коррекция (дообучение, повторный курс, текущая

самостоятельная работа или репетиторство и т.д.)». В ка-

кой степени эта позиция, высказанная по отношению к

психодиагностическим тестам, столь категорично приме-

нима к дидактическим тестам? Чтобы ответить на этот

вопрос, нужны теоретические и эмпирические исследова-

ния.

Возможна и другая позиция. Так, весьма критически

настроенный по отношению к тестам как всесильному ин-

струменту измерения психолог К.М. Гуревич, анализиро-

390