Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 371

Без анализа данных других исследований, проведён-

ных по этой или аналогичной проблематике (хотя бы с по-

мощью других методик), трудно установить, какие слу-

чаи являются для независимой переменной типичными (и

насколько, в каких конкретных условиях), а какие —

маловероятными. В определённой степени здесь

придётся преодолевать привычные, стереотипные

представления об учебном процессе, его организации.

Хотя бы в таком случае: внешняя переменная в ди-

дактическом тесте по предмету ориентирована на успева-

емость (по оценкам педагогов, интегрирующих все формы

и методы контроля). Успеваемость обеспечивается среди

других факторов в немалой степени и посещаемостью

лекций.

Оценка роли посещаемости как фактора успеваемос-

ти может варьировать в зависимости от принятых и при-

вычных на кафедре, на факультете методов и форм

обучения, стиля контроля, авторитетности и мастерства

преподавателей, а также активности педагогов в её

стимулировании.

Типичность частых пропусков реальна на одних фа-

культетах, кафедрах и у одних педагогов выше, чем у

других. И это отнюдь не всегда связано с

педагогическими талантами преподавателей: одни из них

предоставляют учащимся больше свободы в решении

вопроса — ходить на занятие или самому готовиться к

зачёту (экзамену), чем другие. То есть одни ближе к

западной модели взаимоотношений с учащимися, другие

— к авторитарной системе опеки. Независимая

переменная может оказаться реально слишком

обусловленной зависимыми факторами (отношением

студентов к учёбе, преподавателей к студентам,

факторами группового сознания и мнения студентов о

значимости стопроцентной посещаемости для успеха в

учёбе и т.п.).

Обеспечение зависимой переменной

Ч А С Т Ь В Т О Р А Я

Обеспечение зависимой переменной, а точнее — со-

вокупности зависимых переменных, в методологическом

эксперименте при апробации дидактического теста невоз-

можно без квалифицированного экспертного анализа

структуры этих переменных.

Такой анализ — первое условие построения конст-

рукта-модели факторов субъективного характера, влияю-

щих на процедуры и результаты тестирования и обеспе-

чивающих его результаты. Причём — детерминирующих и

сегодня (все виды текущей валидности, особенно» ло-

кальной, критериальной, психологической), вчера (рет-

роспективная валидность) и в обозримом будущем (про-

спективная, она же — перспективная валидность).

Выделение этих факторов, их учёт и анализ, предпри-

нимаемые средства систематизации надо закладывать в

программу работ по стандартизации теста ещё на стадии

разработки замысла и определения внешнего критерия

оценки тестируемой области знаний и умений. Для этого

необходимо выдвижение создателями теста рабочих ги-

потез эмпирического характера (вероятностных) о воз-

можной динамике зависимых переменных при различных

положениях независимой.

Например, о переменах, которые могут произойти в

поведении и успеваемости учащихся при отмене обяза-

тельности посещения лекций для всех студентов или для

хорошо успевающих в предыдущем семестре.

Таким образом, можно будет определить реальную

роль 1^тесте (и процедуре тестирования) изучаемой

зависимой ад|>еменной — что изменится в результатах

тестирования п|гц обязательном снятии определённого

процента аттестационных баллов за каждый пропуск?

Или же наоборот — без применения педагогами каких-

либо карающих йепосещаемость занятий санкций со

стороны директора школы или деканата? Как это может

сказаться на отношении к тесту как средству контроля

знаний со стороны учащихся? На их склонности к

ухищрениям, обману диагноста-педагога при работе с

тестами в бланковом или компьютерном варианте

372

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 373

(списывание, подсказки, «системный подход» при

компьютерном тестировании), к случайным или

«системным» ответам при незнании учебного материала и

т.п.?

Коррекционные меры административно-педагогичес-

кого характера, принимаемые и разрабатываемые для

обеспечения стабильности и благоприятности (по

отношению к тесту) зависимых переменных, во многом

определяются уровнем понимания и принятия

педагогами концепции современной модели

гуманистически-ориентированного педагогического

процесса.

Измеряемые показатели ответов на стадии разработ-

ки теста при его содержательной валидизации определя-

ются обычно экспертным путём и (или) на основе анализа

(иногда контент-анализа) научной литературы. На этой

основе строится, как говорилось выше, конструкт-модель

теста как инструмента, отражающего учебную программу

и конструкт системы внешних критериев (одиночный

внешний критерий в педагогике заведомо обречён на не-

полноценность), а также демонстрирующего профессио-

нализм разработчиков в решении диагностических задач.

От успешности операционализации понятий, струк-

турирования критерия зависит полнота представления о

тесте, системность и взаимосвязь показателей-индикато-

ров ответов испытуемых, от целевой направленности тес-

та как методики, его субтестов и заданий — подход к по-

строению и измерению показателей-индикаторов, а от це-

лей и квалификации диагностов — разнообразие, глубина,

сложность и трудоёмкость процесса измерения, каче-

ственность его результатов, способов их представления.

Последние могут быть более или менее удобными и

целесообразными для обоснованного глубокого анализа.

И, конечно же, в разной степени доступными рядовому

педагогу.

Интересных и информативных вариантов представ-

ления статистических данных по тесту немало, но многие

из них просто незнакомы большинству учителей и вузов-

Ч А С Т Ь В Т О Р А Я

ских преподавателей. Напомним для них, что в книге,

специально посвященной применению математических

методов в педагогике и психологии, Дж. Гласе и Дж.

Стэнли (США) продемонстрировали 16 приёмов подачи

одних и тех же данных. Это цифровые столбцы данных по

годам, сгруппированные столбцы, куммулятив-ные,

скользящая полоса, криволинейная диаграмма, по-

лосчатая диаграмма, разделённая плоскость, пиктограм-

ма, карты индексов, разделённые столбцы, полосы и зна-

ки, плакат, логарифмическая диаграмма, парные полосы,

столбцы и кривая, круговая диаграмма [39]. Так что

возможности выбора велики, а его реализация уже зави-

сит от характера полученных данных и опыта диагноста.

Обеспечение соответствия

дополнительных переменных

Дл я учёта всех способных повлиять на тестирование

(процесс и результат) дополнительных переменных ну-

жен психолого-педагогический анализ теста (а также его

субтестов и блоков заданий), чтобы определить, есть ли в

инструкциях к заданиям требования выполнить сложные

или синхронные действия (физические или интеллекту-,

альные), даже если какие-либо из них не кажутся значи-

мыми.

Если есть, то можно ожидать действия закона Мер-

фи, суть которого применительно к тестированию заклю-

чается в том, что испытуемый всегда может неправильно

понять инструкцию и уделит первостепенное внимание

несущественному аспекту работы с тестом. Или же

начнёт в ответах на графические тестовые задания

терять время, тщательно вычерчивая все линии, как

будто должен сдать экзамен на лучшего чертежника

страны.

В случае отрицательного ответа анализ должен пока-

зать, что инструктаж должны понять все, даже тугодум.

Ибо тот же полушуточный закон Мерфи в другой своей

374

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 375

аксиоме гласит, что, если что-нибудь можно сделать не-

правильно, всегда найдутся те, кто так и сделает [25].

Чёткий вводный и текущий инструктаж позволит

сгладить эти проявления (но устранить их полностью не-

возможно, так как границы человеческой глупости бес-

предельны).

Возможность негативного влияния фактора «сжатия

во времени» в ситуации эксперимента при адаптации

теста и его внедрении в принципе существует всегда. Но

особенно активно она может проявляться, если ранее

учащиеся не были знакомы с такими тестами, а

тестирование либо вообще не было принято в данном

учебном заведении, либо проводилось крайне редко.

Время проведения традиционных контрольных работ

в школе и в вузе ограничивается обычно 45-90 минутами.

Сеанс тестирования нередко бывает ещё более скоротеч-

ным.

Дидактический тест при стандартизации должен

иметь норматив времени выполнения заданий, хотя во-

прос этот дискуссионный и психологи [119; 127] считают,

что в педагогическом тестировании надо снимать

жёсткие нормативы времени, давая учащемуся

возможность работать в своём индивидуальном темпе.

Мы разделяем в целом эту точку зрения —. там, где

время выполнения задания не играет принципиальной

роли (особенно в гуманитарных предметах), где проверяе-

мые умения и навыки не коррелируют напрямую с какими-

либо профессиональными нормативами (как в трудовом

обучении, при выполнении ряда лабораторных анализов

по естественнонаучным дисциплинам), ограничения

времени выполнения теста лучше снимать. По крайней

мере, вывести из ряда основных показателей качества

выполнения теста во второстепенные. Но в любом случае

это время надо учитывать как один из симптомов ум-

ственной работоспособности учащихся.

Исследования психологов показали очень сложную

взаимосвязь между интеллектом и скоростью выполнения

тестовых заданий, но пока вопрос этот не будет фун-

Ч А С Т Ь В Т О Р А Я

даментально исследован, в обычной

общеобразовательной школе не стоит задавать учащимся

при тестировании тот жёсткий режим работы, который

функционально необходим при отборе пилотов и

операторов АЭС.

На стадии привыкания к тестам даже в вузе у студен-

тов (особенно младших курсов, окончивших школы, где

не было тестирования) негативное воздействие времен-

ных жёстких нормативов может быть очень сильным.

Вплоть до шоковых. И в зависимости от типа темперамен-

та обследуемого характер воздействия и вызываемые им

формы поведения могут быть различны: от страха, по-

рождающего шок у меланхолика на каком-то этапе вы-

полнения теста, до перехода к случайным ответам у

более медлительного флегматика или сангвиника. *

Только подключение к стандартизируемому дидакти-

ческому тесту системы психодиагностического сопровож-

дения позволит предложить каждому учащемуся опти-

мальные для раскрытия его способностей и знаний усло-

вия контроля. А пока что не стоит готовить из наших уча-

щихся, особенно из меланхоликов и флегматиков, психо-

патов, ограничивая тестирование во времени. Наше не-

спокойное общество и без педагогических усилий успеш-

но справляется с этой задачей. По данным ростовских

психофизиологов, только около 10% оканчивающих

среднюю школу могут считаться полноценными здоровы-

ми людьми.

Вносить стрессовые факторы в учебный процесс нет

никакой необходимости. Психодиагностическое сопро-

вождение позволит если не снять негативное влияние

«скоростного» фактора на обследуемых, то хотя бы

учесть его через поправочные коэффициенты. Но для

этого потребуются или разработка, или профессионально

выполненный (совместно с опытными психологами) отбор

из того, что уже имеется, самого психологического

сопровождения.

При разработке нового дидактического теста это мо-

жет делаться параллельно с его психологической валиди-

376

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 377

зацией, а также с выведением коэффициентов конкурент-

ной валидности дидактического теста с его психодиагнос-

тическим сопровождением.

Совершенно необходим учёт функции самого фактора

введения психодиагностического сопровождения. Он мо-

жет оказаться негативным для результатов тестирования

одних учащихся и позитивным для других (в зависимости

от того, как это психодиагностическое сопровождение

будет объявлено учащимся и как они его воспримут). Воз-

можно улучшение результатов дидактического теста при

введении психодиагностического сопровождения.

Для этого надо включать в методики задания, кото-

рые выполнят роль «настройки» на работу с дидактичес-

ким тестом. Например, через свою логику, структуру и

формы построения. Другим вариантом может быть пред-

варительный тренинг учащихся с тестами на лаборатор-

но-прак^ических занятиях или в режиме самодиагности-

ки. Но и здесь надо будет при определении внешней ва-

лидности и нормативов учитывать этот фактор.

Весьма значимым «скоростной» фактор может ока-

заться при компьютерном дидактическом тестировании.

Особенно если программа предусматривает жёстко огра-

ниченные нормы работы с тестом в целом и с его

субтестами или блоками заданий (например, тест из 30

вопросов итогового контроля по разделу химии либо

физики должен быть выполнен за 15 минут или на каждое

задание будет разработчиком теста дано по 30 секунд).

Такого типа жёсткие ограничения есть в ряде известных

зарубежных тестов, например, в TOEFL (на знание

английского языка как иностранного для поступающих в

вузы США и Канады).

При введении разработчиками системы дополнитель-

ных стимулирующих и штрафных баллов скоростной

фактор вопреки их замыслу (как в ряде вузовских пред-

метных компьютерных тестов) создаст предпосылки для

более негативных форм поведения обследуемых. Эти фор-

мы и пути их профилактики ещё предстоит исследовать,

Ч А С Т Ь В Т О Р А Я

но неизбежно придётся либо учитывать (что непросто),

либо игнорировать (что научно некорректно).

Что касается напряжённости и нервозности испытуе-

мых во время эксперимента, то устранить их в принципе

невозможно. Особенно для учащихся со слабым типом

нервной системы, даже при сверхдоброжелательной пози-

ции диагноста.

Разумеется, что за счёт стандартизации и

соблюдения технологии и текущего инструктажа,

подбора доброжелательных экспериментаторов, строгого

внешнего контроля и учёта их стиля общения со

студентами до определённой степени можно ослабить

воздействие этого фактора. До какой (и как её измерить)

— можно определить только опытно-экспериментальным

путём. Опять-таки для получения более полной картины

необходимо подключать психодиагностическое

сопровождение в виде самооценочных тестов или шкал

(желательно разработанных нормативно и с факторной

валидностью). Затем составлять на их основе

поправочные коэффициенты к баллам дидактического

теста.

Иные пути — это либо игнорирование фактора напря-

жённости, либо отказ от тестирования тех учащихся, у

кого визуально можно отмечать напряжённость (с пере-

носом на другое время или жёстким отсевом таких уча-

щихся).

Операциональная валидность

При характеристике внешней валидности часто ис-

пользуется термин «операциональная валидность», кото-

рый в основном имеет методологический характер. Опе-

рациональную валидность В.В. Петухов и Р. Готтсданкер

характеризуют как разновидность внешней валидности

для лабораторного эксперимента, соответствие (или сте-

пень соответствия) применяемых методических процедур

тем теоретическим понятиям, которые входят в экспери-

ментальную гипотезу [41, с. 430].

378

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 379

Операциональная валидность детерминирована каче-

ством предваряющих создание теста процедур операцио-

нализации понятий, употребляемых при конструировании

методики.

В дидактическом тестировании, сопровождаемом

психодиагностикой, особенно на его экспериментальной

стадии адаптации или выверки методики, надо предельно

корректно пользоваться психолого-педагогической тер-

минологией.

Необходимо использовать при разработке гипотез,

целей диагностирования и в формулировке инструкций

операционализацию понятий и специальные словари с

чётко обозначенными понятиями.

Такие словари должны дать представление

педагогам о понятийном аппарате дидактического и

психодиагностического диагностирования, что

существенно повысит планку методологического уровня

разработки и адаптации тестов. Это скажется позитивно

на внешней и внутренней валидности, усилит их

надёжность.

ФАКТОРЫ ОПАСНОСТИ ВНЕШНЕЙ ВАЛИДНОСТИ В

МЕТОДОЛОГИЧЕСКОМ ЭКСПЕРИМЕНТЕ ПО ВЫВЕРКЕ

(АДАПТАЦИИ) ТЕСТА

Факторы опасности по-своему срабатывают при уста-

новлении внешней валидности. То, что различные внеш-

ние факторы могут влиять на процедуры валидизации те-

ста, — очевидно.

Их воздействие особенно возрастает в тех случаях,

когда валидизация превращается в систему сложных

профессионально-исследовательских процедур, а сама

методика — конкурентоспособна и прошла стандартиза-

цию.

Методологи эксперимента облегчают эту задачу, сис-

тематизируя факторы, осложняющие внешнюю валиди-

зацию. Правда, основания для их выделения весьма раз-

личны и пока, как нам представляется, недостаточно вза-

Ч А С Т Ь В Т О Р А Я

имосвязаны между собой какой-либо целостной концеп-

цией эксперимента (хотя такие концепции в науке име-

ются, но они малоизвестны).

К фактором, ставящим под угрозу внешнюю валид-

ность или репрезентативность эксперимента, Д. Кэмп-

белл относит:

а) реактивный эффект, или эффект взаимодействия

тестирования, — возможное уменьшение или увеличение

сенситивности (восприимчивости) испытуемых к экспе-

риментальному воздействию под влиянием предваритель-

ного тестирования. Результаты лиц, прошедших предва-

рительное тестирование, будут нерепрезентативны по от-

ношению к тем, кто ему не подвергался (то есть из кого

состоит генеральная совокупность, из которой были

отобраны испытуемые для получения репрезентативной

выборки апробации теста);

б) эффекты взаимодействия фактора отбора и экспе-

риментального воздействия;

в) условия организации эксперимента, вызывающие

реакцию испытуемых на эксперимент, которая не позво-

ляет распространить полученные данные о влиянии экс-

периментальной переменной на лиц, подвергающихся та-

кому же воздействию в неэкспериментальных условиях;

г) взаимную интерференцию экспериментальных

воздействий, возникающую, когда одни и те же испытуе-

мые подвергаются нескольким воздействиям, поскольку

влияние более ранних, как правило, не исчезает. Это осо-

бенно относится к экспериментам без контрольной груп-

пы, на которой бы выверялись результаты [115, с. 47].

Рассмотрим, в каких случаях будут срабатывать эти

угрожающие внешней валидности факторы и как их мож-

но снять или ослабить.

Опасность для внешней валидности реактивного

эффекта обследуемых

Реактивный эффект возможен в двух типичных слу-

чаях. Первый — когда учащихся тренировали на решении

380