Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 351

торого можно было бы проверить конструктную валид-

ность).

В отличие от экспертного подхода при содержатель-

ной валидизации здесь эксперты работают не с тестами, а

с испытуемыми из выборки стандартизации.

Предпочтительно, чтобы о тесте эксперты ничего не

знали. Им стремятся обеспечить стандартные условия для

наблюдений за испытуемыми или в качестве экспертов

привлекаются люди из круга общения последних.

Оценщики-эксперты получают детально разработан-

ные инструкции (как, например, при ГОЛ — групповой

оценке личности по методике с аналогичным названием).

Сопоставление согласованности оценок экспертов по

пунктам даст коэффициент надёжности — альфа Кронба-

ха[103, с. 81].

В дидактическом тестировании целесообразно прове-

рять эффективность процедур экспертной эмпирической

валидизации в сравнении с другими подходами при стан-

дартизации тестов разного типа и уровня сложности (по

предметам различных циклов). Пока таких данных, к со-

жалению, нет. Как нет и стандартизированных тестов на

языках народов стран СНГ.

Несложность и экономичность второго (оценивающе-

го по инструкции) варианта процедуры делает её привле-

кательной и целесообразной на начальной стадии накоп-

ления диагностических методик и информации об эффек-

тивности их использования.

Взаимосвязь теоретической и эмпирической

валидизации -

Систему понятий, связанных с эмпирической вали-

дизацией, можно представить в схематическом виде.

Возможно, что структурные отношения взаимопро-

никновения теоретической и эмпирической валидизации

намного сложнее. Но совершенно ясно, что это не рядопо-

ложенные термины.

Эмпирическая валидизация может осуществляться

без явного теоретического обоснования и ограничиваться

Ч А С Т Ь В Т О Р А Я

эмпирическим описанием тенденций динамики коэффи-

циентов корреляции и индексов. Это отнюдь не означает,

что по своей сущности эмпирическая валидизация чужда

теории и представляет собой только систему индексов и

операциональных описаний.

Идея эмпирической валидизации (равно как и теоре-

тической) подкреплена теорией измерения качественных

социальных и психолого-педагогических явлений. Другой

вопрос, что эта теория недостаточно систематизирована.

Теория педагогических измерений явно нуждается в

целостности и систематизации. И если в эмпирической

социологии и прикладной психодиагностике эта работа

постоянно проводится десятки лет (с 20-х годов), то в пе-

дагогике она началась только в 60-е годы.

В системе педагогической диагностики у дидактичес-

кого тестирования велики шансы на лидерство в разра-

ботке целостной качественно-количественной теории

стандартизации (и, в частности, валидизации) методик

исследования и диагностики.

Ибо, во-первых, имеется опыт многих педагогов в из-

мерении качества знаний с применением дидактических

тестов.

Во-вторых, в сопредельных науках — прикладной со-

циологии и прикладной психологии существует разрабо-

танная методология валидизации, имеющая и достиже-

ния, и ошибки (что весьма значимо для профилактики их

повторения).

6.8. ВНУТРЕННЯЯ И ВНЕШНЯЯ ВАЛИДНОСТЬ

ДИДАКТИЧЕСКОГО ТЕСТА В МЕТОДОЛОГИЧЕСКОМ

ЭКСПЕРИМЕНТЕ

ПОНЯТИЯ «ВНУТРЕННЯЯ» И «ВНЕШНЯЯ ВАЛИДНОСТЬ»

Понятия «внутренняя» и «внешняя» валидность ис-

пользуются преимущественно при описании эксперимен-

тов, но встречаются и у тесто логов, которые без объясне-

ний употребляют их то как самостоятельные термины, то

352

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 353

как термины, дополнительно характеризующие какие-то

особенности валидизации.

Как показывает трактовка тесто логами других ха-

рактеристик валидности (её видов и процедур), методоло-

гический эксперимент в психологии зачастую сопровож-

дает процесс валидизации методики. Этот процесс явля-

ется составной частью оценивания вновь созданной мето-

дики поиска и проверки адекватности поставленным це-

лям, прогностичности избранного критерия, корректи-

ровки методики. С этой точки зрения сопоставление

взглядов экспериментаторов на валидность со взглядами

и терминологией тестологов необходимо по ряду причин:

1. Наличие в понятийном аппарате прикладных спе-

циальных наук двух параллельных систем терминологии

недопустимо, так как объективной необходимости в этом

нет и такой подход определяется не сущностными разли-

чиями терминов, а лишь привычкой исследователей. По-

этому интеграция параллельной терминологии (если в

этом есть объективная необходимость) является одним из

средств корректирования и оптимизации понятийного

аппарата методологии дидактической диагностики. Тем

самым мы способствовали бы уточнению теоретических и

технологических основ дидактического тестирования,

могли бы сделать его более понятным и доступным рядо-

вым педагогам. Но, подчеркиваем, лишь при условии, ес-

ли термины «внутренняя» и «внешняя» валидность дей-

ствительно являются дублирующими и не имеют своего

«методологического лица».

2. Если эти термины и другие, связанные с ними,

только кажутся дублирующими, а на самом деле при,

всём видимом сходстве с тестологическими терминами

валидизации имеют свою специфику, то тем более они

должны быть проанализированы по содержанию и

контексту. На стадии адаптации и стандартизации теста

мы проводим методологический эксперимент, проверяя

тест как новый инструмент измерения и создавая при

этом ситуацию, полностью подходящую под понятие

эксперимента.

Ч А С Т Ь В Т О Р А Я

2. Пока в области — методологии педагогического

исследования — разработаны лишь отдельные частные

вопросы. И слабым местом их разработки является как раз

то, что ни в теории и методике педагогического экспери-

мента, ни в теории других методов педагогического

исследования и педагогической диагностики проблемы

надёжности и валидности никогда не поднимались и

теоретически не осмысливались. В лучшем случае авторы

учебных пособий и методических рекомендаций

советовали молодым исследователям и диагностам

стремиться к воспроизводимости условий эксперимента. А

при анализе передового педагогического опыта (по сути,

практического эксперимента вне диссертационных

установок авторов опыта) — оценивать его

оригинальность, обоснованность, возможность

распространения и т.п. (та же воспроизводимость и

надёжность с валидностью, только выраженная в

обыденной терминологии).

Как осуществлять качественные педагогические из-

мерения, какими должны быть методики по своим иссле-

довательским и диагностическим характеристикам —

почти всегда эти вопросы или не поднимались, или оста-

вались без конкретного ответа.

В условиях массовых инновационных поисков прак-

тической педагогики такая ситуация явно нежелательна.

Поэтому для научно-теоретического обеспечения экспе-

риментальной базы современной педагогики по всем её

направлениям, в том числе и в сфере многоэтапного кон-

троля знаний, необходимо выходить на уровень

современных международных методологических

требований к инструментарию (в нашем случае —

дидактическим тестам). В том числе — и путём

интеграции, творческой, но обоснованной переработки

более развитых в методологическом плане сопредельных

с педагогикой наук — экспериментальной психологии и

прикладной социологии. Пока интеграция идёт весьма

односторонне — педагогика больше берёт у

сопредельных наук из области идейного фонда и

354

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 355

методологии, чем в состоянии дать. Психологический

подход к валидизации эксперимента (его методики и

результатов) в большой степени помогает осознать и

обеспечить качественную сторону дидактического

эксперимента по созданию стандартизированного теста

(предметного по физике, химии и т.п. дисциплинам либо

междисциплинарного для селекции абитуриентов,

выпускников).

4. Результатом должно быть аргументированное соот-

несение двух рядов терминологии валидизации — тесто-

логической и экспериментальной — для выяснения их со-

отношения, общего и особенного, целесообразной сферы

и условий применения.

Одновременно можно будет выявить общие и специ-

фические элементы процессуального аспекта валидиза-

ции, проанализировать (а в перспективе и технологически

разработать) общие черты концепции валидизации в

дидактической тестологии. Если учесть, что сейчас, не-

смотря на свою очевидную актуальность и реальную вос-

требованность, дидактическая тестология всё ещё нахо-

дится в затянувшемся зачаточном состоянии, выигрыш от

анализа и решения проблемы (или хотя бы ее постановки)

может быть теоретически и практически значимым.

ОПРЕДЕЛЕНИЕ ВНУТРЕННЕЙ ВАЛИДНОСТИ КАК ПРОБЛЕМА

ЭКСПЕРИМЕНТА

Понятия «внешняя» и «внутренняя» валидность

экспериментаторы используют как неразрывно связанные

характеристики в хорошо поставленном эксперименте.

В «Словаре экспериментатора» (в книге Р. Готтсдан-

кера) его составитель, В.В. Петухов, внутреннюю валид-

ность определяет как «достоверность выводов, которук)

обеспечивают результаты реального эксперимента по

сравнению с результатами идеального и бесконечного

экспериментов». При этом отмечается, что «повышение

внутренней валидности связано с устранением результа-

тов действия побочных переменных и с усреднением их

Ч А С Т Ь В Т О Р А Я

изменчивости и нестабильности. Внутренняя валидность

— первое и необходимое требование к эксперимен-

тальным выводам: эксперимент, не обладающий внутрен-

ней валидностью, является неудачным» [41, с. 430].

Как отмечает широко цитируемый за рубежом Р.

Готтсд анкер, эксперимент, которому недостаёт внут-

ренней валидности, не может быть использован для выяс-

нения того, какая гипотеза о связи независимой и зависи-

мых переменных истинна, а какая ложна, он «неудачен...

изнутри, по своей сути» [41, с. 57].

Другой классик психологического эксперимента Д.

Кэмпбелл отмечает, что термин «внутренняя валидность»

в прошлом употреблялся не вполне правильно, потому что

с его помощью выражали как сомнения в правильности

вывода о причинных связях между А и В, так и сомнения в

том, как следует обозначить причину и следствия. Такое

смешение понятий может возникнуть вследствие того,

что альтернативные интерпретации должны быть

отброшены в процессе установления как внутренней, так

и конструктной валидности» [115, с. 42].

Таким образом, для определения внутренней валид-

ности эксперимента (например, по адаптации одного из

вариантов теста на конкретном контингенте или в непре-

дусмотренных для тестов данного типа условиях) надо

создать теоретическую модель возможного идеального

эксперимента такого типа и сравнивать с нею детально

описанный реальный эксперимент, особо учитывая

отклоняющиеся от запланированного факторы.

Характеризуя сложности валидизации эксперимента,

Д. Кэмпбелл употребляет термины «угрозы», «опасности»

для различных видов валидности — валидности ста-

тистического вывода, внутренней и внешней валидности,

конструктной валидности. Эти «опасности» будут рассмо-

трены ниже при анализе процедур внутренней и внешней

валидизации.

ПРОЦЕДУРЫ И ПРОБЛЕМЫ УСТАНОВЛЕНИЯ ВНУТРЕННЕЙ

ВАЛИДНОСТИ

356

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 357

Среди факторов, угрожающих внутренней валиднос-

ти, Д. Готтсданкер приводит:

1)известные побочные факторы (например, внешний

шум, повышенная влажность и т.п.);

2)нестабильность во времени (невозможность

сделать одну экспериментальную пробу в точности

похожей на другие, что может проявиться в 3 формах:

а) изменчивости побочных факторов, которыми нель-

зя управлять, хотя о них знает экспериментатор (испыту-

емые поздно легли спать, плохо себя чувствовали в одной

из проб и т.п.);

б) независимости переменной (неудобство позы при

тестировании, негативное или позитивное отношение ис-

пытуемого к экспериментальному материалу);

в) зависимости переменной (изменение внимания об-

следуемых, недостаточная исправность приборов или

субъективная оценка испытуемым успешности своих дей-

ствий);

3)различие экспериментальных задач (по степени

трудности, по особенностям содержания);

4)эффекты последовательности предъявления одно-

типных и разнотипных заданий (по требуемому характеру

их выполнения), когда испытуемым переносятся условия

или приёмы выполнения на неадекватное задание;

5)предубеждения экспериментатора (проявление в

процедурах его субъективных ожиданий, степени добро-

совестности в подборе и распределении эксперименталь-

ного материала, нежелание учитывать какие-либо дан-

ные как нетипичные и т.п.) [41, с. 60-69].

Социопсихологи отмечают, что «игнорирование отно-

шения испытуемых к ситуации эксперимента и степени

«принятия» ими задачи, обычно формулируемой £ инст-

рукции, ведет, с одной стороны, к ошибочной интерпрета-

ции результатов экспериментов и, с другой — к низкой

толерантности разрабатываемых методик (их податливо-

сти искажающим воздействиям факторов, влияющих на

протекание изучаемого процесса)» [49, с, 51].

Ч А С Т Ь В Т О Р А Я

О.Н. Арестова обнаружила, что по мере уменьшения

стандартизации методики увеличивается вовлечённость

психодиагноста в процесс обследования и усиливается

влияние его личностных особенностей на результат.

«Воздействие личности экспериментатора на

стандартизированные методики наиболее сильно на

этапе, предшествующем самой процедуре обследования,

— этапе разработки методики и её воплощения в схему

эксперимента» [14, с. 87].

Анализируя эти факторы-угрозы применительно к

задачам разработки и апробации в методологическом экс-

перименте дидактических тестов, заметим, что они весь-

ма реальны.

Влияние на методологический эксперимент известных

побочных факторов

Побочные факторы постоянно влияют на эксперимент

хотя бы потому, что чаще всего мы проводим тести-

рование в условиях реального педагогического процесса.

Представим себе почти фантастическую ситуацию:

мы выбрали для тестирования самую удобную аудиторию,

и во время тестирования в дверях не появился кто-либо из

администрации или опоздавшие учащиеся, никто не

шумит в коридорах. Но... по каким-то причинам нам не

хватило 45 минут.

В этом случае сам факт перемены в обычной школе

или вузе повлияет на качество выполнения последних за-

даний (в педагогической литературе отмечалось, что за-

меры децибел лов на переменах показали: шум вдвое

превосходит звуки работающей под окнами

камнедробилки).

Учёт этих факторов возможен на основе анкет (опрос-

ников) оценок диагностами и обследуемыми типичных

«шумов» и их влияния на результаты тестирования (за-

полненных после проведения теста). Опросник несложно

составить. В любом случае при адаптации теста должны

быть продуманы и разработаны определённые профилак-

358

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 359

тические средства от указанных опасностей. При угрозах

первого типа необходим тщательный подбор времени, ме-

ста, условий тестирования.

Возможно введение небольших самооценочных карто-

чек перед тестом, в которых бы испытуемые фиксировали

своё самочувствие, степень комфортности обстановки.

При компьютерном тестировании это могут быть не-

большие программы, включающие психодиагностические

тесты на устойчивость и переключение внимания и

другие целесообразные методики психологического со-

провождения дидактического теста.

Таким образом можно было бы снять и угрозы второго

типа. Дополнительный (а накануне предваряющий) инст-

руктаж испытуемых о целесообразном режиме труда и от-

дыха, о желательности удобной позы для продуктивной

работы, проверка качества аппаратуры (если она

применяется) — всё это может ослабить или почти снять

подобного рода негативные факторы у большинства

обследуемых.

Напомним, что.в системе НОТ умственного труда чуть

ли не с начала века одним из направлений является про-

ектирование удобной рабочей мебели лабораторий, офи-

сов, учебных заведений. В бывшем СССР в системе Акаде-

мии педагогических наук это разрабатывали НИИ СИМО

(средств и методов обучения), так что вопрос для педаго-

гики отнюдь не новый.

Влияние на методический эксперимент факторов

нестабильности во времени

Факторы нестабильности во времени — типичные пе-

дагогические, хотя обычно они не фиксируются и не учи-

тываются.

Побочные факторы не принято учитывать в педагоги-

ческих (дидактических) экспериментах потому, что они не

принимаются всерьёз самими исследователями* По-

скольку педагогический эксперимент (в том числе — и по

проверке дидактического теста) обычно проходит как ес-

Ч А С Т Ь В Т О Р А Я

тественный, в привычных условиях педагогического про-

цесса, они как бы «списываются» на естественный ход

процесса. Это не значит, конечно, что сегодня испытуе-

мые при проверке нашего нового дидактического пред-

метного теста (по английскому языку, физике, химии либо

математике) находятся в типичном, устойчивом для них

психическом и физическом состоянии.

Насколько они от этого состояния именно сегодня, ко

времени проведения тестирования, отклоняются — можно

определить более или менее приблизительно только на

основе самодиагностики и самооценки. Для этой самоди-

агностики можно было бы использовать распространён-

ные психодиагностические методики, прошедшие стан-

дартизацию, адаптацию на этом же или аналогичном кон-

тингенте. Задача их комплектации в батарею психодиаг-

ностического сопровождения дидактического тестирова-

ния вполне реальна.

Разумеется, это усложнило бы всю процедуру тести-

рования и из-за повышенных затрат времени и сил пре-

вратило бы такое психодиагностическое сопровождение в

дополнительный фактор воздействия на чистоту данных

основного дидактического теста. Однако этот фактор

можно устранить или ослабить, если учащиеся ответили

на несколько вопросов блиц-анкеты о его влиянии.

В знаменитом Хотторнском эксперименте американ-

ского социопсихолога Элтона Мэйо в 1927-1932 гг. был

установлен рост продуктивности труда рабочих в кон-

трольных группах, хотя у них не менялись условия труда

тай, как в экспериментальной группе. Просто в опросах

исследователей, экспериментировавших с соседними

бригадами (где изменялись освещённость, вентиляция и

т.п. факторы улучшения труда), рабочие контрольных

групп почувствовали внимание, чего ранее не встречали

со стороны администрации. И, соответственно, повыси-

лись мотивация и производительность.

Пропаганда идей гуманизации и индивидуализации

учебного процесса, сопровождаемая психодиагностикой,

вполне может дать аналогичный позитивный эффект.

360