Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 391

вавший американские тесты профпригодности, отметил,

что по всем без исключения профессиональным группам и

тестам коэффициенты валидности порядка 0,40 и выше

чрезвычайно редки. Преобладают коэффициенты на

уровне 0,20-0,30 [44, с. 110]. К.М. Гуревич считает, что

низкая валидность тестов профотбора может иметь много

причин:

1) не выявляют профессионально важных индивиду-

ально психологических различий, так как обращены на

результат, а не на процесс деятельности;

2) по той же причине валидность ослабляется

критерием;

3) техника сопоставления двух рядов не отвечает

возможным соотношениям между уровнем психического

свойства у индивида к требуемой профессии. «Повыше-

ние валидности возможно только при последовательном

их устранении, однако для этого, видимо, нужно пользо-

ваться более обоснованными и адекватными задаче

методами, чем тесты» [44, с. 116].

Не отвергая возможности использования других ме-

тодов контроля знаний (и особенно умений

эвристического характера, которые тестами почти не

диагностируются), мы не столь категоричны, как К.М.

Гуревич.

Как показывает А. Анастази, по популярному в США

тесту Беннета на понимание техники 2/3 коэффициентов

валидности с различными внешними критериями (из бо-

лее чем 30) колеблются в диапазоне от 0,30 до 0,60. В тес-

те суждений Ментера корреляции со значениями от 0,40

до 0,60 получены были между показателями этого теста и

уровнем художественного образования или субъективны-

ми оценками художественных способностей. В то же вре-

мя весьма субъективные показатели теста художествен-

ных способностей Хорна получили у разных лиц, оцени-

вающих выполнение теста, более узкий диапазон разли-

чий коэффициентов корреляции: от 0,79 до 0,86. В тестах

музыкальных способностей в США были отмечены более

низкие коэффициенты валидности (от 0,30 до 0,40) отно-

Ч А С Т Ь В Т О Р А Я

сительно различных критериев освоения музыкального

образования [7, с. 83].

По мнению К.М. Гуревича, рассмотрение проблемы

валидности заставляет искать причины низких коэффи-

циентов в трёх возможных направлениях: в методиках, во

внешнем критерии и в процедуре сопоставления, то есть

в применении для установления валидности линейных

корреляций.

Это методологическое указание опытного исследова-

теля ставит перед диагностами задачу освоения техноло-

гии дидактического эксперимента по апробации и довод-

ке тестов, по созданию соответствующих комплексов ана-

литических исследовательских методик, позволяющих

оперативно и эффективно оценивать тесты в режиме экс-

пертизы при их апробации.

Многое можно сделать для повышения качества и са-

мого теста (особенно — дидактического) и для получения

поправочных коэффициентов к нему, если серьёзно отне-

стись к стандартизации теста, к исследованию его специ-

фических возможностей. А. Анастази, например, отмеча-

ет

> что если надо установить величину индивидуального

критериального показателя (критерий успеваемости сту-

дента), то следует обратиться к стандартной ошибке

оценки. Ошибка оценки указывает на допустимые

пределы возможной ошибки в прогнозируемой тестом

величине индивидуального критериального показателя

(как результата ограниченной, а не стопроцентной

валидности теста).

Ошибка оценки находится по формуле

где г

ху

— квадрат коэффициента валидности, о

— стан-

дартное отклонение критериальных показателей.

Естественно, что это отклонение необходимо просчи-

тать. Будь тест на 100% валиден — эта ошибка была бы

равна нулю. Если же валидность теста равна нулю, то и

ошибка оценки была бы чрезвычайно широка, так как

392

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 393

прогноз был бы равносилен угадыванию и тест вообще

был бы не нужен.

Величина V1 - г

ху

показывает, какой может быть ве-

личина ошибки при сравнении с ошибкой простого

угадывания (при нулевой валидности). Если она равна

единице, то она столь же велика, как при угадывании. Е!

сли коэффициент валидности высок (например, 0,30),

то V 1-г

ху

=* 60;

Значит, ошибка в данном случае составляет 60% от

той, что была бы при простом угадывании (а не вообще

возможной ошибки). То есть при использовании данного

теста прогноз о критериальном выполнении обследуемым

какой-либо деятельности (например, ремонт электродви-

гателей при тестировании данного раздела

электротехнических знаний) будет сделан с ошибкой на

40% меньше, чем при простом угадывании.

При тестировании, как отмечает А. Анастази, обычно

не нужно прогнозировать критериальное выполнение ка-

кой-либо деятельности в индивидуальных случаях. Это

мнение нам кажется более справедливым для тестов

Профотбора, чем для диагностико-коррекционных обуча-

ющих программ. Считается, что задача тестирования бу-

дет выполнена, если тестовые показатели превзойдут не-

который минимальный уровень (стандарт) выполнения

сопоставляемых с тестом критериальных заданий. Тогда

тест как диагностическая методика достигнет нормально-

го показателя критерия и трудозатраты по его примене-

нию станут целесообразными.

«Планку» этой целесообразности должен, по сути, оп-

ределять сам заказчик или типичный пользователь тестов

такого типа. В диагностическом тестировании это спра-

ведливо при отборе абитуриентов. Но и тогда это — про-

грамма-минимум, особенно при активном участии пред-

приятий-заказчиков профессиональной системы обучения

в определении необходимой им «планки приёма».

Ч А С Т Ь В Т О Р А Я

Пока что в СНГ такое вмешательство является редко-

стью, но на Западе и в Японии корпорации внимательно

следят за качеством обучения в вузах и колледжах сту-

дентов тех профессий, которые их интересуют, и осуще-

ствляют предварительный отбор лучших.

Уже сегодня ряд крупных фирм в странах СНГ на-

правляет на учёбу зарубеж лучших студентов для стажи-

ровки, специализации, отчего в социально-экономическом

плане роль индивидуального прогноза обучаемости и

успеваемости в будущей работе возрастёт. В

индивидуально-психологическом плане подобные данные

позволят самим студентам более мотивированно

выбирать профиль обучения и специализации,

корректировать своё профессиональное

самоопределение. Педагоги вузов и школ смогут по этим

данным внести изменения в рабочие программы, ввести

по ключевым курсам дополнительные, факультативные

занятия, а также другими способами решать вопросы

отбора старшеклассников специализированных

(профилированных) школ и студентов на спецсеминары и

факультативы, для участия в конкурсах, в выполнении

курсовых и дипломных работ повышенного Уровня

сложности.

Специфические проблемы связаны с валидизацией

моторных тестов, которые существенно отличаются и по

композиции, и по характеру действий испытуемого от

бланковых дидактических тестов. А. Анастази отмечает,

что «при рассмотрении валидности моторных тестов

необходимо различать сложные моторные тесты, не-

посредственно связанные с выполнением конкретной

критериальной деятельности, и тесты простых моторных

функций». При этом если некоторые сложные тесты

(например, для военно-воздушных сил) имеют доста-

точную валидность, то валидность тестов диагностики

простых моторных действий по отношению к многим

критериям бывает невысока. Их лучше применять не

поодиночке, а в батареях — например, для диагностики

394

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 395

предсказания прогноза работы на сборочных линиях [7, с.

81].

В какой степени их целесообразно сочетать с дидак-

тическими тестами контроля профессиональных знаний,

придётся в каждом конкретном случае решать разработ-

чикам, исходя из профессиограммы, психограммы и целей

обучения.

Хорошие профессиограммы (составленные по всем

правилам специалистами) редки, а психограммы вообще

являются для производственников непонятной экзотикой.

А именно они-то, вчерашние линейные инженеры,

преподают в основном в ПТУ, техникумах и вузах спец-

дисциплины, определяющие качество профессиональной

подготовки, причём при минимальном уровне психолого-

педагогической подготовки, без которой ни о каком каче-

ственном внедрении новых педагогических технологий не

стоит и говорить.

Поэтому пользователю моторного дидактического те-

ста потребуются дополнительные инструкции, включаю-

щие хотя бы минимум психолого-педагогических кон-

цептуальных знаний, с объяснениями конструктов до-

ступным языком.

6.11. ВАЛИДНОСТЬ ТЕСТА, ПЕДАГОГИЧЕСКИЙ ДИАГНОЗ

И ПРОГНОЗ

Валидизация тестов всегда проводится в определён-

ных практических целях, к числу которых, в первую оче-

редь, относится повышение возможностей педагога ста-

вить более точные диагнозы и составлять более

обоснованные прогнозы развития личности и

совершенствования педагогического процесса.

Например, прогнозы целесообразности дальнейшего

обучения данного студента в вузе вообще, на этом курсе,

по этой специальности. Или прогнозы возможностей эф-

фективного внедрения новых педагогических технологий

в данном учебном заведении. Прогностически ориентиро-

ванным будет и принятое после тестирования решение

вопроса о том, имеет ли смысл деканату включать

Ч А С Т Ь В Т О Р А Я

студента в состав группы для стажировки на

предприятии с высоким уровнем новых технологий,

посылать за границу для стажировки или готовить на

исследователя в вузовской проблемной лаборатории и т.п.

Психодиагносты называют прикладную проблематику

использования результатов тестирования «теорией ре-

шений» и отмечают её научно-практическую значимость

(которая и привлекает заказчиков тестов).

При определении нормативного показателя теста, то

есть необходимого минимума выполнения критериальной

деятельности, нужно знать процент возможных ошибок, а

также прогнозируемый процент последующих успехов и

неудач среди тех, кто должен и может быть отобран. Сам

же индекс отбора (процент отбираемых) определяется

практическими задачами и конкретной ситуацией

соотношения спроса и предложения — количества перво-

начальных кандидатов и необходимым числом тех, кого

нужно для каких-то целей отобрать.

Рассмотрим такой пример. Для обучения в аспиран-

туре выделено в этом году 5 мест на 50 выпускников —

индекс отбора 10%. А наиболее крупная промышленная

компания собирается приглашать лишь трёх выпускни-

14-2976

ков — индекс отбора 6%. Но диплом вручается всем, кто

сдал госэкзамены и дипломный проект на удовлетвори-

тельную оценку и выше — именно индекс отбора устанав-

ливается конкретными обстоятельствами.

Зная корреляцию теста с итогами госэкзаменов и за-

щиты диплома, её можно предсказать (отметим, что

обычно это в вузах бывшего СССР не менее 95% студентов

выпускного курса — для вузов Запада фантастически вы-

сокая цифра).

Если же индекс отбора не обусловлен серьёзными

внешними обстоятельствами, то психодиагносты предла-

гают устанавливать проходной тестовый балл в точке,

обеспечивающей наилучшую дифференциацию двух крит

териальных групп.

396

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 397

Желательно при этом учитывать и возможные потери,

связанные с ошибочным принятием или ошибочным

отказом.

Для решения этих задач существуют специально раз-

работанные таблицы Тейлора-Рассела, позволяющие оп-

ределить выигрыш в точности отбора от исследования

для этих целей теста при различных уровнях индекса

отбора. В верхней ее части в столбцах приводятся

индексы отбора (от 0,05 до 0,25), слева — коэффициенты

валидности от 0,00 до 1,00 с интервалами по 0,05. Чем

меньше цифра индекса отбора, тем больше обычно

выигрыш от теста (по сравнению со случайным

угадыванием).

Этот рост в психодиагностике называется инкремент-

ной валидностью теста (что является частным случаем

его прогностической валидности).

Применение таблиц Тейлора—Рассела требует знания

валидности теста для группы именно того типа, по

которой определяется базовый уровень, так как инкре-

ментная валидность зависит также и от этого исходного

базового уровня (а не только от индекса отбора).

Опытные психодиагносты считают, что недорогой

тест с низкой валидностью, отвечающий требованиям

массового тестирования и не требующий высокой квали-

фикации диагноста, при профессиональном отборе

скорее найдёт применение, чем высоковалидный тест,

предполагающий парную работу диагноста с каждым

испытуемым (й, соответственно, более дорогой по

затратам времени и денег как при разработке, так и в

эксплуатации).

Более сложные операции отбора связаны с тем, что

последовательно применяются несколько тестов в

системе поэтапного или многоступенчатого тестового

отбора. При этом каждый предыдущий тест

(отсеивающий, более лёгкий) предназначен для принятия

промежуточного, а не окончательного решения. А

последующие применяются только к тем, чьи данные

являются «пограничными» между приёмом — отсевом.

Ч А С Т Ь В Т О Р А Я

Такая стратегия многоступенчатого отбора возможна и в

рамках одного теста и повышает эффективность

использования времени тестирования [7, с. 161].

Подобная стратегия лучше всего подходит для ком-

пьютерного тестирования: при этом строится схема раз-

ветвлённого программирования, а задания начинаются со

среднего уровня трудности. Несправившиеся с этим зада-

нием переводятся на более лёгкий уровень, а кто осилил

его — на более трудный. И так в несколько этапов. Каж-

дый испытуемый получает те задания, которые соответст-

вуют его уровню подготовки. Подобный подход (являю-

щийся индивидуально-ориентированным вариантом мно-

гоступенчатого отбора) называется адаптивным.

Соответственно и тесты, построенные на основе адап-

тивной стратегии тестирования, также называются адап-

тивными.

В учебной деятельности реальной и естественной

формой такого подхода является отсев слабоуспевающих

и прогульщиков по ходу обучения, что от семестра к

семестру (в школе — в каждом последующем классе

обучения) способствует большей однородности

контингента за счёт «отсева снизу». Адаптивный подход

лежит в основе разветвлённого программированного

обучения и его варианта — алгоритмического

компьютерного обучения.

Эти педагогические технологии всегда сопровожда-

ется дидактическими тестами (обычно — текущего кон-

троля знаний).

и*

Поскольку современный подход к

педагогической диагностике ориентирует педагога-

разработчика на оптимизацию обучения,

предпочтительным становится создание не

одиночных тестов, а многоуровневых, адаптиро-

ванных синтетических обучающих диагностико-

коррек-ционных программ. В их состав как

органические элементы контроля качества усвоения

включаются дидактические тесты и субтесты (или

398

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 399

блоки заданий), которые одновременно входят в

основные обучающие, формирующие компоненты

разного уровня сложности.

При целостной системе алгоритмизированного

обучения, основанного на комплексе синтетических

методик, таким образом можно выстроить систему

тестового текущего и рубежного оперативного

контроля (более эффективного в интеграции с

тестами психодиагностического сопровождения).

После каждого сеанса (этапа) тестирования

целесообразно введение коррекционно-

дообучающих элементов, а в начале и в конце

процесса обучения — входное и итоговое

тестирование по критериальным основаниям. При

адаптивном подходе к тестированию в наибольшей

степени может проявляться гуманистическая

сущность современной педагогики и психологии.

Отсев из образовательного учреждения

осуществляется только в случаях тотальной

неуспеваемости (или по житейским обстоятельствам,

при серьёзных отклонениях в развитии) и

сопровождается дообучением учащегося на

предшествующих ступенях образования. В вузе,

например, это будет перевод на уровень подготовки

младшего специалиста (типа техника со средним

специальным образованием) студента третьего

курса, «не вытянувшего» к концу семестра

вузовскую программу.

Естественно, для полной реализации такой

программы потребуется в тех учебных заведениях,

где она станет внедряться, перестройка всей

системы учебных планов и программ с точки зрения

их сопряжённости. Главное при адаптивном подходе

— коррекция и мобилизация психологических

ресурсов личности и дидактических ресурсов

многогранной разноуровневой методики обучения.

В этой современной методике интегрируются дости-

жения педагогики и психологии: психопедагогика по си-

стеме Э. Стоунса, поэтапное формирование умственных

Ч А С Т Ь В Т О Р А Я

действий Н.Ф. Талызиной и П.Я. Гальперина, выравни-

вание уровня учащихся за счёт активного подтягивания

отстающих, различные методические системы педагогов-

новаторов, а ранее В.А. Сухомлинского.

Прогнозирование в дидактическом тестировании (за

исключением задач отбора и селекции на итоговом кон-

троле в системе профессионального обучения) преимуще-

ственно должно:

а) ориентироваться на зону ближайшего развития

возможностей и способностей личности;

б) искать оптимальные пути и средства оперативной

коррекции для дальнейшего выведения учащегося на

доступный для него максимальный уровень обучения

(концепция «обучения на высоком уровне трудности»

Занкова);

в) строить саму выработку прогноза на основе диагно-

за нескольких вариантов возможного развёртывания про-

цесса обучения при различных условиях: наихудший, на-

илучший, реалистичный (при сохранении ситуации «ста-

тус-кво») и оптимальный;

г) быть ориентированной на выработку возможных

педагогических стратегий (на основе учёта педагогичес-

кой возможности теста) для достижения оптимального

варианта обучения и развития личности.

6.12. СИСТЕМАТИЧЕСКАЯ ОШИБКА ТЕСТА, ТЕХНОЛОГИЯ

ЕЁ ОПРЕДЕЛЕНИЯ И АНАЛИЗА

Добиться высокой критериальной валидности дидак-

тического теста бывает сложно при составлении культур-

но-безразличного теста.

Если математика, химия, физика, биология как об-

щенаучные дисциплины в основных своих разделах ин-

тернациональны, то этого никак нельзя сказать об исто-

рии, языках и вообще гуманитарных знаниях. Огромную

роль здесь могут играть этнические модераторы *- как

межкультурные, так и субкультурные.

Систематическая ошибка теста — это важная его

характеристика, связанная с различием коэффициентов

400